Flink词频统计实战[Java版]

本实战基于 Flink 2.2.0 构建批流一体词频统计系统。涵盖环境配置、Maven 依赖管理及 HDFS 数据准备,核心实现 BATCH 离线处理、File Source 流式处理及 NC 模拟 ...
3周前
150

HBase之LSM树(Log-Structured Merge-Tree)存储引擎

LSM树作为HBase的核心存储引擎,通过将随机写转换为顺序写,实现了极高的写入性能。虽然读取性能相对B+树有所牺牲,但通过BlockCache、布隆过滤器等优化手段,仍然能够满足大多数场景的需求。理...
3周前
140

Spark

更高效的方法是,你把所有订单拆分成“凉菜”、“热菜”、“汤羹”等小任务,同时分发给后厨不同的专业小组(多个电脑)并行处理,最后再把所有做好的菜按订单组合起来。它的核心优势在于,能够将庞大的数据和复杂的...
3周前
250

kafka多种通信方案总结

Kafka安全体系采用三层架构设计:传输加密(TLS/SSL)、身份认证(SSL证书/SASL机制)和权限授权(ACL)。主流认证方案包括SASL_SCRAM(挑战应答模式)、SASL_GSSAPI...
3周前
140