Kafka: 分布式流平台入门之安装、配置

Kafka 核心概念与工程实践摘要 Kafka 是一个分布式流处理平台,与传统消息队列相比,具有高吞吐(百万级TPS)、持久化存储和流处理能力等特性。其核心架构依赖Zookeeper协调,通过分区机制...
4周前
180

HDFS 在大数据领域的发展趋势与挑战

2006年诞生的HDFS,以"一次写入多次读取"的设计哲学,解决了TB级到PB级数据的存储难题。随着数据规模进入ZB时代,业务场景从离线批处理拓展到实时流处理、机器学习数据管道等...
4周前
170

Apache Flink+Apache Iceberg(协作关系)

Flink + Iceberg 的组合实质上是将数据湖的存储能力与流计算的实时能力深度融合实时化:让数据湖“活”起来,支持秒级数据新鲜度服务化:数据湖不再只是存储,而是可直接服务业务的数据平台一体化...
4周前
210

FLINK故障重启策略

Flink重启策略决定了作业失败时的恢复机制。主要策略包括:固定延迟策略(按固定间隔重启,适用于临时故障)、故障率策略(基于时间窗口统计失败次数,适合周期性故障)、不重启策略(用于批处理)和回退策略...
4周前
130