flink架构和关键组件

本质:Flink 算子在处理流数据时,需要保存的中间计算结果或历史信息,是算子的 “内存”。例如:窗口聚合中累计的订单数、用户会话的状态、CDC 同步中的数据版本号等。作用:支撑有状态的计算,让流处理...
4个月前
430

kafka入门及原理分析

Kafka是一个分布式流处理平台,于处理高吞吐量的实时数据流。核心功能包括发布-订阅消息系统、持久化存储和高可用性。同步因通讯/业务链路耗时过长,引发性能和稳定问题。通过kafka(分布式、多分区、多...
4个月前
480