Python 数据分析实战:处理千万级用户行为数据

用户行为日志对互联网公司来说既是宝贵资源,也是处理难题。一条日志看似简单——用户ID、事件名、时间戳、几个参数——但当日活千万的产品每天产生5亿条日志时,这些看似简单的字段会迅速变成处理难题。存储格式...
3个月前
330

一文搞懂Flink乱序数据 + Watermark

乱序数据产生的核心原因:司机端网络波动(高速、偏远地区)、设备缓存、数据传输链路延迟,是货运平台的常态;用少量的实时性牺牲(5秒),换取数据统计的准确性,让基于「司机真实点击时间」的事件时间统计有实际...
3个月前
380