惊艳全场！大数据数据采集的实战妙招
我是老周，做了8年大数据，从字节的大数据开发工程师到某互联网公司的大数据架构师。专注分享实战型大数据技巧，公众号“大数据老周”，每周更新一篇踩坑经验。如果你想进大数据交流群，加我微信：laozhou...
排序
Hadoop MapReduce 螺蛳粉销量分析程序学习心得
本文分享了基于Hadoop MapReduce实现的螺蛳粉销量排序与月份分区程序的开发经验。通过拆解MapReduce"三步走"逻辑，详细说明了Mapper（数据拆...
Maxwell CDC 技术方案文档（MySQL → Kafka 实时同步）
摘要 本文详细介绍了基于Maxwell实现MySQL到Kafka实时数据同步的CDC技术方案。主要内容包括：MySQL Binlog环境配置、Maxwell安装部署、事件模型解析（INSERT/UPD...
大数据领域Kafka在物联网数据处理中的应用
本文旨在全面解析Kafka在物联网数据处理中的应用价值和技术实现。物联网设备数据的可靠收集和传输实时数据处理和分析与大数据生态系统的集成高并发场景下的性能优化文章首先介绍Kafka和物联网的基本概念...
Java 大视界 — Java 大数据机器学习模型在生物信息学基因功能预测中的优化与应用
Java大数据机器学习在基因功能预测中的应用 本文探讨了Java大数据与机器学习技术在生物信息学基因功能预测中的创新应用。基因功能预测是生命科学和医学研究的关键环节，传统方法面临预测准确率低（相似性方...
淘宝客APP冷热数据分离架构：基于HBase与MySQL的混合存储在订单追踪系统中的优化实践
然而，随着平台运营时间的增长，MySQL中的订单表迅速膨胀至数亿行，导致索引树过大、查询延迟飙升，甚至影响核心交易链路的稳定性。为了解决这一痛点，省赚客APP实施了冷热数据分离架构，利用MySQL存储...
数据仓库和数据集市之ODS、CDM、ADS、DWD、DWS
数据仓库分层架构解析 本文系统介绍了数据仓库的分层架构设计，主要包括： 基础数据层（ODS）：最接近数据源的层级，进行ETL处理后保留原始数据特征，负责数据清洗、去重等预处理工作 数据仓库层（DW...
订票系统高并发实战：基于 ZooKeeper 的分布式锁、选座与幂等回滚（Java/Curator）
本文介绍了基于Apache Curator实现分布式票务系统的关键技术方案。通过Maven引入curator-framework和curator-recipes依赖，简化ZooKeeper连接管理和分...
Hive四种排序深度解析：ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY
全局排序ORDER BY，一个Reducer拖到底局部排序SORT BY，每个文件自己比数据分发DISTRIBUTE BY，相同key到一起分发排序CLUSTER BY，两者结合限制你。
基于 Kafka 的医嘱事件架构
面向：医院信息科工程师、后端开发、系统架构师、病案/计费/DRG 对接负责人