【大数据基础】大数据处理架构Hadoop：02 Hadoop生态系统
本文讲解Hadoop生态系统，涵盖HDFS、HBase等众多组件。它们各司其职，协同运作，在数据存储、处理、分析、协同及管理等方面发挥优势，为大数据应用提供全面支撑。
排序
SpringBoot整合Flink CDC，实时追踪mysql数据变动
Flink CDC（Flink Change Data Capture）是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。与Flink计算框架相结合，Flink CDC能够高效...
RabbitMQ与Celery深度集成：构建高性能Python异步任务系统
本文深入解析RabbitMQ与Celery在Python项目中的完整集成方案，涵盖三大核心模块：消息路由机制、任务队列管理和工作流设计。通过架构流程图、可运行代码示例和电商订单处理实战案例，详细展示如...
大数据新视界 — Hive 数据湖集成与数据治理（下）（26 / 30）
本文深入探讨 Hive 在数据湖中的集成与数据治理，解析集成方式、治理流程与实践案例，提供数据湖管理的全面指南，助力企业构建高效数据湖体系。
GROUPING SETS — 高效实现多维聚合分析（Hive / Spark）
GROUPING SETS ：在一个查询中一次性生成多个分组结果，简洁又高效。
大数据领域的创新应用案例
当你每天刷手机产生的100条行为数据、超市收银机每秒打印的20张小票、医院CT机生成的3GB影像文件……这些看似无用的"数字碎片"，正在通过大数据技术变成改变世界的"数字...
数据仓库：后台服务器就十几张表，为什么要建几十张表的数仓？
首先，数据仓库采用分布式存储，比如 HDFS 是分布式文件系统，HBase、MongeDB 等也是分布式数据库，支持横向扩展，只要增加服务器，理论上可以支持无限存储。其实，打一个不恰当的比方，数据仓库...
必知：在 Hive 中处理大数据的技术
原文：towardsdatascience.com/must-know-techniques-for-handling-big-data-in-hive-fa70e020141d图片由 Christo...
Hadoop 与 Spark：大数据框架的对比与融合
Hadoop 和 Spark 是大数据处理领域的两大主流框架，各自具有独特的优势和适用场景。Hadoop 以分布式文件系统（HDFS）和 MapReduce 计算模型为核心，适合处理大规模批处理任务...
爬虫+消息队列：RabbitMQ vs Kafka vs RocketMQ选型
摘要：本文对比分析RabbitMQ、Kafka和RocketMQ三种主流消息队列在爬虫系统中的应用。爬虫系统需要高吞吐量、削峰填谷、可靠持久化等特性，三款消息队列各有优势：RabbitMQ适合中小型爬...