hive桶
分桶是按分桶字段哈希取模将数据分到 N 个文件中，需通过定义；分桶表必须用插入数据，不能用LOAD DATA；分桶的核心价值是加速抽样、JOIN、GROUP BY，常与分区结合（分区管大维度，分桶管细...
排序
电商系统中RabbitMQ的5个典型应用场景
当用户下单时，订单服务只需将订单信息发送到RabbitMQ的Direct交换机，由专门的消费者服务异步处理后续流程（如生成订单号、计算优惠等）。这种模式避免了用户长时间等待，即使订单处理服务暂时不可用...
绕过付费墙与篡改历史，维基百科封禁 Archive.today
Archive.today 是一个网页存档服务，允许用户保存网页的快照，即使原网站删除了内容，存档仍可访问。它特别擅长绕过付费墙，让读者免费访问付费内容。例如，当你想查看《经济学人》的付费文章时，只需...
SpringBoot + Kafka + Flink：用户行为日志实时采集与实时画像构建实战
通过SpringBoot + Kafka + Flink这套技术组合，我们可以构建一个强大而灵活的实时用户画像系统。但这只是一个开始，真正的挑战在于如何持续优化和完善这个系统，让它能够更好地服务于业务...
大数据领域分布式计算的教育质量评估
随着大数据技术的快速发展，分布式计算已成为计算机科学教育中不可或缺的重要组成部分。本文旨在构建一个科学、客观的教育质量评估体系，用于衡量分布式计算课程的教学效果和学习成果。分布式计算基础理论掌握程度主...
(计算机源码可直接用）基于地理大数据国内旅游景点热度研究–05817 JAVA、PHP、爬虫、APP、小程序、C# 、C++、python、数据可视化、大数据、全套文案等.
本文基于地理大数据技术，设计并实现了国内旅游景点热度研究平台。系统采用Java语言和SpringBoot框架开发，结合MySQL数据库，构建了包含景点热度分析、用户交互、管理后台等功能模块的综合平台...
Docker部署Hadoop-03-Docker部署Hadoop
本文完成基于docker的hadoop3.3.0安装 目前数据存放在docker的内部文件系统中，还没有进行挂载卷
大数据-278 Spark MLib-GBDT梯度提升决策树详解：从原理到实战案例
GBDT是Boosting家族的核心算法，通过多棵决策树逐步拟合残差来减少预测误差。2024年主流版本如XGBoost、LightGBM均基于此思想扩展。本文以身高预测为案例，详解初始化学习器（均值...
RabbitMQ在大数据数据可视化中的应用
当我们打开电商平台的"实时销售大屏"，看到不断跳动的成交数据；或是查看城市交通监控的"热力地图"，看到车流密度的动态变化——这些都依赖大数据可视化技术。但你知道...
Kafka详解及实战案例
Kafka已从单纯的"消息队列"演进为分布式流处理平台的核心组件。理解核心概念：主题、分区、副本是基础吃透核心原理：分区机制实现高吞吐，副本机制保证高可靠灵活配置：根据业务场景（日...