PySpark Join操作完全指南：避免数据爆炸的7个终极技巧
PySpark作为处理大规模数据的强大工具，其Join操作是数据分析中不可或缺的环节，但也常常因使用不当导致数据爆炸和性能问题。本文将分享7个经过实践验证的PySpark Join优化技巧，帮助数据工...
排序
构建现代化实时数据仓库的完整解决方案：从技术选型到企业级实战
实时数仓作为企业数字化转型的核心基础设施，正成为大数据领域的技术焦点。本文将深入解析基于Flink、Doris、Paimon等主流技术栈的企业级完整解决方案，涵盖架构设计、实战部署到性能优化的全流程...
Agent/ChatGPT API 实战：从 0 搭建小龙虾门店运营助手，完成评测与上线全流程
要做副业项目，最怕一上来就做“万能企业智能体”。听起来很大，落地时通常也很大，大到根本动不了。输入变量明确：库存、销量、客流、预算、供应商报价输出结果明确：补货建议、促销建议、风险提示约束条件明确：预...
时序数据库选型指南：Apache IoTDB为何成大数据场景优选
在万物互联与数字化转型的浪潮下，工业传感器、车联网终端、智慧能源设备等每秒产生海量时序数据，其“写多读少、只增不删、规模庞大、查询复杂”的特性，对数据存储与管理系统提出了极致要求。传统关系型数据库早已...
个人笔记： 星环Inceptor/hive普通分区表与范围分区表核心技术总结
id INT,PARTITIONED BY (dt STRING COMMENT '数据日期，格式yyyyMMdd');版本支持：普通分区表全版本，范围分区表仅4.0+列属性：普通分区表为独立虚拟列...
【数据库】时序数据库选型指南：在大数据与工业4.0时代，为何 Apache IoTDB 成为智慧之选？
本文介绍了时序数据库选型的关键因素，包括数据压缩能力、分布式架构、工业场景适配性和性能表现等核心指标。通过与国外产品的对比，重点推荐国产时序数据库IoTDB，其采用自研TsFile格式实现90%以上的...
RabbitMQ面试题（不定时更新）
RabbitMQ摘要：RabbitMQ是一个基于AMQP协议的消息中间件，核心组件包括生产者、交换机、队列和消费者。交换机有四种类型：直连、广播、主题和头交换机。RabbitMQ提供多种消息模型如简单...
Spark sql之distinct优化
详解介绍了spark sql的distinct的物理执行计划并给出调优建议
C++三大默认成员函数详解
是最基础且最常用的三个。若未显式定义，编译器会自动生成默认版本，但特定场景需手动实现以正确管理资源。掌握这三个函数是理解 C++ 对象生命周期和资源管理的基础，尤其在涉及动态内存时需谨慎设计。在 C...
Agentic AI 全流程实战：用 OpenAI on AWS 搭一个餐饮补货智能体，从 API 调用到容器化上线
餐饮门店补货助手。输入：当前库存、昨日销量、天气/活动备注、供应商规则；输出：是否补货、补哪些、补多少、为什么；动作边界：默认只给建议，人工确认后再生成采购动作。和Choco 自动化食品分发这条新闻高...