libarchive: 一个几乎可以解压所有压缩文件的C语言库 libarchive 是跨平台开源 C 库(BSD 协议,可免费商用),原生支持解压 / 创建 tar、tar.gz、tar.bz2、tar.xz、zip、7z、rar(仅解压)等几乎所有主流压缩格式... 国内服务器 3周前130
NIFI【应用 02】1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析) NIFI 1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析) 国内服务器 2周前130
Docker部署Hadoop+Flink集群 本文介绍了使用Docker部署Hadoop和Flink集群的详细过程。作者基于CentOS镜像构建了包含SSH、JDK和Hadoop的基础镜像,创建了三台容器组成Hadoop集群。通过自定义Docke... 国内服务器 3周前130
【Kafka进阶篇】拆解Kafka核心:LEO、HW与Leader Epoch的关联与应用 摘要: Kafka早期仅依赖高水位线(HW)定义消息可见性,但存在数据丢失和不一致的风险,尤其在故障切换后原Leader重新加入时,HW无法识别有效消息导致盲目截断。为此,Kafka 0.11引入Le... 国内服务器 3周前130
– 互联网产品 + 大数据产品 = 大数据平台 从今天开始,我们进入专栏的“大数据平台与系统集成”模块。前面我讲了各种大数据技术的原理与架构,大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算,以处理大规模的数据,即所谓的移动计算... 国内服务器 3周前130
从零开始掌握大数据建模:Hadoop与Spark实战解析 在大数据时代,海量、多样、高速、价值密度低(4V)的数据集已成为企业的核心资产。传统单机数据处理方式(如Excel、MySQL)无法应对TB级甚至PB级数据的存储与计算需求,大数据建模应运而生——它通... 国内服务器 3周前130
计算机毕业设计hadoop+spark+hive共享单车可视化 共享单车数据分析 共享单车爬虫 共享单车大数据 大数据毕业设计 大数据毕设 本文提供了一份基于Hadoop+Spark+Hive的共享单车数据可视化分析任务书模板。项目目标包括数据存储处理、高效计算、可视化展示和系统优化,技术栈涵盖Hadoop生态、Spark计算框架及可视化... 国内服务器 3周前130
Flutter 三方库 http_cache_hive_store 的鸿蒙化适配指南 – 在鸿蒙系统上构建极致、透明、工业级的 HTTP 二级缓存与 Hive 数据库持久化联动引擎 什么是 HTTP Cache Hive Store?它不仅是简单的数据保存,而是一个将“HTTP 缓存原语(RFC 7234)”与“Hive 极速 KV 引擎”深度融合的适配器。它支持自动处理缓存头的... 国内服务器 3周前130
大数据领域数据工程的存储性能优化 随着电商、物联网、AI等领域的爆发,企业每天产生的用户行为日志、传感器数据、模型训练样本等已达PB级。传统存储方式(如关系型数据库)在面对“数据海”时,常出现“存不下、查得慢”的问题。本文聚焦大数据存... 国内服务器 3周前130