Docker部署Hadoop+Flink集群

本文介绍了使用Docker部署Hadoop和Flink集群的详细过程。作者基于CentOS镜像构建了包含SSH、JDK和Hadoop的基础镜像,创建了三台容器组成Hadoop集群。通过自定义Docke...
3周前
130

– 互联网产品 + 大数据产品 = 大数据平台

从今天开始,我们进入专栏的“大数据平台与系统集成”模块。前面我讲了各种大数据技术的原理与架构,大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算,以处理大规模的数据,即所谓的移动计算...
3周前
130

大数据领域数据工程的存储性能优化

随着电商、物联网、AI等领域的爆发,企业每天产生的用户行为日志、传感器数据、模型训练样本等已达PB级。传统存储方式(如关系型数据库)在面对“数据海”时,常出现“存不下、查得慢”的问题。本文聚焦大数据存...
3周前
130