数据仓库理论基础

数据仓库理论基础

一、数据仓库概念

数据仓库（数仓、DW、data warehouse）：用于存储、分析、报告的数据系统，旨在构建面向分析的集成化数据环境，为企业提供决策支持。
数据源（Data Sources）：各类操作型系统（Operational System）、平面文件（Flat Files）等异构数据。
ETL：对原始数据进行抽取（Extract）、转换（Transform）、加载（Load），统一处理后填充到数据仓库。
数据仓库（Warehouse）：存储全企业的集成化主题数据，作为企业级分析基础。
数据集市（Data Marts）：从数据仓库中按部门/主题（如采购Purchasing、销售Sales、库存Inventory）抽取数据，形成部门级分析库。
用户应用（Users）：基于数据集市或数据仓库开展数据分析（Analytics）、报表（Reporting）、数据挖掘（Mining）等应用。

二、数据仓库主要特征

1. 面向主题（Subject-Oriented）
   主题是较高层次上对数据进行综合、归类和分析利用的抽象概念。

2. 集成性（Integrated）
   主题相关的数据通常分散在多个异构的操作型系统中，需要将其整合到数据仓库的统一主题下。

3. 非易失性（Non-Volatile，也叫非易变性）
   数据仓库是分析数据的平台，而非创造数据的平台，数据一旦入库，通常不会轻易修改或删除。

4. 时变性（Time-Variant）
   数据仓库的数据会随时间更新，以持续满足决策分析的需要。

数据仓库特征对比

三、OLTP、OLAP

1. 概念

（1）联机事务处理 OLTP（On-Line Transaction Processing）。
定义：On-Line Transaction Processing，针对具体业务在数据库联机的日常操作，主要对少数记录进行查询、修改。
核心目标：完成数据处理，支撑日常业务流转。
用户关注点：操作响应时间、数据安全性、完整性、并发支持的用户数等。
主要载体：传统关系型数据库系统（RDBMS）。

（2）联机分析处理 OLAP（On-Line Analytical Processing）。
定义与目标：全称为 On-Line Analytical Processing，核心目标是开展数据分析，而非日常业务操作。
处理特征：针对特定主题的历史数据，执行复杂的多维分析操作，核心价值是为企业管理决策提供数据支撑。
典型载体：数据仓库是 OLAP 系统的典型应用实例，是实现大规模数据分析的核心基础。

OLTP与OLAP核心区别对照表

四、数据仓库和数据集市的区别

数据仓库与数据集市核心区别对照表

五、数据仓库分层思想

1. ODS层（Operation Data Store）

• 别名：操作型数据层、源数据层、数据引入层、数据暂存层、临时缓存层
• 定位：数据仓库的数据准备区
• 特点：
  • 存放未经处理的原始数据，结构与源系统保持一致
  • 完成基础数据引入，与数据源系统解耦
  • 记录基础数据的历史变化

2. DW层（Data Warehouse）

这一层是数仓的核心，内部又细分为多个子层：

• DWD（明细数据层）：对ODS层数据进行清洗、标准化，保留最细粒度的业务明细数据。
• DWB（低粒度汇总加工数据层）：基于DWD进行轻度聚合，生成中间层宽表，为后续汇总做准备。
• DWS（高粒度汇总数据层）：按主题进行高度汇总，生成面向分析的指标和宽表，如用户行为、交易统计等。
• DM（数据集市/宽表）：按部门或业务线（如采购、销售）构建的部门级分析数据层，直接支撑业务应用。

3. DA层（Data Application）

• 定位：数据应用层，直接面向用户和业务场景
• 典型应用：
  • KPI监控、账单应用、日志产品应用
  • 报表展示、自定义查询
  • 数据分析、数据挖掘

六、ETL 与 ELT 核心区别对照表