数据仓库基石：分层架构设计完全指南

🌺The Begin🌺点点关注，收藏不迷路🌺

在数据仓库的建设过程中，分层架构（Layered Architecture）是最基础也最重要的设计理念。合理的分层不仅能让数据流向清晰可控，还能有效提升数据质量、降低维护成本。本文将详细阐述数据仓库的经典分层架构、各层的职责定位以及设计最佳实践，帮助读者构建规范、高效的数据仓库体系。

1. 分层架构概述

1.1 什么是数据仓库分层？

数据仓库分层是指将数据从源系统到最终应用的处理过程划分为多个逻辑层次，每个层次承担特定的职责，数据按照"逐层流转、逐层加工"的原则在各层之间流动。

核心思想：高内聚、低耦合——每层只做自己该做的事。

1.2 为什么要分层？

原因	说明	收益
清晰的数据流向	数据从哪来、到哪去一目了然	降低理解成本
问题隔离	某一层出问题不影响其他层	提高系统稳定性
复用性	下层数据可被多个上层复用	减少重复开发
数据质量管控	每层都有质量校验节点	保障数据准确性
权限管控	不同层可设置不同访问权限	提升数据安全性
便于回溯	出现问题可逐层排查	降低排查难度

1.3 分层架构全景图

2. 数据仓库各层详解

2.1 ODS层：操作数据存储层

ODS（Operational Data Store） 是数据仓库的最底层，负责从各业务源系统抽取原始数据，保持与源系统基本一致的数据结构。

核心职责：

• 数据接入：从源系统抽取数据
• 数据存储：保留原始数据，不做修改
• 数据追溯：提供数据回溯能力
• 增量/全量：支持多种同步策略

表命名规范：

-- ODS层表命名示例
ods_order_info_di      -- 订单信息表（日增量）
ods_user_info_df       -- 用户信息表（日全量）
ods_product_info_hi    -- 产品信息表（小时增量）
-- 命名规则：ods_{业务主题}_{更新周期}
-- di: day increment (日增量)
-- df: day full (日全量)
-- hi: hour increment (小时增量)

ODS表示例：

CREATE TABLE ods_order_info_di (
    -- 业务字段（与源系统保持一致）
    order_id BIGINT COMMENT '订单ID',
    user_id BIGINT COMMENT '用户ID',
    product_id BIGINT COMMENT '产品ID',
    order_amount DECIMAL(10,2) COMMENT '订单金额',
    order_status TINYINT COMMENT '订单状态',
    create_time DATETIME COMMENT '创建时间',
    update_time DATETIME COMMENT '更新时间',
    -- ODS层附加字段
    etl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT 'ETL加载时间',
    etl_date DATE COMMENT 'ETL加载日期',
    data_source VARCHAR(50) COMMENT '数据来源',
    is_deleted TINYINT DEFAULT 0 COMMENT '逻辑删除标记'
) COMMENT 'ODS层-订单信息表'
PARTITION BY RANGE (etl_date);

2.2 DWD层：数据明细层

DWD（Data Warehouse Detail） 是数据仓库的明细数据层，对ODS层数据进行清洗、标准化、维度退化等处理，形成统一、规范的明细数据。

核心职责：

• 数据清洗：去除脏数据、处理空值
• 数据标准化：统一编码、单位、格式
• 维度退化：将维度属性退化到事实表
• 数据整合：多源数据合并
• 数据脱敏：敏感信息处理

DWD层处理流程：

DWD表示例：

CREATE TABLE dwd_order_detail_di (
    -- 事实字段
    order_id BIGINT COMMENT '订单ID',
    user_id BIGINT COMMENT '用户ID',
    product_id BIGINT COMMENT '产品ID',
    order_amount DECIMAL(10,2) COMMENT '订单金额',
    actual_amount DECIMAL(10,2) COMMENT '实付金额',
    discount_amount DECIMAL(10,2) COMMENT '优惠金额',
    order_status TINYINT COMMENT '订单状态',
    -- 退化维度字段
    user_name VARCHAR(100) COMMENT '用户名',
    user_level VARCHAR(20) COMMENT '用户等级',
    product_name VARCHAR(200) COMMENT '产品名称',
    category_id INT COMMENT '品类ID',
    category_name VARCHAR(100) COMMENT '品类名称',
    -- 时间维度
    order_date DATE COMMENT '订单日期',
    order_hour TINYINT COMMENT '订单小时',
    create_time DATETIME COMMENT '创建时间',
    -- ETL字段
    etl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    etl_date DATE COMMENT 'ETL日期'
) COMMENT 'DWD层-订单明细表'
PARTITION BY RANGE (order_date);

2.3 DWS层：数据汇总层

DWS（Data Warehouse Summary） 是数据仓库的汇总数据层，基于DWD层按照业务所需的维度进行轻度汇总，形成面向主题的宽表。

核心职责：

• 轻度汇总：按天/周/月进行预聚合
• 宽表构建：将多个事实表关联形成宽表
• 指标计算：预计算常用指标
• 性能优化：减少上层计算量

DWS层粒度设计：

DWS表示例：

-- 用户-日汇总表
CREATE TABLE dws_user_order_day_di (
    -- 维度字段
    stat_date DATE COMMENT '统计日期',
    user_id BIGINT COMMENT '用户ID',
    user_level VARCHAR(20) COMMENT '用户等级',
    user_register_date DATE COMMENT '注册日期',
    -- 订单指标
    order_count INT COMMENT '订单数量',
    order_total_amount DECIMAL(15,2) COMMENT '订单总金额',
    order_avg_amount DECIMAL(10,2) COMMENT '平均订单金额',
    max_order_amount DECIMAL(10,2) COMMENT '最大订单金额',
    -- 商品指标
    sku_count INT COMMENT '购买商品种类数',
    total_quantity INT COMMENT '购买商品总数',
    -- 优惠指标
    total_discount DECIMAL(10,2) COMMENT '总优惠金额',
    coupon_used_count INT COMMENT '使用优惠券次数',
    -- 行为指标
    login_count INT COMMENT '登录次数',
    browse_count INT COMMENT '浏览商品次数',
    PRIMARY KEY (stat_date, user_id)
) COMMENT 'DWS层-用户日汇总表'
PARTITION BY RANGE (stat_date);

2.4 DM层：数据集市层

DM（Data Mart） 是面向具体业务场景的数据集市层，根据业务部门的特定需求进行定制化的数据加工。

核心职责：

• 业务定制：满足具体业务分析需求
• 跨域整合：整合多个DWS/DWD表
• 报表加速：预计算复杂报表逻辑
• 接口统一：为应用层提供统一数据接口

DM层特点：

特点	说明
主题性	按业务主题组织（销售、运营、财务）
部门性	面向特定部门或业务线
冗余性	允许适当冗余，提升查询性能
灵活性	可快速响应业务需求变化

DM表示例：

-- 销售主题-日报表
CREATE TABLE dm_sales_daily_report (
    report_date DATE PRIMARY KEY COMMENT '报表日期',
    -- 整体指标
    gmv DECIMAL(15,2) COMMENT 'GMV',
    order_count INT COMMENT '订单数',
    order_user_count INT COMMENT '下单用户数',
    payment_amount DECIMAL(15,2) COMMENT '支付金额',
    payment_rate DECIMAL(5,2) COMMENT '支付转化率',
    -- 渠道指标
    app_gmv DECIMAL(15,2) COMMENT 'App端GMV',
    h5_gmv DECIMAL(15,2) COMMENT 'H5端GMV',
    pc_gmv DECIMAL(15,2) COMMENT 'PC端GMV',
    -- 品类指标
    top3_category VARCHAR(200) COMMENT 'TOP3品类',
    top3_category_amount DECIMAL(15,2) COMMENT 'TOP3品类金额',
    -- 用户指标
    new_user_count INT COMMENT '新用户数',
    new_user_order_count INT COMMENT '新用户下单数',
    old_user_order_count INT COMMENT '老用户下单数',
    -- 时效指标
    avg_delivery_hours DECIMAL(5,2) COMMENT '平均配送时长',
    etl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
) COMMENT 'DM层-销售日报表';

2.5 各层数据流向图

3. 各层对比总结

3.1 层次对比表

层次	中文名称	数据粒度	数据来源	主要操作	用途	更新频率
ODS	操作数据存储层	与源系统一致	业务源系统	抽取、存储	数据缓存、追溯	实时/小时/日
DWD	数据明细层	明细粒度	ODS层	清洗、标准化、退化	明细查询、复用	小时/日
DWS	数据汇总层	轻度汇总	DWD层	聚合、宽表构建	预计算、加速	日/周/月
DM	数据集市层	业务定制	DWS/DWD	定制加工、整合	业务报表、应用	日/周/月
APP	应用层	应用定制	DM/DWS	接口封装	数据消费	按需

3.2 数据冗余与查询性能关系

4. 分层设计最佳实践

4.1 命名规范

-- 统一命名规范示例
-- {分层标识}_{业务主题}_{表类型}_{更新周期}
-- ODS层
ods_order_info_di      -- 订单信息表，日增量
ods_user_info_df       -- 用户信息表，日全量
-- DWD层
dwd_order_detail_di    -- 订单明细表，日增量
dwd_user_behavior_di   -- 用户行为表，日增量
-- DWS层
dws_user_order_day_di  -- 用户订单日汇总
dws_product_sale_month_di -- 产品销售月汇总
-- DM层
dm_sales_daily_report  -- 销售日报
dm_user_portrait       -- 用户画像

4.2 分层设计原则

原则	说明	示例
逐层依赖	数据只能从上层流向下层	DWD只能依赖ODS，不能跳过
职责单一	每层只做特定类型的处理	ODS不做清洗，DWD不做汇总
适度冗余	允许合理的数据冗余换取性能	DWS可冗余维度属性
向下兼容	上层变更不影响下层	新增字段不影响已有任务
可回溯性	每一层都应能回溯到上游	保留ETL血缘关系

4.3 各层数据保留策略

-- 数据生命周期管理策略
CREATE TABLE data_retention_policy (
    layer_name VARCHAR(10),
    retention_days INT,
    storage_tier VARCHAR(20),
    compression VARCHAR(10),
    deletion_strategy VARCHAR(20)
);
INSERT INTO data_retention_policy VALUES
('ODS', 30, 'SSD', 'none', 'daily_delete'),
('DWD', 90, 'SSD', 'zstd', 'partition_drop'),
('DWS', 365, 'HDD', 'zstd', 'partition_drop'),
('DM', 1095, 'HDD', 'zstd', 'manual_archive');

4.4 分层架构实施检查清单

## 设计阶段
□ 是否定义了清晰的分层边界？
□ 各层的职责是否明确？
□ 命名规范是否统一？
□ 数据流向是否符合业务逻辑？
## 开发阶段
□ ODS层是否保留了原始数据？
□ DWD层是否完成了数据清洗和标准化？
□ DWS层是否选择了合适的汇总粒度？
□ DM层是否满足了业务需求？
## 运维阶段
□ 各层的数据质量监控是否到位？
□ 数据血缘关系是否清晰？
□ 数据生命周期管理是否执行？
□ 是否存在跨层依赖的违规情况？

5. 实战案例：电商数仓分层设计

5.1 业务场景

某电商平台需要建设数据仓库，支持以下业务需求：

• 运营日报（GMV、订单量、用户数）
• 用户画像分析
• 商品销售排行
• 实时大屏展示

5.2 分层设计实施

-- ============================================
-- 1. ODS层：原始数据接入
-- ============================================
-- 订单表（每日增量）
CREATE TABLE ods_order_info_di (
    order_id BIGINT,
    user_id BIGINT,
    order_amount DECIMAL(10,2),
    order_status TINYINT,
    create_time DATETIME,
    etl_date DATE
) PARTITION BY RANGE (etl_date);
-- 用户表（每日全量）
CREATE TABLE ods_user_info_df (
    user_id BIGINT,
    user_name VARCHAR(100),
    register_time DATETIME,
    user_level TINYINT,
    etl_date DATE
) PARTITION BY RANGE (etl_date);
-- ============================================
-- 2. DWD层：明细数据加工
-- ============================================
-- 订单明细表（关联用户信息）
CREATE TABLE dwd_order_detail_di (
    order_id BIGINT,
    user_id BIGINT,
    user_name VARCHAR(100),
    user_level TINYINT,
    order_amount DECIMAL(10,2),
    actual_amount DECIMAL(10,2),
    order_status TINYINT,
    order_date DATE,
    create_time DATETIME,
    etl_date DATE
) PARTITION BY RANGE (order_date);
-- ============================================
-- 3. DWS层：轻度汇总
-- ============================================
-- 用户日汇总表
CREATE TABLE dws_user_order_day_di (
    stat_date DATE,
    user_id BIGINT,
    user_level TINYINT,
    order_count INT,
    order_total_amount DECIMAL(15,2),
    etl_date DATE
) PARTITION BY RANGE (stat_date);
-- ============================================
-- 4. DM层：业务报表
-- ============================================
-- 运营日报表
CREATE TABLE dm_operation_daily_report (
    report_date DATE,
    gmv DECIMAL(15,2),
    order_count INT,
    order_user_count INT,
    new_user_count INT,
    avg_order_amount DECIMAL(10,2)
);

5.3 ETL调度依赖关系

6. 常见问题与解决方案

问题	原因	解决方案
跨层依赖	上层直接读取下层数据	建立数据服务层，统一出口
数据重复计算	多个任务重复处理相同逻辑	复用DWS层汇总数据
层次过深	分层过多导致数据延迟	合并非必要层次
层次过浅	分层不足导致逻辑混乱	按业务复杂度适度分层
数据不一致	同层多源数据口径不一	统一DWD层标准

7. 结语

数据仓库的分层架构是数据治理和数据质量的重要保障。合理的分层设计能够让数据流向清晰、职责明确、问题可追溯、系统可维护。

核心要点回顾：

层次	一句话总结
ODS层	保持原样，只存不改
DWD层	清洗标准化，明细可复用
DWS层	轻度汇总，性能优化
DM层	面向业务，定制输出
APP层	数据消费，服务应用

设计原则：

1. 逐层流转：数据不跨层
2. 职责单一：每层只做分内事
3. 适度冗余：空间换时间
4. 向下兼容：变更不影响下游
5. 可回溯性：血缘分明

掌握分层架构设计，是构建高质量、高可维护性数据仓库的基础。希望本文能为读者的数仓建设实践提供有价值的参考。

---

🌺The End🌺点点关注，收藏不迷路🌺