大数据之数据仓库的分层：ODS/DWD/DWS/ADS

大数据之数据仓库的分层：ODS/DWD/DWS/ADS

引用

CSDN

1.

https://blog.csdn.net/goodjava2007/article/details/141712462

数据仓库的分层架构是大数据处理中一个重要的概念，它将数据按照不同的处理阶段和用途进行分类存储，以提高数据处理的效率和灵活性。以下是数据仓库的主要分层及其职责：

分层简介

数据仓库按自下而上的顺序分为：

ETL层（Extract-Transform-Load）：数据清洗层，存原始数据；
ODS层（Operational Data Store）：操作数据源层；
CDM层（Common Dimensional Model）：公共维度模型层，
      主要包括DWD层（Data Warehouse Detail 数据明细层） 和 DWS层（Data Warehouse Summary 数据汇总层）两部分；
ADS层（Application Data Service）：数据应用层。

职责简介

1. ODS层（Operational Data Store）：贴源层，也称为操作数据源层，是数据仓库中的一个核心组成部分，该层主要用于保存原始数据，完成数据积存，通常反映了企业业务系统中的最新操作，同时也是进行数据仓库的基础，ODS层的数据被保存在磁盘中，直接体现了数据仓库的一个特性——非易失性。

2. CDM层（Common Dimensional Model）：公共维度模型层，是数据仓库中最核心和最关键的一层，该层主要用于提供标准化、共享的维度模型，为数据分析提供便利。CDM层通常包括数据明细层（DWD）和数据汇总层（DWS）两个部分。

• DWD层（Data Warehouse Detail）：数据明细层，接收数据仓库ODS层的原始数据，并进行清洗、标准化、维度退化、异常数据剔除等操作，进行统一处理，用于存储详细的完整的数据，为数据分析提供支持。DWD层一般按照业务主题建模，包含多个维度表和事实表，维度表可以用来描述业务数据的特征，而事实表则包含了关键数据指标（如销量、价格等）。

• DWS层（Data Warehouse Summary）：数据汇总层，也称宽表层，通过聚合和汇总，将DWD层中的数据按照主题进行汇总，形成宽表，进而提升数据分析性能。DWS层通常包含多个宽表，每个宽表都是由多个事实表和维度表经过聚合和分组运算生成的，DWS层中的宽表可以满足特定主题和不同维度的分析需求，减少了对其他表的操作，提升数据分析性能。

3. ADS层（Application Data Service）：数据应用层，其主要功能是保存结果数据，为外部系统提供查询接口，基于数据仓库的数据为企业提供增值应用，并将数据仓库的数据应用于企业决策、报表、分析、控制等领域。数据仓库ADS层通常采用OLAP（Online Analytical Processing）技术，用于快速访问和查询数据。数据仓库ADS层一般包括多个宽表，这些宽表一般可以通过BI工具或自定义应用程序查询和访问，以满足企业的各种数据需求，为了提高访问和查询速度，ADS层通常使用数据索引、缓存和预聚合等技术。

数据流转

借助帆软的图，来描述数据分层的数据流向。