数据仓库分层设计在第六步中具体如何实施?
- 内容介绍
- 文章标签
- 相关推荐
本文共计1301个文字,预计阅读时间需要6分钟。
当前主流的数据仓库分层结构大多为四层,也有五层架构。以下介绍基本的四层结构:
- 数据接入层(ODS):数据源层,负责从各个数据源收集原始数据。- 数据仓库明细层(DW):明细层,对ODS层的数据进行清洗、转换、汇总等操作。- 多维数据明细层(DWS):对DW层的数据进行进一步汇总,形成多维数据模型。- 数据集市层(DM):面向最终用户的数据集市,提供数据分析和报表服务。
目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。
下面是架构图:
数据分层的目的是:减少重复计算,避免烟囱式开发,节省计算资源,靠上层次,越对应用友好,也对用户友好,希望大部分(80%以上)的需求,都用DWS,DW的表来支持就行,所以ODS层数据不能被DM层任务引用,需要抽取数据到DW,或者DWS。
DWS汇总层应优先调用DW明细层。在调用可累加类指标计算时,DWS汇总层尽量优先调用已经产出的粗粒度汇总层,以避免大量汇总都直接从海量的明细数据层计算。
本文共计1301个文字,预计阅读时间需要6分钟。
当前主流的数据仓库分层结构大多为四层,也有五层架构。以下介绍基本的四层结构:
- 数据接入层(ODS):数据源层,负责从各个数据源收集原始数据。- 数据仓库明细层(DW):明细层,对ODS层的数据进行清洗、转换、汇总等操作。- 多维数据明细层(DWS):对DW层的数据进行进一步汇总,形成多维数据模型。- 数据集市层(DM):面向最终用户的数据集市,提供数据分析和报表服务。
目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。
下面是架构图:
数据分层的目的是:减少重复计算,避免烟囱式开发,节省计算资源,靠上层次,越对应用友好,也对用户友好,希望大部分(80%以上)的需求,都用DWS,DW的表来支持就行,所以ODS层数据不能被DM层任务引用,需要抽取数据到DW,或者DWS。
DWS汇总层应优先调用DW明细层。在调用可累加类指标计算时,DWS汇总层尽量优先调用已经产出的粗粒度汇总层,以避免大量汇总都直接从海量的明细数据层计算。

