BI笔记之如何高效整理与分析数据？

本文共计1866个文字，预计阅读时间需要8分钟。

本文将模拟一个数据仓库系统，其中包含用户数据、产品数据和订单数据。基于这些数据，构建多维数据集，并通过增量更新的方式对其进行处理。重点强化增量更新策略。

本文将模拟一个数据仓库系统，其中有用户数据，产品数据以及订单数据。根据这些数据结构建立多维数据集，并且以增量更新的方式对其进行处理。

之所以强调增量的方式，是考虑到事实表中数据的增长，假设以后增长到几十亿，全量处理就变得很不现实，所以方案中着重演示以增量方式处理多维数据集的方案。

增量处理多维数据集的关键是要将事实数据分为两部分处理，一个是增量事实表，一个是历史事实表，多维数据集第一次处理历史事实表中的数据，以后每次周期性的处理都是处理增量表中的数据。

本文中提及的SQLServer和Visual Studio都是2008版本，2005版本同样也适用。

数据假设:一张用户表，一张产品表，一张订单表，订单里记录的是谁买了什么。多维数据集统计的需求就是根据订单统计谁买过什么。

首先，建立数据仓库，在数据引擎下新建BIDemo库。

接下来建立用户表，结构如下：

此外还有产品表：

以及历史订单表和建立增量订单表，它们的结构是一样的：

为了测试方便，我们在用户表中加入一些测试数据：

然后在产品表中加入一些测试数据

至于事实表，手动加入测试数据就不现实了，所以这里写了一个程序利用随机数来灌测试数据：

这个程序的代码可以在本文中找到。生成后的数据基本如下所示：

到此，测试的数据结构以及数据就已经准备好了，相当于有了一个小型的数据仓库。