如何实现Flink在实时订单数据处理中的宽表操作?
- 内容介绍
- 文章标签
- 相关推荐
本文共计2634个文字,预计阅读时间需要11分钟。
订单是统计分析的重要对象,围绕订单有众多维度统计需求,如用户、地区、商品、品类、品牌等。为便于统计计算,减少大表间的关联,在实时计算过程中直接输出结果。
订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户、地区、商品、品类、品牌等等。为了之后统计计算更加方便,减少大表之间的关联,所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表。那究竟哪些数据需要和订单整合在一起? 1.需求分析订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户、地区、商品、品类、品牌等等。为了之后统计计算更加方便,减少大表之间的关联,所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表。那究竟哪些数据需要和订单整合在一起?
如上图,由于在之前的操作(BaseDbTask)我们已经把数据分拆成了事实数据和维度数据,事实数据(绿色)进入 kafka 数据流(DWD 层)中,维度数据(蓝色)进入 hbase 中长期保存。那么我们在 DWM 层中要把实时和维度数据进行整合关联在一起,形成宽表。那么这里就要处理有两种关联,事实数据和事实数据关联、事实数据和维度数据关联。
-
事实数据和事实数据关联,其实就是流与流之间的关联。
-
事实数据与维度数据关联,其实就是流计算中查询外部数据源。
本文共计2634个文字,预计阅读时间需要11分钟。
订单是统计分析的重要对象,围绕订单有众多维度统计需求,如用户、地区、商品、品类、品牌等。为便于统计计算,减少大表间的关联,在实时计算过程中直接输出结果。
订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户、地区、商品、品类、品牌等等。为了之后统计计算更加方便,减少大表之间的关联,所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表。那究竟哪些数据需要和订单整合在一起? 1.需求分析订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户、地区、商品、品类、品牌等等。为了之后统计计算更加方便,减少大表之间的关联,所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表。那究竟哪些数据需要和订单整合在一起?
如上图,由于在之前的操作(BaseDbTask)我们已经把数据分拆成了事实数据和维度数据,事实数据(绿色)进入 kafka 数据流(DWD 层)中,维度数据(蓝色)进入 hbase 中长期保存。那么我们在 DWM 层中要把实时和维度数据进行整合关联在一起,形成宽表。那么这里就要处理有两种关联,事实数据和事实数据关联、事实数据和维度数据关联。
-
事实数据和事实数据关联,其实就是流与流之间的关联。
-
事实数据与维度数据关联,其实就是流计算中查询外部数据源。

