如何使用Clickhouse的预聚合引擎进行高效数据处理?

2026-05-23 07:120阅读0评论SEO资源
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计521个文字,预计阅读时间需要3分钟。

作者:LemonNan原文链接:https://mp.weixin.qq.com/s/qXlmGTr4C1NjodXeM4V9pA注:转载需注明作者及原文链接介绍:本文将介绍Clickhouse中的SummingMergeTree和AggregatingMergeTree,它们是两种预聚合引擎,继承了聚合功能。

作者: LemonNan

原文地址: mp.weixin.qq.com/s/qXlmGTr4C1NjodXeM4V9pA

注: 转载需注明作者及原文地址

介绍

本文将介绍 Clickhouse 中的 SummingMergeTree 以及 AggregatingMergeTree 预聚合引擎,它们均继承自 MergeTree ,属于 MergeTree 引擎家族,关于 MergeTree 还没有看过的朋友可以先看一下之前的文章:MergeTree 索引原理,这里就只讨论这两个引擎的使用。

SummingMergeTree

SummingMergeTree 引擎会在数据插入后,定期进行合并,Clickhouse 会将同一个分区内相同主键的数据会合并成一行,如果同时存在多个分区,则非常可能存在多行相同主键的数据,所以在进行查询的时候,需要使用 sum() 以及 group by 进行聚合。一个主键如果对应非常多的数据行,使用 SummingMergeTree 能 非常有效的减少数据存储所占用的空间(仅有预聚合引擎表的情况)以及加快聚合查询

阅读全文

本文共计521个文字,预计阅读时间需要3分钟。

作者:LemonNan原文链接:https://mp.weixin.qq.com/s/qXlmGTr4C1NjodXeM4V9pA注:转载需注明作者及原文链接介绍:本文将介绍Clickhouse中的SummingMergeTree和AggregatingMergeTree,它们是两种预聚合引擎,继承了聚合功能。

作者: LemonNan

原文地址: mp.weixin.qq.com/s/qXlmGTr4C1NjodXeM4V9pA

注: 转载需注明作者及原文地址

介绍

本文将介绍 Clickhouse 中的 SummingMergeTree 以及 AggregatingMergeTree 预聚合引擎,它们均继承自 MergeTree ,属于 MergeTree 引擎家族,关于 MergeTree 还没有看过的朋友可以先看一下之前的文章:MergeTree 索引原理,这里就只讨论这两个引擎的使用。

SummingMergeTree

SummingMergeTree 引擎会在数据插入后,定期进行合并,Clickhouse 会将同一个分区内相同主键的数据会合并成一行,如果同时存在多个分区,则非常可能存在多行相同主键的数据,所以在进行查询的时候,需要使用 sum() 以及 group by 进行聚合。一个主键如果对应非常多的数据行,使用 SummingMergeTree 能 非常有效的减少数据存储所占用的空间(仅有预聚合引擎表的情况)以及加快聚合查询

阅读全文