分布式数据网格如何解决集中式数据单体的问题？

本文共计1182个文字，预计阅读时间需要5分钟。

企业数据架构师不应构建大型集中式数据平台，而应创建分布式数据网格。ThoughtWorks的首席技术顾问Zhamak Dehghani在旧金山QCon的演讲和相关文章中展示了这种方法的变革需求。

企业数据架构师不应构建大型集中式数据平台，而应创建分布式数据网格。ThoughtWorks 的首席技术顾问 Zhamak Dehghani 在旧金山 QCon 的演讲和相关文章中表示，这种方法的改变需要范式转变。随着数据变得越来越普遍，传统的数据仓库和数据湖架构变得不堪重负，无法有效扩展。Dehghani 认为，分布式数据网格方法可以通过采用面向领域的数据所有权来克服这些固有的低效率。

“我建议下一个企业数据平台架构是分布式域驱动架构、自助平台设计和数据产品思维的融合。”

她的演讲包括一些现实世界的例子，但主要集中在新的管理原则上，伴随着新的语言来支持这种心态。例如，服务过度摄取，发现和使用过度提取和加载。

Dehghani 看到了传统数据平台架构中的三种故障模式。首先，它们是中心化的、单一的；将所有类型的数据放在一起可能适用于小型组织，但对于拥有大量数据源和不同数据消费者的企业最终会失败。

其次，是 Dehghani 描述为“耦合管道分解”的问题。几代架构师已经将数据平台架构分解为“数据处理步骤的管道”。这些管道步骤与变化轴正交，新功能需要对所有步骤进行更新。

孤立和超专业的所有权是最终的失败模式。