Robinhood如何利用Apache Hudi实现数据湖的下一代实践创新？

本文共计4278个文字，预计阅读时间需要18分钟。

1. Robinhood的使命是让所有人都能实现金融民主化。其内部通过不同级别的持续数据分析和数据驱动决策来实现这一使命。我们拥有多种数据源——OLTP数据库、事件流和各种第3方数据。

1. 摘要

Robinhood 的使命是使所有人的金融民主化。 Robinhood 内部不同级别的持续数据分析和数据驱动决策是实现这一使命的基础。 我们有各种数据源——OLTP 数据库、事件流和各种第 3 方数据源。需要快速、可靠、安全和以隐私为中心的数据湖摄取服务来支持各种报告、关键业务管道和仪表板。
不仅在数据存储规模和查询方面，也在我们在数据湖支持的用例方面，我们从最初的数据湖版本都取得了很大的进展。在这篇博客中，我们将描述如何使用各种开源工具构建基于变更数据捕获的增量摄取，以将我们核心数据集的数据新鲜延迟从 1 天减少到 15 分钟以下。 我们还将描述大批量摄取模型中的局限性，以及在大规模操作增量摄取管道时学到的经验教训。

2. 数据湖和生态系统

Robinhood 的数据湖存储和计算基础架构是为我们的许多数据驱动功能提供支持的基石，例如业务分析仪表板和产品改进见解。 它也是为业务和临时报告和分析运行大规模数据处理的数据源。 此外，生态系统会影响以隐私为中心的原语，例如旨在保护用户隐私的匿名化和访问控制。