李卓豪在网易数帆如何实施数据中台逻辑数据湖项目？

本文共计8682个文字，预计阅读时间需要35分钟。

导读：本文将介绍过去15年中，互联网大数据团队如何应对不断涌现的新需求、新痛点，逐步形成的一套逻辑数据落地方法。内容分为五部分：关于互联网数据密度、为什么做逻辑数据分析。

---

导读： 本文将介绍过去15年中，网易大数据团队在应对不断涌现的新需求、新痛点的过程中，逐渐形成的一套逻辑数据湖落地方法。内容分为五部分：

• 关于网易数帆
• 为什么做逻辑数据湖
• 怎么做逻辑数据湖
• 未来规划
• 精彩问答

--

01 关于网易数帆

网易数帆是从网易杭州研究院孵化出来的。网易杭研的重要职责是公共技术的研究和产品孵化。下图是网易数帆的整体产品架构。

1. 网易大数据发展历史

网易是国内领先的互联网技术公司，从2006年就开始对大数据相关技术进行探索。2009年为了支撑网易博客等产品的海量数据，开始了分布式文件系统、分库分表中间件（网易DDB）等技术的研发，并且于当年引入了Hadoop进行探索。2014年到2017年，网易对大数据平台的建设在内部取得了良好效果，同时发现业界存在普遍相似痛点，于是开始对外做商业化尝试。2018年支持网易严选、考拉、音乐、新闻数据中台构建。通过在商业化过程对市场需求的摸索实践，终于在2019年形成了“全链路数据中台”解决方案，致力于将“数据生产力”的理念能力落实到解决方案中。

纵观网易大数据的发展历史，可以看到这个过程中贯穿了数据理念的变化。有数从公共数据平台逐渐转变为具备有业务属性的数据中台，最后逐步向“数据生产力”理念靠拢。在这个理念下，会要求我们要不断贴近用户、了解用户实际情况，做到第一时间提供更好的服务。