蚂蚁金服杨军如何阐述蚂蚁数据分析平台发展历程及数据分析技术运用？

本文共计8970个文字，预计阅读时间需要36分钟。

导语：大家好，今天主要分享数据平台的建设进展以及我们在上面沉淀的一些数据分析方法。以下分为四个部分：

Part 1：主要介绍我所负责的部门，数据平台部的主要职责。

---

导读： 大家好，今天主要分享数据分析平台的平台演进以及我们在上面沉淀的一些数据分析方法是如何应用的。

具体分以下四部分：

• Part1：主要介绍下我所在的部门，数据平台部主要是做什么的，大概涉及到哪些业务，在整个数据流程当中数据平台部负责哪些东西；
• Part2：既然我们讲数据分析平台，那么数据分析是什么样的，数据分析领域是什么样的；
• Part3：蚂蚁现在的数据分析平台是怎么来的，是怎么演进到最新版本，在最新版本3.0里面有一些技术详解；
• Part4：既然有了数据分析平台，那么数据分析能帮我们干什么，讲了一个具体在工程上应用的case。

--

01 数据平台部介绍

第一，数据平台部的介绍，首先从整个数据流程开始讲解，数据流程的开始从数据采集与传输，这里面涉及到比如说在线的RDS，OB这些是在线业务数据库；日志，比如是在线应用，机器上打的那些文件日志；还有一些消息，在线应用写的一些消息；还有一些文件，外面的文件。经过数据采集，数据同步，进入到我们的数仓体系里面，这里面数据同步可能有很多，比如DB的日志解析同步DRC、日志文件的解析、采集SRS，然后有一些通用的同步工具DataX。

第二，在数据存储与计算里面，从下往上看上图，第一是比较多的、传统的批量计算，就像ODPS，Spark，还有最新的一些框架，比如Ray，Ray在蚂蚁变种就是Raya。