Flink 1.10与Hive 3.0性能对比及Demo演示PPT，能否详细阐述其差异与优劣？
- 内容介绍
- 文章标签
- 相关推荐
本文共计2899个文字，预计阅读时间需要12分钟。
作者：李劲松（之信）内容摘要：大数据批处理计算，依托Hive数仓的成熟，普遍采用Hive Metastore+计算引擎的模式。常见的计算引擎有Hive on MapReduce、Hive on Tez、Hive on Spark、Spark integrate Hive等。
作者：李劲松（之信）
如今的大数据批计算，随着 Hive 数仓的成熟，普遍的模式是 Hive metastore + 计算引擎。常见的计算引擎有 Hive on MapReduce、Hive on Tez、Hive on Spark、Spark integrate Hive、Presto integrate Hive，还有随着 Flink 1.10 发布后生产可用的 Flink Batch SQL。
Flink 作为一个统一的计算引擎，旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码，并在 1.10 中完善了大量的功能以及性能，可以运行所有 TPC-DS 的查询，性能方面也很有竞争力，Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。
在搭建计算平台的过程中，性能和成本是选取计算引擎的很关键的因素。为此，Ververica 的 flink-sql-benchmark [1] 项目提供了基于 Hive Metastore 的 TPC-DS Benchmark 测试的工具，为了测试更靠近真正的生产作业：
- 测试的输入表都是标准的 Hive 表，数据全在与生产一致的 Hive 数仓中。其它计算引擎也能方便分析这些表。
- 数据的格式采用 ORC，ORC 是常用的生产文件格式，提供较高的压缩率，和较好的读取性能。
本文共计2899个文字，预计阅读时间需要12分钟。
作者：李劲松（之信）内容摘要：大数据批处理计算，依托Hive数仓的成熟，普遍采用Hive Metastore+计算引擎的模式。常见的计算引擎有Hive on MapReduce、Hive on Tez、Hive on Spark、Spark integrate Hive等。
作者：李劲松（之信）
如今的大数据批计算，随着 Hive 数仓的成熟，普遍的模式是 Hive metastore + 计算引擎。常见的计算引擎有 Hive on MapReduce、Hive on Tez、Hive on Spark、Spark integrate Hive、Presto integrate Hive，还有随着 Flink 1.10 发布后生产可用的 Flink Batch SQL。
Flink 作为一个统一的计算引擎，旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码，并在 1.10 中完善了大量的功能以及性能，可以运行所有 TPC-DS 的查询，性能方面也很有竞争力，Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。
在搭建计算平台的过程中，性能和成本是选取计算引擎的很关键的因素。为此，Ververica 的 flink-sql-benchmark [1] 项目提供了基于 Hive Metastore 的 TPC-DS Benchmark 测试的工具，为了测试更靠近真正的生产作业：
- 测试的输入表都是标准的 Hive 表，数据全在与生产一致的 Hive 数仓中。其它计算引擎也能方便分析这些表。
- 数据的格式采用 ORC，ORC 是常用的生产文件格式，提供较高的压缩率，和较好的读取性能。