如何高效结合Elasticsearch与Spark进行数据处理？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1288个文字，预计阅读时间需要6分钟。
Hadoop支持Elasticsearch在Spark中以两种方式使用：通过自2.1版开始的RDD支持，或通过自2.0版开始的Map/Reduce桥接器。从5.0版本开始，Elasticsearch-hadoop支持Spark+2.0。目前，Spark支持的数据源包括。
Hadoop允许Elasticsearch在Spark中以两种方式使用：通过自2.1以来的原生RDD支持，或者通过自2.0以来的Map/Reduce桥接器。从5.0版本开始，elasticsearch-hadoop就支持Spark 2.0。目前spark支持的数据源有：
（1）文件系统：LocalFS、HDFS、Hive、text、parquet、orc、json、csv
（2）数据RDBMS：mysql、oracle、mssql
（3）NOSQL数据库：HBase、ES、Redis
（4）消息对象：Redis
elasticsearch相对hdfs来说，容易搭建、并且有可视化kibana支持，非常方便spark的初学入门，本文主要讲解用elasticsearch-spark的入门。
本文共计1288个文字，预计阅读时间需要6分钟。
Hadoop支持Elasticsearch在Spark中以两种方式使用：通过自2.1版开始的RDD支持，或通过自2.0版开始的Map/Reduce桥接器。从5.0版本开始，Elasticsearch-hadoop支持Spark+2.0。目前，Spark支持的数据源包括。
Hadoop允许Elasticsearch在Spark中以两种方式使用：通过自2.1以来的原生RDD支持，或者通过自2.0以来的Map/Reduce桥接器。从5.0版本开始，elasticsearch-hadoop就支持Spark 2.0。目前spark支持的数据源有：
（1）文件系统：LocalFS、HDFS、Hive、text、parquet、orc、json、csv
（2）数据RDBMS：mysql、oracle、mssql
（3）NOSQL数据库：HBase、ES、Redis
（4）消息对象：Redis
elasticsearch相对hdfs来说，容易搭建、并且有可视化kibana支持，非常方便spark的初学入门，本文主要讲解用elasticsearch-spark的入门。