如何使用Spark高效读取Elasticsearch中的数据？
- 内容介绍
- 文章标签
- 相关推荐
本文共计3094个文字，预计阅读时间需要13分钟。
在Spark job中，使用Spark SQL通过以下方式读取Elasticsearch数据时遇到了一些困难，具体如下总结：
环境说明：- Spark job编写语言：Scala- Scala library版本：2.11.8- Spark相关依赖包版本：2.3
最近要在 Spark job 中通过 Spark SQL 的方式读取 Elasticsearch 数据，踩了一些坑，总结于此。
环境说明-
Spark job 的编写语言为 Scala，scala-library 的版本为 2.11.8。
-
Spark 相关依赖包的版本为 2.3.2，如 spark-core、spark-sql。
本文共计3094个文字，预计阅读时间需要13分钟。
在Spark job中，使用Spark SQL通过以下方式读取Elasticsearch数据时遇到了一些困难，具体如下总结：
环境说明：- Spark job编写语言：Scala- Scala library版本：2.11.8- Spark相关依赖包版本：2.3
最近要在 Spark job 中通过 Spark SQL 的方式读取 Elasticsearch 数据，踩了一些坑，总结于此。
环境说明-
Spark job 的编写语言为 Scala，scala-library 的版本为 2.11.8。
-
Spark 相关依赖包的版本为 2.3.2，如 spark-core、spark-sql。