如何利用Logstash实现MySQL数据实时同步至ElasticSearch?
- 内容介绍
- 文章标签
- 相关推荐
本文共计708个文字,预计阅读时间需要3分钟。
前言:最近又重新关注了ElasticSearch的文档,发现那些DSL语法都几乎忘记了。所以准备写一个用ES做存储的demo小项目。其实主要是用DSL替代之前项目中的SQL,但数据以及一些字段还是需要的。
前言:
最近又重新在看ElasticSearch的文档,发现那些DSL语法全都忘记了,所以准备写一个用ES做储存的demo小项目。其实是用DSL代替之前项目的SQL,但是数据以及一些字段还是需要,所以就需要将以前的MySQL数据导入到ElasticSearch中。
以前的做法是写一个脚本,通过创建索引,创建文档,将MySQL数据插入到ElasticSearch中,现在想通过Elastic中的成员之一——Logstash,来完成初步的导入工作。下面就从基础简单介绍该方式的导入过程吧。
工具清单:
1. ElasticSearch
2. Logstash
3. Java JDK
4.mysql-connector-java
环境搭建:
首先可以先安装JDK,配置环境变量,版本1.8之类的都可以。ElasticSearch和Logstash可以在Elastic官网下载最新版本,最好是两个工具的版本保持一致,目前我这里使用的是7.8版本。
本文共计708个文字,预计阅读时间需要3分钟。
前言:最近又重新关注了ElasticSearch的文档,发现那些DSL语法都几乎忘记了。所以准备写一个用ES做存储的demo小项目。其实主要是用DSL替代之前项目中的SQL,但数据以及一些字段还是需要的。
前言:
最近又重新在看ElasticSearch的文档,发现那些DSL语法全都忘记了,所以准备写一个用ES做储存的demo小项目。其实是用DSL代替之前项目的SQL,但是数据以及一些字段还是需要,所以就需要将以前的MySQL数据导入到ElasticSearch中。
以前的做法是写一个脚本,通过创建索引,创建文档,将MySQL数据插入到ElasticSearch中,现在想通过Elastic中的成员之一——Logstash,来完成初步的导入工作。下面就从基础简单介绍该方式的导入过程吧。
工具清单:
1. ElasticSearch
2. Logstash
3. Java JDK
4.mysql-connector-java
环境搭建:
首先可以先安装JDK,配置环境变量,版本1.8之类的都可以。ElasticSearch和Logstash可以在Elastic官网下载最新版本,最好是两个工具的版本保持一致,目前我这里使用的是7.8版本。

