如何将monstache与mongodb实时同步,数据自动导入elasticsearch?
- 内容介绍
- 文章标签
- 相关推荐
本文共计434个文字,预计阅读时间需要2分钟。
在最近的数据系统统计功能中,需要将MongoDB数据实时同步到Elasticsearch中。目前找到的方案有两种:
1. 使用Flink MongoDB CDC
2.使用Flink MongoDB CDC + 最近的数据统计功能
最近在做数据统计功能,需要将mongodb数据实时同步到 elasticsearch中。目前找到的方案有两种1、通过flinkmongodbcdc flinkmongodbcdc的最近在做数据统计功能,需要将mongodb数据实时同步到 elasticsearch 中。目前找到的方案有两种
1、通过flink mongodb cdc
flink mongodb cdc 的优点是比较灵活,可以将mongodb中的数据同步到任意支持的目标库中,不限于elasticsearch ,但是目前在使用的过程共发现同步时会自动加一个Changelog Normalize 算子,背压比较严重。网上找了很多资料,暂时无法解决。
2、monstache 优点的话就是同步速度很快暂时没有发现性能问题,缺点也比较明显就是只能同步mongodb 数据到elasticsearch 中。
本文共计434个文字,预计阅读时间需要2分钟。
在最近的数据系统统计功能中,需要将MongoDB数据实时同步到Elasticsearch中。目前找到的方案有两种:
1. 使用Flink MongoDB CDC
2.使用Flink MongoDB CDC + 最近的数据统计功能
最近在做数据统计功能,需要将mongodb数据实时同步到 elasticsearch中。目前找到的方案有两种1、通过flinkmongodbcdc flinkmongodbcdc的最近在做数据统计功能,需要将mongodb数据实时同步到 elasticsearch 中。目前找到的方案有两种
1、通过flink mongodb cdc
flink mongodb cdc 的优点是比较灵活,可以将mongodb中的数据同步到任意支持的目标库中,不限于elasticsearch ,但是目前在使用的过程共发现同步时会自动加一个Changelog Normalize 算子,背压比较严重。网上找了很多资料,暂时无法解决。
2、monstache 优点的话就是同步速度很快暂时没有发现性能问题,缺点也比较明显就是只能同步mongodb 数据到elasticsearch 中。

