如何将monstache与mongodb实时同步,数据自动导入elasticsearch?

2026-04-01 22:540阅读0评论SEO资源
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计434个文字,预计阅读时间需要2分钟。

如何将monstache与mongodb实时同步,数据自动导入elasticsearch?

在最近的数据系统统计功能中,需要将MongoDB数据实时同步到Elasticsearch中。目前找到的方案有两种:

1. 使用Flink MongoDB CDC

2.使用Flink MongoDB CDC + 最近的数据统计功能

最近在做数据统计功能,需要将mongodb数据实时同步到 elasticsearch中。目前找到的方案有两种1、通过flinkmongodbcdc flinkmongodbcdc的

最近在做数据统计功能,需要将mongodb数据实时同步到 elasticsearch 中。目前找到的方案有两种

1、通过flink mongodb cdc 

flink mongodb cdc 的优点是比较灵活,可以将mongodb中的数据同步到任意支持的目标库中,不限于elasticsearch ,但是目前在使用的过程共发现同步时会自动加一个Changelog Normalize 算子,背压比较严重。网上找了很多资料,暂时无法解决。

2、monstache 优点的话就是同步速度很快暂时没有发现性能问题,缺点也比较明显就是只能同步mongodb 数据到elasticsearch 中。

阅读全文

本文共计434个文字,预计阅读时间需要2分钟。

如何将monstache与mongodb实时同步,数据自动导入elasticsearch?

在最近的数据系统统计功能中,需要将MongoDB数据实时同步到Elasticsearch中。目前找到的方案有两种:

1. 使用Flink MongoDB CDC

2.使用Flink MongoDB CDC + 最近的数据统计功能

最近在做数据统计功能,需要将mongodb数据实时同步到 elasticsearch中。目前找到的方案有两种1、通过flinkmongodbcdc flinkmongodbcdc的

最近在做数据统计功能,需要将mongodb数据实时同步到 elasticsearch 中。目前找到的方案有两种

1、通过flink mongodb cdc 

flink mongodb cdc 的优点是比较灵活,可以将mongodb中的数据同步到任意支持的目标库中,不限于elasticsearch ,但是目前在使用的过程共发现同步时会自动加一个Changelog Normalize 算子,背压比较严重。网上找了很多资料,暂时无法解决。

2、monstache 优点的话就是同步速度很快暂时没有发现性能问题,缺点也比较明显就是只能同步mongodb 数据到elasticsearch 中。

阅读全文