如何运用Reactor实现类似Flink的长尾流处理功能？

本文共计1407个文字，预计阅读时间需要6分钟。

Flink在处理流式任务时具有显著优势，尤其在Windows等操作符实现聚合任务方面。然而，Flink本身是一套独立的服务，若业务流程中需将数据发送到Kafka，再由Flink处理，则需确保数据传输的顺畅。

一、背景

Flink在处理流式任务的时候有很大的优势，其中windows等操作符可以很方便的完成聚合任务，但是Flink是一套独立的服务，业务流程中如果想使用需要将数据发到kafka，用Flink处理完再发到kafka，然后再做业务处理，流程很繁琐。

比如在业务代码中想要实现类似Flink的window按时间批量聚合功能，如果纯手动写代码比较繁琐，使用Flink又太重，这种场景下使用响应式编程RxJava、Reactor等的window、buffer操作符可以很方便的实现。

响应式编程框架也早已有了背压以及丰富的操作符支持，能不能用响应式编程框架处理类似Flink的操作呢，答案是肯定的。

本文使用Reactor来实现Flink的window功能来举例，其他操作符理论上相同。文中涉及的代码：github

二、实现过程

Flink对流式处理做的很好的封装，使用Flink的时候几乎不用关心线程池、积压、数据丢失等问题，但是使用Reactor实现类似的功能就必须对Reactor运行原理比较了解，并且经过不同场景下测试，否则很容易出问题。

下面列举出实现过程中的核心点：

1、创建Flux和发送数据分离

入门Reactor的时候给的示例都是创建Flux的时候同时就把数据赋值了，比如：Flux.just、Flux.range等，从3.4.0版本后先创建Flux，再发送数据可使用Sinks完成。