Apache Pulsar Function如何实现轻量级计算？

本文共计1961个文字，预计阅读时间需要8分钟。

一、Function 背景介绍在执行流程处理时，我们常常遇到一些简单操作的需求，比如：

- 简单的ETL操作- 聚合、计算等基本操作

二、实现这些功能为了实现上述功能，我们通常需要以下服务支持：

- 简单的ETL处理- 数据聚合与计算操作

一、Function背景介绍

当我们进行流式处理的时候，很多情况下，我们的需求可能只是下面这些简单的操作：简单的ETL 操作\聚合计算操作等相关服务。

 

但为了实现这些功能，我们不得不去部署一整套 SPE 服务。部署成功后才发现需要的仅是SPE(流处理引擎)服务中的一小部分功能，部署 SPE 的成本可能比用户开发这个功能本身更困难。由于SPE 本身API 的复杂性，我们需要了解这些算子的使用场景，明白不同算子之间有哪些区别，什么情况下，应该使用什么算子来处理相应的逻辑。

 

基于以上原因，我们设计并实现了 Pulsar Functions，在 Pulsar Functions 中，用户只需关心计算逻辑本身，而不需要去了解或者部署 SPE 的相关服务，当然你也可以将pulsar-function 与现有的SPE 服务一起使用。也就是说，在 Pulsar Functions 中，无需部署SPE 的整套服务，就可以达到与 SPE 服务同样的优势。