如何实现异步任务中函数计算任务的去重机制？

本文共计2885个文字，预计阅读时间需要12分钟。

前言：无论是在大数据处理领域，还是在消息处理领域，任务系统都具备一个至关重要的能力——任务触发生成的保障。这个能力对于一些对准确性要求极高的场景（如金融等）是必不可少的。

前言
无论是在大数据处理领域，还是在消息处理领域，任务系统都有一个很关键的能力 - 任务触发去重的保障。这个能力对于一些准确性要求极高的场景中（如金融等）是必不可少的。作为 Serverless 化任务处理平台，Serverless Task 也需要提供这类保障，在用户应用层面及自身系统内部两个维度具备任务的准确触发语义。本文主要针对消息处理可靠性这一主题来介绍函数计算内部的一些技术细节，并展示如何在实际应用中使用函数计算所提供的这方面能力来增强任务执行的可靠性。

浅谈任务去重
在讨论异步消息处理系统时，消息处理的基本语义是无法绕开的话题。在一个异步的消息处理系统（任务系统）中，一条消息的处理流程简化如下图所示：

图 1

用户下发任务 - 进入队列 - 任务处理单元监听并获取消息 - 调度到实际 worker 执行

在任务消息整个的流转过程中，任何组件（环节）可能出现的宕机等问题会导致消息的错误传递。一般的任务系统会提供至多 3 个层级的消息处理语义：

●At-Most-Once：保证消息最多被传递一次。当出现网络分区、系统组件宕机时，可能出现消息丢失；
●At-Least-Once：保证消息至少被传递一次。消息传递链路支持错误重试，利用消息重发机制保证下游一定收到上游消息，但是在宕机或者网络分区的场景下，可能导致相同消息传递多次。