如何构建基于队列的后端流量削峰技能树？

本文共计790个文字，预计阅读时间需要4分钟。

作者简介：ASCE1885，著有《Android 高级进阶》和《Android 高级进阶（源码剖析篇）》。本书基于作者对商业目的的研究，未经授权全文转载请勿使用。感谢！在分布式架构中，前端需要一个请求。

作者简介：ASCE1885，《Android 高级进阶》​ 和 《Android 高级进阶(源码剖析篇)》​作者
本文由于潜在的商业目的，未经授权不开放全文转载许可，谢谢！

在分布式架构中，前端一个请求会经过后端的多个服务的处理才返回结果，这时就可能会存在一种情况，在间歇性高负载情况下，某个服务 B 的处理能力不能满足负载的需求，从而导致服务 B 崩溃或者服务调用者 A 响应超时，如下图所示：

那么如何解决这种问题呢？有读者可能会说，那就给服务 B 作单机性能优化，从而提升单机处理能力，进而提升服务 B 集群的整体处理能力；或者当单机处理能力已经无法进一步优化或者即使优化后仍然无法满足负载需求时，那么就对服务 B 集群进行水平扩容，从而提升集群整体的处理能力。

没错，这是一种常见的解决方案，但如果服务 B 集群扩容成本很高呢？例如服务 B 需要用到 GPU 来跑 AI 模型，而我们知道 GPU 成本不低。