如何通过Kubernetes资源拓扑感知调度优化实现高效集群资源分配？

本文共计7013个文字，预计阅读时间需要29分钟。

作者+星算能力团队，星算平台基于深度优化云原生系统，一键接入和多云调度，加固容器运行态隔离，技术增量价值，平台承载了腾讯内部的+CPU和异构算力服务，是腾讯内部大规模平台。

作者

星辰算力团队，星辰算力平台基于深入优化云原生统一接入和多云调度，加固容器运行态隔离，挖掘技术增量价值，平台承载了腾讯内部的 CPU 和异构算力服务，是腾讯内部大规模离线作业、资源统一调度平台。

背景 问题源起

近年来，随着腾讯内部自研上云项目的不断发展，越来越多的业务开始使用云原生方式托管自己的工作负载，容器平台的规模因此不断增大。以 Kubernetes 为底座的云原生技术极大推动了云原生领域的发展，已然成为各大容器平台事实上的技术标准。在云原生场景下，为了最大化实现资源共享，单台宿主机往往会运行多个不同用户的计算任务。如果在宿主机内没有进行精细化的资源隔离，在业务负载高峰时间段，多个容器往往会对资源产生激烈的竞争，可能导致程序性能的急剧下降，主要体现为：

1. 资源调度时频繁的上下文切换时间
2. 频繁的进程切换导致的 CPU 高速缓存失效

因此，在云原生场景下需要针对容器资源分配加以精细化的限制，确保在 CPU 利用率较高时，各容器之间不会产生激烈竞争从而引起性能下降。

调度场景

腾讯星辰算力平台承载了全公司的 CPU 和 GPU 算力服务，拥有着海量多类型的计算资源。当前，平台承载的多数重点服务偏离线场景，在业务日益增长的算力需求下，提供源源不断的低成本资源，持续提升可用性、服务质量、调度能力，覆盖更多的业务场景。