【Machine Learning System版块】机器学习系统工程｜训练推理量化资源调度线上稳定性

问题描述：

版块名称： Machine Learning System讨论版块
URL Slug： MLSys
版块简介：
机器学习不只是“训练一个模型”，而是一套从数据、训练、评估到部署、监控、迭代的系统工程。本版块聚焦 Machine Learning System（机器学习系统） 的实战落地，核心围绕两大块：训练系统 与 推理系统。
训练侧关注 Megatron 等大规模分布式训练框架、并行策略、通信优化、容错与复现、集群调度与成本控制；推理侧则聚焦 sglang、vLLM 等高性能推理框架，讨论吞吐与延迟优化、KV Cache 管理、batching 策略、流式生成、服务治理与上线稳定性。
同时，随着量化（INT8/INT4）、LoRA/Adapter、多模型路由、长上下文与多机推理等技术不断发展，ML 系统的复杂度也在快速上升：资源利用率难以保证、性能瓶颈定位困难、线上稳定性与可观测性要求更高——这正是机器学习系统工程需要被认真讨论的原因。
你可以在这里分享自己的训练/部署踩坑经验、性能优化心得，也欢迎讨论最新论文与新框架的工程意义。
版主人选： @Giggle @sino @YHX2010 （欢迎大家自荐！！）
版块规则：

• 默认脱敏与合规：可以聊真实线上事故与踩坑，但涉及业务数据、客户信息、内部地址/密钥/日志请脱敏；不建议直接贴可追溯到具体业务的细节。
• 工程取向优先，允许观点碰撞：允许对框架/路线（Megatron vs FSDP、vLLM vs sglang、量化方案等）有争论，但请用数据、复现实验、源码/PR/论文依据说话；禁止“鄙视链”式嘲讽。