【SGLang】4090 48G魔改 部署 Qwen3.5-27B-FP8&35B A3B 一些心得经验分享。
- 内容介绍
- 文章标签
- 相关推荐
问题描述:
先介绍环境:
4090 48G
i5 13600k
ddr4 32Gx4
win11 LTSC
WSL2 Ubuntu22.04
目前性能结论(个人感受):
4并发,单路50-60tok/s,kvcache fp8 310k缓存池子,显存总占用~46G。
主要使用环境openclaw、opencode
工具tools遵循度完美,长任务执行完美。
不建议使用社区微调的opus、gguf、或者其他非官方版本。(我全踩过,都没有官方的好使!!!)
长时间使用无任何断流、tools调用出错等情况出现。
————————————————————————————————————
SGLang 部署在WSL2 Ubuntu22.04中(后续为了简化,我只写WSL2)。
虚拟环境部署比docker容器部署在prefill阶段高10%性能。
问题描述:
先介绍环境:
4090 48G
i5 13600k
ddr4 32Gx4
win11 LTSC
WSL2 Ubuntu22.04
目前性能结论(个人感受):
4并发,单路50-60tok/s,kvcache fp8 310k缓存池子,显存总占用~46G。
主要使用环境openclaw、opencode
工具tools遵循度完美,长任务执行完美。
不建议使用社区微调的opus、gguf、或者其他非官方版本。(我全踩过,都没有官方的好使!!!)
长时间使用无任何断流、tools调用出错等情况出现。
————————————————————————————————————
SGLang 部署在WSL2 Ubuntu22.04中(后续为了简化,我只写WSL2)。
虚拟环境部署比docker容器部署在prefill阶段高10%性能。

