【SGLang】4090 48G魔改 部署 Qwen3.5-27B-FP8&35B A3B 一些心得经验分享。

2026-04-13 13:031阅读0评论SEO教程
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

先介绍环境:
4090 48G
i5 13600k
ddr4 32Gx4
win11 LTSC
WSL2 Ubuntu22.04

目前性能结论(个人感受):
4并发,单路50-60tok/s,kvcache fp8 310k缓存池子,显存总占用~46G。
主要使用环境openclaw、opencode
工具tools遵循度完美,长任务执行完美。
不建议使用社区微调的opus、gguf、或者其他非官方版本。(我全踩过,都没有官方的好使!!!)
长时间使用无任何断流、tools调用出错等情况出现。

————————————————————————————————————
SGLang 部署在WSL2 Ubuntu22.04中(后续为了简化,我只写WSL2)。
虚拟环境部署比docker容器部署在prefill阶段高10%性能。

阅读全文
标签:人工智能
问题描述:

先介绍环境:
4090 48G
i5 13600k
ddr4 32Gx4
win11 LTSC
WSL2 Ubuntu22.04

目前性能结论(个人感受):
4并发,单路50-60tok/s,kvcache fp8 310k缓存池子,显存总占用~46G。
主要使用环境openclaw、opencode
工具tools遵循度完美,长任务执行完美。
不建议使用社区微调的opus、gguf、或者其他非官方版本。(我全踩过,都没有官方的好使!!!)
长时间使用无任何断流、tools调用出错等情况出现。

————————————————————————————————————
SGLang 部署在WSL2 Ubuntu22.04中(后续为了简化,我只写WSL2)。
虚拟环境部署比docker容器部署在prefill阶段高10%性能。

阅读全文
标签:人工智能