老黄的环境最难配了(qwen3-vl)

2026-04-11 15:200阅读0评论SEO资源
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

( 左拐的红灯最难等了)
记录一下我配置Qwen3-VL的坑
最近在用Blackwell架构(SM100)配环境,拿来跑Qwen3-VL强化学习,感觉要崩溃了
在CU130下,已经美美体验了用conda从零配和直接用容器两种方法,体验了最新的verl和ms-swift3.12(从3.12转verl,结果现在4.0都出了)
不知道为什么,发现GRPO+Lora+Qwen3-VL+工具调用的组合,几乎能把所有雷都踩一下

  • 体验了torch-2.9.0引入的cudnn超慢bug
  • 体验了qwen3-vl刚出来时,transformers正式版本(4.55)不支持的美
  • 体验了sm120架构在flash-attn_3上不支持的美
  • 体验了ms-swift不成熟的agentic配置,新的改动又在4.0,4.0又大改了结构
  • 体验了最新版sglang0.59在verl中没办法正常运行这套流程的问题(各种回退逻辑触发)
  • 体验了remove_padding在verl的问题,推理速度宛如老头乐,transformers在v5新版修了,但是新版transformers还没被verl支持

完美吃掉我接近两周时间
我现在已经破防决定直接用TRL库了

  • 已被GPT不遵循文档气哭
  • 已被vllm默认只传两张图气哭(为什么会有limit_mm_per_prompt这种东西)
  • 翻查文档,原来是天才程序员GPT在vllm_model_impl中选择transformers而不是vllm,导致默认走vllm v0,直接爆
网友解答:
--【壹】--:

已被天才程序员GPT的理解气哭

问题描述:

( 左拐的红灯最难等了)
记录一下我配置Qwen3-VL的坑
最近在用Blackwell架构(SM100)配环境,拿来跑Qwen3-VL强化学习,感觉要崩溃了
在CU130下,已经美美体验了用conda从零配和直接用容器两种方法,体验了最新的verl和ms-swift3.12(从3.12转verl,结果现在4.0都出了)
不知道为什么,发现GRPO+Lora+Qwen3-VL+工具调用的组合,几乎能把所有雷都踩一下

  • 体验了torch-2.9.0引入的cudnn超慢bug
  • 体验了qwen3-vl刚出来时,transformers正式版本(4.55)不支持的美
  • 体验了sm120架构在flash-attn_3上不支持的美
  • 体验了ms-swift不成熟的agentic配置,新的改动又在4.0,4.0又大改了结构
  • 体验了最新版sglang0.59在verl中没办法正常运行这套流程的问题(各种回退逻辑触发)
  • 体验了remove_padding在verl的问题,推理速度宛如老头乐,transformers在v5新版修了,但是新版transformers还没被verl支持

完美吃掉我接近两周时间
我现在已经破防决定直接用TRL库了

  • 已被GPT不遵循文档气哭
  • 已被vllm默认只传两张图气哭(为什么会有limit_mm_per_prompt这种东西)
  • 翻查文档,原来是天才程序员GPT在vllm_model_impl中选择transformers而不是vllm,导致默认走vllm v0,直接爆
网友解答:
--【壹】--:

已被天才程序员GPT的理解气哭