局域网ollama vllm部署模型,然后cc switch可以直接接入么
- 内容介绍
- 文章标签
- 相关推荐
image1575×740 91.4 KB
请教各位大佬,
如图:本地部署的gemma4 是可以xxxx/v1/chat/completions跑通的,但是接到cc switch 要么报错,要么卡着没反应,症状如下:
最开始报错指定工具啥的,
7ab0650d13652e324dc1211adec9a2851210×420 18.8 KB
问了genimi,改了env配置,
image1011×820 70 KB
然后又继续报错
500 {“type”:“error”,“error”:{“type”:“internal_error”,“message”:"max_completion_tokens=32000cannot be greater than max_model_len=max_total_tokens=4096. Please request fewer output tokens.
按指引我去vllm那边从–max-model-len 32768 改到65000,
现在claude问他问题就 不回答了,python那边问也要等这边esc退出后才能秒回
我再去修改了env,变成最简的如下图,他都是卡着没反应,
image880×371 36.3 KB
我这边cc switch 代理开着 整流器开着
image431×239 10.5 KB
,api格式轮着都试过,都是一样,消息发过去没反应
最后感谢大佬们指点
网友解答:--【壹】--: North_warm:
v1/messages
image803×357 23.7 KB
ip:端口 + v1/messages 好像也不行 而且py测试,本地ollma是通的
但是临时生成的文件没看到代理,不是说openai要代理么,不知道是不是这里出差
--【贰】--:
为什么不
image1575×740 91.4 KB
请教各位大佬,
如图:本地部署的gemma4 是可以xxxx/v1/chat/completions跑通的,但是接到cc switch 要么报错,要么卡着没反应,症状如下:
最开始报错指定工具啥的,
7ab0650d13652e324dc1211adec9a2851210×420 18.8 KB
问了genimi,改了env配置,
image1011×820 70 KB
然后又继续报错
500 {“type”:“error”,“error”:{“type”:“internal_error”,“message”:"max_completion_tokens=32000cannot be greater than max_model_len=max_total_tokens=4096. Please request fewer output tokens.
按指引我去vllm那边从–max-model-len 32768 改到65000,
现在claude问他问题就 不回答了,python那边问也要等这边esc退出后才能秒回
我再去修改了env,变成最简的如下图,他都是卡着没反应,
image880×371 36.3 KB
我这边cc switch 代理开着 整流器开着
image431×239 10.5 KB
,api格式轮着都试过,都是一样,消息发过去没反应
最后感谢大佬们指点
网友解答:--【壹】--: North_warm:
v1/messages
image803×357 23.7 KB
ip:端口 + v1/messages 好像也不行 而且py测试,本地ollma是通的
但是临时生成的文件没看到代理,不是说openai要代理么,不知道是不是这里出差
--【贰】--:
为什么不

