球推荐 mac 部署本地模型的方式
- 内容介绍
- 文章标签
- 相关推荐
问题描述:
今天看 gemma4 出了。想尝试一下。之前我用 ollma 部署 qwen 35b 感觉有点难用。而且也没有服务 可能因为是 app 的方式。设备是 m3max64g
今天看 gemma4 出了。想尝试一下。之前我用 ollma 部署 qwen 35b 感觉有点难用。而且也没有服务 可能因为是 app 的方式。设备是 m3max64g
有没有什么服务可以比 ollma 效率高一点。而且也方便暴露 api 使用。也方便配置例如关闭思考这种配置的软件嘞?
更新。 研究了下 mac 好像跑 mlx 会好一点。所以推荐 lmstudio 和 omlx。
想要玩 gemma4 的目前 omlx 有点 bug。作者说周末会修复。
问题描述:
今天看 gemma4 出了。想尝试一下。之前我用 ollma 部署 qwen 35b 感觉有点难用。而且也没有服务 可能因为是 app 的方式。设备是 m3max64g
今天看 gemma4 出了。想尝试一下。之前我用 ollma 部署 qwen 35b 感觉有点难用。而且也没有服务 可能因为是 app 的方式。设备是 m3max64g
有没有什么服务可以比 ollma 效率高一点。而且也方便暴露 api 使用。也方便配置例如关闭思考这种配置的软件嘞?
更新。 研究了下 mac 好像跑 mlx 会好一点。所以推荐 lmstudio 和 omlx。
想要玩 gemma4 的目前 omlx 有点 bug。作者说周末会修复。

