Macbook Pro m5 pro 本地部署模型求推荐
- 内容介绍
- 文章标签
- 相关推荐
想在自己本地部署大模型用于ClaudeCode 做软件开发工作，但是对模型的选择上很难确定，网上搜索了一些排行 说的qwen3Max Kimi 2.5 GLM-5这些模型都大的不行，佬们有没有什么好的推荐呀
网友解答：--【壹】--：
Gemma4不错，不过开发不好说，但这个模型速度快，对比同参数的其他模型来说，性价比高，，，
--【贰】--：
个人感觉在apple还没有开发出自己的模型或者谈好合作的模型公司之前，mac的硬件还是跟gpu、tpu差太远，主要还是生态的问题……所以，云吧…………
顺便问一下，芯片和硬盘容量，如果不是太富裕可能真要再等等，给apple一点时间……要换帅了不是……
--【叁】--：
看来看去 好像还是只有Gemma4 可以试一下
--【肆】--：
岂不是说只有氪金这一条路可以走了 ，本地模型还是只能作为聊天助手
--【伍】--：
谢谢佬 不知道他这个Mac Studio的方案我Macbook 能不能适配
--【陆】--：
开源模型很难比上闭源 SOTA 的零头吧，特别是对于 code agent 来说
--【柒】--：
本地的模型参数太小把 需要很大的显存.
--【捌】--：
试试谷歌开源的gemma4，感觉下来可以达到gemini2.5的水平
--【玖】--：
我在阿b看过另一个评测视频，M5是比M4、M3多了不知道什么硬件加速，
反正Ai本地部署的提升很大。
找到了：
image284×239 42.1 KB
image1630×889 113 KB
【【深度】苹果牌AI计算卡！M5 Max AI性能深度分析！】 https://www.bilibili.com/video/BV1B6PXz6ECT/?share_source=copy_web&vd_source=f405425fb687a7d70f20b0b560810d80
现在你遇到的本地部署瓶颈应该是显存够不够的问题。
但是很多土豪up实测下来Q4 Q8其实跟满血差别并不大，不会超过5~10%。
刚才发给你的视频里面的up也很详细做出数据图标了，如果能部署满血版的Q4量化，
最多是比开源顶配模型差2-5个月的水平。
--【拾】--：
并非。
满血的Q8量化比闭源模型只慢3个月左右，有用户实测的。
image1920×841 171 KB
--【拾壹】--：
想搞个龙虾玩，不知道搞个配置高的跑下gemma4做本地模型还是丐版全部上api，有何建议么
--【拾贰】--：
最近在搞多模型搭配 不同的任务使用不同的模型
--【拾叁】--：
不是旗舰模型就都是玩具差不多啊，翻翻译还可以，实在做不了什么生产力的
--【拾肆】--：
经过本人实测 64GB 内存跑个 gemma4 31b或者qwen3.6 36b ,本地跑个hermes开几个浏览器内存基本就快70～80%，由于Hermes的上下文还蛮多 导致响应慢到飞起
--【拾伍】--：
除非隐私场合，否则本地部署没有意义。又慢又差，如上所说，很难比上商业闭源的零头。
我当初也是和佬友一样的想法入了mac，后来一寻思，没啥必要整自部署啊
--【拾陆】--： CarbonAnimal:
本地部署大模型
本地部署不了大模型，除非你有大几百GB显存。最小的开源模型Minimax2系列都有230B，部署起来得要300~400G显存，你的M5 PRO跑不了。
能部署的只有Gemma4，qwen3.5-27B这种20~30B的模型。大几十GB显存就差不多了。
能力跟真正的大模型差的不是一点半点，而是天差低别。
买云服务吧。
--【拾柒】--：
想太多了，这种体量的模型，都是需要很多张H100级别的显卡才能支撑的。消费级的显卡甚至需要上百张。一个m5 pro怎么可能跑得转。
--【拾捌】--：
可以看这个视频，很详细的分析和讲解了。
花5万买Mac Studio跑AI值不值？用了一年终于能回答了。附模型评论和硬件对比，部署指南_哔哩哔哩_bilibili
这个视频我前前后后做了几个月才做完。核心观点：1. 目前本地模型已经拥有了在受约束的智能体编程状态下替代API的能力。 2. 本地token经济学：买更大的内存等于买和最先进模型之间的时间差。 3.提出了一种新的硬件费效比计算方式：（智能体任务次数/每天）/每1000美元。 大家如果还有其他的问题，欢迎在评论区里面留言。, 视频播放量 39729、弹幕量 69、点赞数 1556、投硬币枚数 1452、收藏人数 2352、转发人数 362, 视频作者 小蛋糕cute_cake, 作者简介...
想在自己本地部署大模型用于ClaudeCode 做软件开发工作，但是对模型的选择上很难确定，网上搜索了一些排行 说的qwen3Max Kimi 2.5 GLM-5这些模型都大的不行，佬们有没有什么好的推荐呀
网友解答：--【壹】--：
Gemma4不错，不过开发不好说，但这个模型速度快，对比同参数的其他模型来说，性价比高，，，
--【贰】--：
个人感觉在apple还没有开发出自己的模型或者谈好合作的模型公司之前，mac的硬件还是跟gpu、tpu差太远，主要还是生态的问题……所以，云吧…………
顺便问一下，芯片和硬盘容量，如果不是太富裕可能真要再等等，给apple一点时间……要换帅了不是……
--【叁】--：
看来看去 好像还是只有Gemma4 可以试一下
--【肆】--：
岂不是说只有氪金这一条路可以走了 ，本地模型还是只能作为聊天助手
--【伍】--：
谢谢佬 不知道他这个Mac Studio的方案我Macbook 能不能适配
--【陆】--：
开源模型很难比上闭源 SOTA 的零头吧，特别是对于 code agent 来说
--【柒】--：
本地的模型参数太小把 需要很大的显存.
--【捌】--：
试试谷歌开源的gemma4，感觉下来可以达到gemini2.5的水平
--【玖】--：
我在阿b看过另一个评测视频，M5是比M4、M3多了不知道什么硬件加速，
反正Ai本地部署的提升很大。
找到了：
image284×239 42.1 KB
image1630×889 113 KB
【【深度】苹果牌AI计算卡！M5 Max AI性能深度分析！】 https://www.bilibili.com/video/BV1B6PXz6ECT/?share_source=copy_web&vd_source=f405425fb687a7d70f20b0b560810d80
现在你遇到的本地部署瓶颈应该是显存够不够的问题。
但是很多土豪up实测下来Q4 Q8其实跟满血差别并不大，不会超过5~10%。
刚才发给你的视频里面的up也很详细做出数据图标了，如果能部署满血版的Q4量化，
最多是比开源顶配模型差2-5个月的水平。
--【拾】--：
并非。
满血的Q8量化比闭源模型只慢3个月左右，有用户实测的。
image1920×841 171 KB
--【拾壹】--：
想搞个龙虾玩，不知道搞个配置高的跑下gemma4做本地模型还是丐版全部上api，有何建议么
--【拾贰】--：
最近在搞多模型搭配 不同的任务使用不同的模型
--【拾叁】--：
不是旗舰模型就都是玩具差不多啊，翻翻译还可以，实在做不了什么生产力的
--【拾肆】--：
经过本人实测 64GB 内存跑个 gemma4 31b或者qwen3.6 36b ,本地跑个hermes开几个浏览器内存基本就快70～80%，由于Hermes的上下文还蛮多 导致响应慢到飞起
--【拾伍】--：
除非隐私场合，否则本地部署没有意义。又慢又差，如上所说，很难比上商业闭源的零头。
我当初也是和佬友一样的想法入了mac，后来一寻思，没啥必要整自部署啊
--【拾陆】--： CarbonAnimal:
本地部署大模型
本地部署不了大模型，除非你有大几百GB显存。最小的开源模型Minimax2系列都有230B，部署起来得要300~400G显存，你的M5 PRO跑不了。
能部署的只有Gemma4，qwen3.5-27B这种20~30B的模型。大几十GB显存就差不多了。
能力跟真正的大模型差的不是一点半点，而是天差低别。
买云服务吧。
--【拾柒】--：
想太多了，这种体量的模型，都是需要很多张H100级别的显卡才能支撑的。消费级的显卡甚至需要上百张。一个m5 pro怎么可能跑得转。
--【拾捌】--：
可以看这个视频，很详细的分析和讲解了。
花5万买Mac Studio跑AI值不值？用了一年终于能回答了。附模型评论和硬件对比，部署指南_哔哩哔哩_bilibili
这个视频我前前后后做了几个月才做完。核心观点：1. 目前本地模型已经拥有了在受约束的智能体编程状态下替代API的能力。 2. 本地token经济学：买更大的内存等于买和最先进模型之间的时间差。 3.提出了一种新的硬件费效比计算方式：（智能体任务次数/每天）/每1000美元。 大家如果还有其他的问题，欢迎在评论区里面留言。, 视频播放量 39729、弹幕量 69、点赞数 1556、投硬币枚数 1452、收藏人数 2352、转发人数 362, 视频作者 小蛋糕cute_cake, 作者简介...