之前暴毙的2080ti 22g显卡复活了,请问佬们有没有什么推荐本地开源模型跑
- 内容介绍
- 文章标签
- 相关推荐
问题描述:
--【壹】--:
--【贰】--:
--【叁】--:
去年七月魔改的2080ti 22g显卡突然暴毙,修显卡的老板估计被折磨的不行(之前以为是显存虚焊,后来发现核心挂了,之后做了心脏移植手术还是不行),大发慈悲准备重新买一张给我,22g显卡意外回归,请问佬们有没有日常使用的本地模型的推荐,如果未来本地模型性能更强了考虑再外接一个双v100 32g的显卡坞
网友解答:--【壹】--:
之前在b站看到了有推荐蒸馏opus的模型,也比较感兴趣
--【贰】--:
可以试下gemma4的小模型,试了下比3.5的小参数模型好用点。还有个3.5-27b蒸馏opus的,据说也不错
--【叁】--:
我也有一张这个显卡,目前吃灰中,看看佬玩啥,跟风玩一下
问题描述:
--【壹】--:
--【贰】--:
--【叁】--:
去年七月魔改的2080ti 22g显卡突然暴毙,修显卡的老板估计被折磨的不行(之前以为是显存虚焊,后来发现核心挂了,之后做了心脏移植手术还是不行),大发慈悲准备重新买一张给我,22g显卡意外回归,请问佬们有没有日常使用的本地模型的推荐,如果未来本地模型性能更强了考虑再外接一个双v100 32g的显卡坞
网友解答:--【壹】--:
之前在b站看到了有推荐蒸馏opus的模型,也比较感兴趣
--【贰】--:
可以试下gemma4的小模型,试了下比3.5的小参数模型好用点。还有个3.5-27b蒸馏opus的,据说也不错
--【叁】--:
我也有一张这个显卡,目前吃灰中,看看佬玩啥,跟风玩一下

