想在本地部署一个模型，辅助写小说

2026-04-11 14:351阅读0评论SEO资源

内容介绍
文章标签
相关推荐

问题描述：

image478×256 43.8 KB
我的电脑配置如图，一直有这个想法，最近也在研究这些本地部署，但是不知道哪个国产大模型更好以及我的电脑带的动哪个级别的模型，想问问大家，求助求助

网友解答：

--【壹】--：

想的就是部署好本地模型，用opencode调用来写这样

--【贰】--：

硬件部署是一方面，投喂什么资料训练模型也很重要。

--【叁】--：

佬打算怎么辅助？想象不到怎么辅助。
本地部署的话，用ollama最方便。比如qwen3.5

ollama run qwen3.5:4b

--【肆】--：

Qwen3.5-9B-Claude-4.6-Opus-Reasoning

--【伍】--：

别折腾了，我本机显卡和你一样（7950x + 4080S AD + 64G内存），然后本地跑14B的能流畅，27B的输出就缓慢了（thinking更是想都别想），写小说前言不搭后语的，纯浪费时间，更别提文章润色和逻辑分析之类的了。
不如直接接入公益站，怎么都比本地强。
你要是硬上的话，可以去 hugging face 上淘中文相关的蒸馏模型。
我年前用的几个，仅参考（现在肯定有更好的）：
DS: DeepSeek-R1-Distill-Qwen-14B-Q5_K_M、DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf
QWen：Qwen2.5-14B-Instruct-Q5_K_M.gguf、Qwen2.5-32B-Instruct-Q4_K_M_2.gguf。
部署的话，ollama、LMStudio都行，差别真不大。

--【陆】--：

Dense模型用CPU offload来转移kv cache的话，32GB内存勉勉强强，但是太慢了

不做offload，你的模型写几段内容就会开始偏移

本地额外做一个记忆层，又会压缩模型编写新内容的空间，在一段内容里面重复打转

必须要local first的话，最好还是弄个32GB显存的卡，不过不推荐近期买V100，价格虚高

--【柒】--：

感觉小模型即使有一定推理能力, 世界知识一般都不太好.
目前中文能比较好跟上的基本上就Qwen3.5系列了, 但是Qwen系列的老毛病也都还在, 我之前拿来玩角色扮演的时候也都经常循环思考.
考虑到显存限制, 应该只能跑Qwen3.5-9B了, 27B即使在4位量化下16G显存也基本上不太可用

--【捌】--：

4b写东西怎么样？

--【玖】--：

LMStudio + Qwen3.5-9B 还是比较丝滑的

--【拾】--：

可以部署一个龙虾使用外部apikey，因为这个显卡部署不了太好的模型，能力有点差。

--【拾壹】--：

不好弄的，即便是1T的模型写作就真的好吗，不见得吧

--【拾贰】--：

没有实际用过，纯读者。
小模型可能只能完成比较简单的分类，总结，打标签等任务。

--【拾叁】--：

部署之前先用api测试写作能力，以我的了解这些小模型压根写不了小说

标签：人工智能快问快答