处理文档用哪个本地模型更好呢?
- 内容介绍
- 文章标签
- 相关推荐
问题描述:
--【壹】--:
--【贰】--:
RT
公司有业务需求,想要配一个Dify处理一下文档(大量的Excel文档),现在想要本地布一个大模型,配置为4090-24g显存。
还有想问一下显存和参数量的关系,是看模型大小是否小于显存吗?如果等于或大于会发生什么?听说有GGUF格式可以利用内存,这个又是什么原理?
--【壹】--:
还有个问题就是Ollama下载模型一直黄金镇魂曲,下了1000mb又突然回溯到200mb,久了之后又要重来,重来之后还是这样
机器是Ubuntu,裸连也有10mb/s,下载速度还行,就是一直回溯
--【贰】--:
只能靠手动Ctrl+C截断了,不然下一段就回溯,太难受了
问题描述:
--【壹】--:
--【贰】--:
RT
公司有业务需求,想要配一个Dify处理一下文档(大量的Excel文档),现在想要本地布一个大模型,配置为4090-24g显存。
还有想问一下显存和参数量的关系,是看模型大小是否小于显存吗?如果等于或大于会发生什么?听说有GGUF格式可以利用内存,这个又是什么原理?
--【壹】--:
还有个问题就是Ollama下载模型一直黄金镇魂曲,下了1000mb又突然回溯到200mb,久了之后又要重来,重来之后还是这样
机器是Ubuntu,裸连也有10mb/s,下载速度还行,就是一直回溯
--【贰】--:
只能靠手动Ctrl+C截断了,不然下一段就回溯,太难受了

