处理文档用哪个本地模型更好呢?

2026-04-11 10:370阅读0评论SEO资讯
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

RT
公司有业务需求,想要配一个Dify处理一下文档(大量的Excel文档),现在想要本地布一个大模型,配置为4090-24g显存。
还有想问一下显存和参数量的关系,是看模型大小是否小于显存吗?如果等于或大于会发生什么?听说有GGUF格式可以利用内存,这个又是什么原理?

网友解答:
--【壹】--:

还有个问题就是Ollama下载模型一直黄金镇魂曲,下了1000mb又突然回溯到200mb,久了之后又要重来,重来之后还是这样
机器是Ubuntu,裸连也有10mb/s,下载速度还行,就是一直回溯


--【贰】--:

只能靠手动Ctrl+C截断了,不然下一段就回溯,太难受了

标签:人工智能
问题描述:

RT
公司有业务需求,想要配一个Dify处理一下文档(大量的Excel文档),现在想要本地布一个大模型,配置为4090-24g显存。
还有想问一下显存和参数量的关系,是看模型大小是否小于显存吗?如果等于或大于会发生什么?听说有GGUF格式可以利用内存,这个又是什么原理?

网友解答:
--【壹】--:

还有个问题就是Ollama下载模型一直黄金镇魂曲,下了1000mb又突然回溯到200mb,久了之后又要重来,重来之后还是这样
机器是Ubuntu,裸连也有10mb/s,下载速度还行,就是一直回溯


--【贰】--:

只能靠手动Ctrl+C截断了,不然下一段就回溯,太难受了

标签:人工智能