如何用DGX SPARK 这台ARM64设备快速糊弄出一个本地知识库

2026-04-29 08:443阅读0评论SEO资讯

内容介绍
文章标签
相关推荐

问题描述：

有厂商来我们公司宣讲AI怎么怎么怎么牛逼，怎么怎么赋能，怎么怎么壮大，还要AI AGENT等等，然后老板就被洗脑了。在我的极力劝阻下，不知道从哪搞了这么一台，这个烂摊子就扔给我了看了看除128GB好像没啥优势

网友解答：

--【壹】--：

本还想着官方的拿来直接用。。结果驱动没跟上现在卡在各种兼容，暂时用了社区的vllm+anythingllm+ollama顶着

--【贰】--：

六七十号人还是有的。试了几个搭配。。主要是。。这玩意。。真慢啊体感好差

--【叁】--：

dense模型就算了，哪怕是moe模型都是。。。

上下文长一点你就可以去喝茶。

楼上居然这么多佬还在吹这个。。。。这玩意用来养养虾，做个简单办公还凑合了。。。但凡事情复杂一点都…

但是做知识库，做向量的确是可以。反正这玩意如果还几十人用…先去搞好大家的心理建设，降低心理预期比较实际

--【肆】--： Y L:

看了看除128GB好像没啥优势

这就是它最大的优势，能够部署一定规模的大模型，虽然性能不高，但是，总比 CPU + 内存高不是

--【伍】--：

我们公司还意图用10年前的服务器跑AI，架不住给他们做了个测试。。。很小的模型都跑不动

现在很多企业和领导完全就是蒙圈了，搞不懂这个世界，被哪些自媒体糊弄一下就…

--【陆】--：

六七十个人用这一个东西。。。。那肯定不行啊，我这机器我跟我老婆俩人用，家用的

--【柒】--：

带宽太低了，白瞎了大显存，250gb/s，跑个qwen3.6 27b能慢死人，还不如放几张游戏显卡

--【捌】--：

太多“大师”忽悠了哈哈哈，领导想要成果但没有资金…

--【玖】--：

都想抓这个风口，但最后肯定会有摔死的随便玩玩得了

--【拾】--：

这是好东西啊老哥，赶紧抓住，这玩意可以本地部署很多模型，推理速度绝对是可用级别，我羡慕还来不及

我自己自费买的同类产品，amd 的strixhalo ，本地跑个agent 平时做点测试，本地知识库那真是太小看他了。

但是dify 不知道支持不支持arm64，你这台机器主要承担的就是大模型推理，还有嵌入模型，其他的可以跑在别的服务器上

再说一遍，这是神机！！！佬你也太幸福了，留下了羡慕的泪水

--【拾壹】--：

SPARK。。。3W左右吧。。只能用来做试验，正常用于生产是铁定不行的

--【拾贰】--：

最近很多视频都在推这个机器，估计货尾了。

--【拾叁】--：

部署个向量模型，再部署个小的qwen模型，就可以做知识库了，给几个人同时用应该没问题

--【拾肆】--：

不想花钱又想要好。。都懂得嘛。。。现在是非常后悔

--【拾伍】--：

spark一个人玩挺不错，几十个人还是算了

--【拾陆】--：

我能分享给你的是，30B-A3B/35B-A3B，这种大小的模型运行的都不错，正在关注 qwen3.6-27B

--【拾柒】--：

也许试试 ragflow?又好像看到一个说法说一般小公司不用 rag，我也懵

--【拾捌】--：

这玩意得大几万还是十几万rmb？好羡慕

--【拾玖】--：

A3B的apex模型，跑起来可以直接爱马仕，上下文长度拉满速度还可以的。选I-balance的

标签：人工智能职场