如何用DGX SPARK 这台ARM64设备快速糊弄出一个本地知识库

问题描述：

有厂商来我们公司宣讲AI怎么怎么怎么牛逼，怎么怎么赋能，怎么怎么壮大，还要AI AGENT等等，然后老板就被洗脑了。在我的极力劝阻下，不知道从哪搞了这么一台，这个烂摊子就扔给我了 看了看除128GB好像没啥优势

网友解答：

---

--【壹】--：

本还想着官方的拿来直接用。。结果驱动没跟上 现在卡在各种兼容，暂时用了社区的vllm+anythingllm+ollama顶着

---

--【贰】--：

六七十号人还是有的。试了几个搭配。。主要是。。这玩意。。真慢啊 体感好差

---

--【叁】--：

dense模型就算了，哪怕是moe模型都是。。。

上下文长一点你就可以去喝茶。

楼上居然这么多佬还在吹这个。。。。这玩意用来养养虾，做个简单办公还凑合了。。。但凡事情复杂一点都…

但是做知识库，做向量的确是可以。反正这玩意如果还几十人用…先去搞好大家的心理建设，降低心理预期比较实际

---

--【肆】--： Y L:

看了看除128GB好像没啥优势

这就是它最大的优势，能够部署一定规模的大模型，虽然性能不高，但是，总比 CPU + 内存高不是

---

--【伍】--：

我们公司还意图用10年前的服务器跑AI，架不住给他们做了个测试。。。很小的模型都跑不动

现在很多企业和领导完全就是蒙圈了，搞不懂这个世界，被哪些自媒体糊弄一下就…

---

--【陆】--：

六七十个人用这一个东西。。。。