DeepseekV4上线，模型在下了，昇腾的部署文档快端上来吧，已经饥渴难耐了

问题描述：

image1920×1066 539 KB
还记得上次部署deepseek还是在上次

网友解答：

---

--【壹】--：

文档里写的1.6T，FP8+FP4混合推理

---

--【贰】--：

1.6t说的是基座模型，一般不会部署这个。

---

--【叁】--：

只是个人使用昇腾的一点经验，还是得看官方怎么说

---

--【肆】--：

抱抱脸不是有900b左右的deepseekv4pro吗

---

--【伍】--：

我去佬用什么电脑部署的，是多少参数的，不知道消费级显卡能跑吗

---

--【陆】--：

是的，三台可能都不够。前一段时间部署Minimax2.5，用的fp8精度，但是910B不支持，被反量化到BF16，显存就炸了。我现在下的还只是Flash，如果是pro的话，考虑到被反量化的问题，会直接干到3.2TB+的显存，再算上KV Cache和其他消耗，可能得3.5-4TB。至少 56-64 张（7-8 台机器）

---

--【柒】--：

是客户的910B，一台512G显存，要两台吧。正好放假了能给我霍霍

---

--【捌】--：

1.6t想舒服点运行得三台啊，是这样吗？