“大模型本地部署到底要不要NVLink？”——这是打算自建AI工作站的朋友们最常问的问题之一。

答案不是简单的“要”或“不要”，而是取决于你的具体场景：跑多大的模型、用几张卡、主要做推理还是训练。

一、NVLink到底是什么？

NVLink是NVIDIA推出的一种专有高速GPU互连协议。它的核心作用就是让多张GPU之间能够以极高的带宽、极低的延迟进行通信。

打个比方：PCIe就像是GPU之间的一条“普通公路”，而NVLink则是一条“专属高速”。第五代NVLink的单链路带宽高达1.8TB/s，而PCIe 4.0 x16仅有32GB/s——二者差距达几十倍。

二、不同场景下，NVLink到底是不是必须的？

1. 单卡部署：完全不需要

如果只用一张显卡运行大模型，NVLink与你无关。NVLink是卡间互联技术，单卡不存在跨卡通信问题。

单卡部署的核心在于显存容量和显存带宽。一张24GB显存的卡（如RTX 4090/5090），配合量化技术（INT4/INT8），完全可以流畅运行7B～34B级别的模型。

结论：单卡用户无需考虑NVLink，将预算优先用于更大显存的显卡。

2. 多卡推理：取决于并行方式

多卡推理主要采用两种并行策略：

• 张量并行（Tensor Parallelism） ：将每一层的计算切分到多张GPU上，每一层都需要跨卡频繁同步——对通信带宽要求极高。
• 流水线并行（Pipeline Parallelism） ：按层切分，GPU之间通信频率较低，对带宽不敏感。

如果采用张量并行，NVLink能带来肉眼可见的性能提升。 在这种模式下，NVLink可将推理吞吐量提升约30%～50%，尤其在处理大批量请求时优势更为突出。

如果采用流水线并行，NVLink的收益几乎可以忽略。 因为层间通信量很少，PCIe带宽已足够应付。

结论：多卡推理若使用张量并行，强烈建议配备NVLink；若使用流水线并行，则NVLink并非必需。

3. 多卡训练：价值巨大

训练场景对NVLink的需求比推理强烈得多。

原因在于：训练过程中，多张GPU需要在每一步都同步梯度（即All-Reduce操作），这是典型的通信密集型任务。在实际部署中，启用NVLink的分布式训练速度通常比仅靠PCIe通信快出数倍，性能差距十分显著。

正因如此，专业数据中心卡（如A100、H100）均标配NVLink，其中A100的NVLink带宽为600GB/s，H100更是高达900GB/s。

结论：多卡训练场景下，NVLink几乎是必需品，否则通信将成为严重的性能瓶颈。

三、一个典型案例：双RTX 3090为何被称为“神卡”？

RTX 3090是消费级显卡中最后一代支持NVLink的型号。

它的独特价值在于：两张3090通过NVLink桥接，可组成48GB的逻辑统一显存池。这样一来，原本单卡24GB无法容纳的70B级别模型（量化后约需42GB），双卡3090就能够顺利运行。

相比之下，RTX 4090和5090虽然单卡性能更强，但不再支持NVLink，无法通过加卡扩展显存。一旦模型大小超过24GB，单卡方案就会直接失效。

需要注意的是，NVLink桥接器本身有一定成本（根据型号不同，售价在200～400美元之间），并且需要主板支持x8+x8分叉，否则双卡性能反而可能不如单卡。

四、没有NVLink怎么办？替代方案

如果预算有限或硬件不支持NVLink，仍有几条可行路径：

1. 利用PCIe点对点通信：虽然速度不及NVLink，但至少比走CPU中转的共享内存方式强得多。关键要确保NCCL能够启用P2P模式。
2. 采用流水线并行代替张量并行：如前所述，流水线并行对通信带宽要求较低，可以在无NVLink环境下获得可接受的性能。
3. 模型量化：将模型精度降至INT4，可减少约75%的显存占用，让更多模型能在单卡或有限卡数上运行。
4. CPU+GPU混合推理：显存不足时，可启用CPU offload机制，将部分参数临时存放在系统内存中。

五、一张表看懂：你到底需不需要NVLink

六、未来趋势：NVLink正在“下沉”

值得关注的是，NVLink正从数据中心向个人设备延伸。NVIDIA最新发布的RTX Spark超级芯片，通过NVLink-C2C技术将CPU和GPU直接“焊接”在一起，实现了128GB统一内存，可在笔记本上本地运行120B参数的大模型。

这意味着未来个人本地部署大模型的门槛将大幅降低——不再需要纠结于多卡互联，一颗芯片就能满足绝大多数需求。