选购大模型服务器，不能只看显卡数量或标称显存。模型权重、推理时的 KV 缓存、并发请求和运行框架都会占用显存；还要确认机箱、电源和散热能否支持后续加卡。按下面的步骤估算，能先排除明显不合适的配置。
先算模型本身需要多少显存
粗略估算权重显存，可以用“参数量 × 每个参数的位数 ÷ 8”。例如，约 70B 参数的模型使用 FP16 权重，单是权重约需 140GB；改用 4-bit 量化，理论权重约 35GB。实际占用还会因量化方式、模型结构、框架开销和显存预留而增加，因此不能把理论值直接当作部署下限。
显存容量还受使用方式影响。上下文越长、同时处理的请求越多，KV 缓存通常越大。只做低并发验证，与面向多人提供长文本服务，对显存的要求可能差别明显。可先明确模型版本、精度、最大上下文长度和目标并发，再向软件部署方确认实测配置或内存估算方式。
确认多卡是否真能解决容量问题
单卡显存不够时，多卡方案可以通过张量并行等方式切分模型，但并不意味着几张卡的显存总量在所有场景下都能直接合并使用。切分方式、卡间通信和软件支持都会影响可运行性与速度。部署前应确认框架支持目标卡数、模型切分方案和卡间互联条件；对延迟敏感的服务，还要评估多卡通信带来的影响。
把扩容条件落实到服务器规格
计划以后加卡，就要现在检查机箱是否有足够的物理空间、插槽位置和适配的 PCIe 通道，并核对电源余量、供电接口、散热能力及机柜供电。显卡尺寸和功耗因型号而异，不能只凭“支持四卡”这类描述判断，需让供应方提供对应配置下的兼容信息。若扩容后需要多机协同，还应提前评估网络带宽与交换设备；单机内加卡和增加服务器节点，是两种不同的扩展路径。
下单前按顺序核对
- 列出负载：记录模型参数规模、权重精度、上下文长度、并发量，以及要运行的是推理还是训练。
- 核算显存：先估权重占用，再为 KV 缓存和运行开销留余量；通过目标框架的配置文档或测试环境校验估算。
- 确认卡数与切分：询问模型能否单卡运行；若需多卡，确认软件支持、卡间通信方式和性能预期。
- 检查扩展边界：逐项核对空余插槽、机箱空间、电源、散热、网络及机柜条件，并确认这些条件对应计划增加的设备。
- 要求配置写清楚：将显卡型号与数量、显存、扩展上限及供电散热要求落实到配置清单，避免只凭通用机箱参数做决定。
常见问题
显存总量够，为什么模型仍无法启动？
显存还可能被缓存、框架和其他进程占用；多卡切分也有额外条件。应确认可用显存、量化格式和实际加载配置。
先买少量显卡，以后再加可以吗？
可以，但前提是机箱、电源、散热和插槽已为目标卡数预留空间，并且新增设备与原有配置兼容。
长上下文一定要更多显存吗？
通常会增加 KV 缓存占用，具体增幅取决于模型结构、并发和缓存实现。应按实际上下文与负载评估，而非只看模型参数量。
应该优先买大显存卡还是多卡服务器？
若模型能由单卡承载，单卡方案部署相对简单；若容量或吞吐需求超出单卡能力，再评估多卡，并将通信、供电和扩展成本一并比较。
归根结底，先把当前负载算清，再把未来扩容所需的空间、供电与软件兼容性核实到具体配置，才是选购大模型服务器的稳妥顺序。
