本地跑大模型该买显卡还是大内存 CPU：一笔每 GB/s 贵 8.2 倍的带宽账

你想在本地跑一个大模型，预算三万。打开电商页面，一张旗舰显卡两万多，一台 256 核的服务器 CPU 也要两万多。参数表上一看，CPU 的内存带宽居然能到显卡的九成多——那是不是买 CPU 更划算，还能顺便拥有大内存？

慢着。有人把这个账算完了：按每 GB/s 带宽花的钱来算，CPU 要比显卡贵 8.2 倍。 带宽数字接近，价格差了一个数量级，这才是选型时该看的指标。

这篇就把本地部署的硬件选型讲透：什么时候该买显卡，什么时候 CPU 反而更合适，以及那笔被大多数人算错的成本账。

先搞清楚大模型到底在等什么

选硬件之前，必须明白一件事：大模型推理是带宽密集型任务，不是算力密集型任务。

这句话怎么理解？想象一个工人（计算单元）和一辆卡车（内存带宽）。工人干活极快，但每次都要等卡车把材料从仓库（显存）拉过来。卡车跑一趟要十秒，工人干活只要一秒——整体速度由卡车决定，不由工人决定。

大模型生成文本的过程就是这样：每输出一个词，都要把几十亿个参数从显存读出来算一遍。参数读不完，算力再强也只能干等。

所以判断一块硬件跑大模型快不快，第一指标不是算力，是内存带宽。这也是为什么那台 256 核 CPU 会被拿来和旗舰显卡比较——它的带宽确实接近。

但是，带宽一样不代表性价比一样

关键区别在价格结构。

显卡的内存是专用的、紧贴计算核心的，成本高但几乎全部花在带宽上。你买显卡，买的就是带宽加算力这套组合。

服务器 CPU 的大内存是通用架构的一部分，那台 256 核的机器贵，贵在很多你用不上的地方：那么多的核心、那么大的内存容量、那么复杂的多路互联。你为了带宽去买它，等于为 bandwidth 付钱，同时为核心数、内存容量、主板、冗余电源一起买单。

算下来就是那个 8.2 倍：每 GB/s 带宽，CPU 方案要花 9.10 美元，显卡方案只要 1.12 美元。 而且这还只算了 CPU 那一颗芯片的钱，没算主板、内存条、机箱电源。

结论很清楚：如果你的目标单纯是跑大模型推理，显卡在带宽性价比上是碾压性的胜利。

那 CPU 方案什么时候才划算

先别急着把 CPU 方案否掉，它有三个明确的胜出场景。

场景一：模型大到显卡放不下。 这是硬性约束。一个几百 GB 的大模型，单卡显存放不下，多卡互联的成本会陡增。这时候大内存 CPU 的容量优势就值钱了——容量是 CPU 唯一无法被显卡替代的维度。

场景二：并发极低、延迟不敏感。 如果你只是偶尔跑一下、能接受生成慢一点，CPU 方案省下的钱和麻烦可能更实在。特别是你本来就有那台服务器的情况下，边际成本近乎为零。

场景三：需要混跑其他负载。 如果你这台机器还要跑数据库、跑业务服务、做文件存储，那 CPU 大内存的通用性就是优势，显卡的专用性反而成了浪费。

用一句话总结：纯推理、高并发、延迟敏感 → 显卡；超大模型、低并发、一机多用 → CPU。

一个可以自己套用的测算方法

别信参数表，自己算。四步：

第一步，确定你的模型大小和量化方案。 参数量乘以每参数字节数，就是模型要占的内存。比如 70 亿参数用 4 位量化，大约需要 3.5 GB 左右，再加上上下文缓存和运行开销。

第二步，估算目标速度。 生成一个词大约需要把整个模型读一遍，所以理论上限约等于「带宽 ÷ 模型大小」。带宽 900 GB/s、模型 4 GB，理论上限就是每秒 200 多个词，实际打个六七折。

第三步，算出你的并发需求。 峰值时同时有几路请求？每路期望多快？乘起来就是你需要的总吞吐。

第四步，倒推需要几张卡。 单卡吞吐达不到，就往上加卡。这时候才算真正的总账：卡的钱、电源、散热、主板 PCIe 通道够不够。

注意第三步最容易被跳过。 很多人按「我自己一个人用」来选型，上线后发现要给整个团队用，速度直接掉到不可用。

五个常见的选型错误

错误一：只看算力参数。 前面说过了，推理瓶颈在带宽。算力数字是给训练看的，不是给你做推理选型用的。

错误二：忽视显存容量。 带宽再快，模型装不进去也是白搭。选卡时先看容量够不够放模型加上下文，再看带宽，最后才看算力。

错误三：低估多卡的通信损耗。 两张卡不等于两倍速度，实际通常只有 1.6 到 1.8 倍，因为卡间通信要吃掉一部分。而且很多消费级主板的多卡带宽是残血的，这点一定要提前查清楚。

错误四：算漏了电费和噪音。 一张旗舰卡满载三四百瓦，一天跑十小时，一年电费是四位数。放在办公室里，风扇噪音也是实打实的体验问题。

错误五：买最新款。 推理场景对制程代际不敏感，上一代甚至上两代的卡，带宽往往只差一点点，价格能便宜一大截。除非你有训练需求，否则买上一代的性价比高得多。

给三类人的具体建议

个人开发者，主要做原型验证：一张上一代的中端卡，显存 16 GB 起步，能跑主流的量化模型。别追旗舰，用不到的性能就是浪费。

小团队，要支撑内部工具：两张同型号卡，配够电源和散热。同型号很重要，混插会导致负载不均和调度复杂。预留一张卡的预算给备用，硬件故障不是小概率事件。

生产环境，对外服务：别自己攒。直接上云或者买整机方案，把硬件风险转嫁出去。自建的隐性成本——故障排查、备件、运维人力——通常远超你省下的那笔钱。

收尾：一个决策顺序

• 先定模型大小，这决定显存下限，是不可妥协的硬指标
• 再定并发和延迟目标，这决定你要多少带宽
• 然后按每 GB/s 带宽的成本横向比较候选方案，这是唯一公平的尺子
• 最后把电费、噪音、运维、故障冗余全部折进去，才是真实总价

拿这个顺序走一遍，你会发现大部分选型的纠结都会自动消失。硬件选型没有最优解，只有对你这个具体场景的最优解——前提是你能把场景说清楚。