显存单价涨到发布时的 2.35 倍，本地跑 AI 的账要重算一遍

一张显卡的价格，正在改变本地 AI 的算法

先给一个让人不太舒服的数字。按公开报价算，某张 32GB 显存的消费级旗舰卡，发布时每 GB 显存大约 62 美元，最近的中位成交价换算下来每 GB 接近 147 美元，是发布时的 2.35 倍左右。

这个涨幅不是小波动，它直接改变了「本地跑模型」这件事的性价比。

两年前很多人的判断是：模型越来越大，云上按小时计费太贵，不如自己买卡，跑一两年就回本。这个判断在卡价稳定的时候成立，在卡价涨到 2.35 倍的时候要重算。

这篇文章不预测价格，只帮你把账算清楚。因为不管价格往哪走，你需要知道的都是同一件事：在我的实际用量下，本地和云上哪个更省。

先把本地方案的全部成本列出来

很多人算本地成本时只算了显卡，这是最大的误差来源。

一台能长期稳定跑模型的机器，成本至少包括六项。显卡本身，这是大头。主板和 CPU，不能太差，否则数据预处理会成为瓶颈。内存，跑大模型时系统内存需求常被低估，64GB 是舒适线。电源和散热，高功耗卡对电源和机箱风道有实打实的要求。存储，模型权重动辄几十上百 GB，需要一块够快够大的固态。最后是电费和占地，这一项常被忽略但持续发生。

把这六项加起来，一台像样的本地机器总价常常比单看显卡价格高出六成到一倍。如果只按显卡价格做预算，装到一半就会超支。

还有一个隐性成本是时间。驱动、环境、量化格式、推理框架，每一个都可能卡住半天。对不打算折腾的人来说，这个成本比钱更贵。

再算云上的真实账单

云上计费看起来简单，实际有几个变量容易算错。

第一个变量是计费粒度。按小时计费的 GPU 实例，你跑十分钟也按一小时算的情况很常见。如果你的使用模式是零散的、突发性的，实际付费时长会远超真实使用时长。

第二个变量是存储和网络。模型权重要存在云盘上，下载和加载要时间，跨区传输要钱。频繁换模型的场景下，这部分开销不小。

第三个变量是空转。很多人开着实例忘关，或者为了「随时能用」一直挂着。一个每月挂 720 小时的实例，账单会非常惊人，而真实使用可能只有 40 小时。

把这三个变量算进去，云上的实际成本经常是理论成本的两到三倍。所以比较的时候，不能拿「云上每小时多少钱乘以我使用小时数」这个理想值，要乘个系数。

决定胜负的是使用率

本地和云上的分水岭，本质上是一个使用率问题。

粗略地算：一台本地机器按三年折旧，总价摊到每个月是一个固定数。云上按实际使用付费。两条线的交点就是临界使用率。使用率高于这个点，本地划算；低于这个点，云上划算。

关键在于，大多数人的使用率远低于自己的估计。你可能觉得自己每天都要用，实际统计下来一周只跑三四次，每次半小时。这种情况离临界点很远。

建议的做法是先老老实实记两周。 记录每次跑模型的起止时间和用途，两周后你会有个真实数字。拿这个数字去算，比凭感觉靠谱得多。

还有一个容易被忽略的考量：峰谷。如果你的需求集中在某几天（比如每周出一批内容），其它时间闲置，那么混合方案最省——平时用云，高峰期用本地，或者反过来。

显存涨价带来的三个连锁反应

卡价涨到这个位置，影响不只是「买卡更贵了」。

第一个反应是量化技术的价值变高。以前很多人觉得量化是妥协，现在它变成了省钱手段。能在 16GB 显存上跑起来的模型，就不需要买 32GB 的卡。同样预算下，量化换来的显存余量直接折算成钱。

第二个反应是中端卡的性价比变好了。顶端卡溢价最高，中端卡的每 GB 价格往往更合理。对大多数只需要跑推理、不做训练的场景，一张显存够用的中端卡比旗舰卡划算得多。

第三个反应是二手和租赁市场活跃。买不起就租，按项目租一周，比买一张吃灰的卡合理。反过来，如果你已经有卡且利用率不高，租出去也是个回本渠道。

这三个反应的共同指向是：硬件不再是门槛，配置能力才是。 同样一笔预算，知道怎么选卡、怎么量化、怎么调度的人能跑出的东西，比只会买最贵的人多得多。

不同人群的三种选择

按使用模式分，建议不一样。

如果你是个人创作者，每天用两三个小时，做的是文案生成、图片处理这类任务。建议优先用云端 API，偶尔需要跑本地实验时短期租卡。买卡回本周期太长，且硬件迭代快，三年后残值不好说。

如果你是小型团队，每天有固定批量任务（比如批量生成商品图、批量处理视频），建议配一台本地机器专门跑批量，偶发的探索性任务用云。批量任务的特点是长时间满载，正好吃满本地机器的折旧。

如果你在做需要数据不出内网的业务，那没得选，必须本地。这种情况下重点不是省钱，是把预算花在刀刃上：优先保证显存容量，其次才是算力；优先保证稳定和散热，其次才是外观。

买之前先确认的五个问题

不管你最后选哪条路，买之前把这几个问题回答清楚，能省下不少冤枉钱。

• 我要跑的模型量化后需要多少显存？先看这个数，再选卡，不要反过来。
• 我的任务吃算力还是吃显存带宽？批处理大的任务吃算力，长上下文和实时生成吃带宽。
• 我有没有需要同时跑多个任务的场景？有的话显存要留余量，按单任务算会不够。
• 我的电源和机箱能不能扛住？高功耗卡对这两项有硬要求，别等装不上才发现。
• 三年后这张卡还能干什么？想不清楚就别买顶配，买够用的。

第五个问题最容易被跳过，也最值得想。硬件迭代的速度摆在那里，买超出当前需求太多的配置，多出来的部分大概率用不上。

不买硬件也能提速的几条路

如果算完账发现买卡不划算，还有几条路能把成本压下来。

第一条是选对模型尺寸。很多任务用 7B 到 14B 的模型效果就够，没必要上最大的。把模型降一档，硬件需求降一大档。

第二条是把任务改造成异步。不要求实时返回的话，可以用排队的方式跑在低配机器上，或者跑在便宜的竞价实例上。实时性是成本的大敌，放弃一点实时性能省很多。

第三条是缓存复用。同样的输入不要重复计算，把中间结果存起来。对批量任务，这一条经常能砍掉一半以上的计算量。

第四条是混合调度。把大任务放在便宜时段跑，把小任务放在贵但快的资源上跑。调度策略听起来复杂，实现上往往只是一个队列和几条规则。

省钱的正确顺序是：先优化任务，再优化模型，最后才优化硬件。 反过来做，等于用钱去买本来可以省掉的浪费。

结论：把硬件当成一笔三年期的账

回到开头那个 2.35 倍的数字。它真正的影响是让大家必须重新算账，而不是让本地方案失去意义。

本地方案依然成立，只是适用的人群变窄了：使用率足够高、任务足够稳定、数据不能出门的人，依然应该买。使用率低、需求波动大、不想折腾的人，应该继续用云，并且认真管好实例的开关。

中间那批人最纠结，也最该先做一件事——把自己的真实使用率记两周。这个数字出来以后，答案通常自己就冒出来了，不需要别人给建议。

硬件涨价不会让 AI 变贵，只会让不会算账的人变贵。 会算账的人，在任何价格下都能找到划算的方案。