本地跑大模型前先算清显存账：7B 与 14B 量化版的取舍

先算账，再下载

很多人下完模型才发现跑不动。显存占用大致由三块构成：权重、KV 缓存、推理时的临时激活。权重最直观，也最容易被量化压缩。

三档显存的可跑组合

• 8GB：4-bit 量化的 7B 模型基本可用，上下文别超过 4k，批处理保持 1。想再省就把部分层卸载到内存，代价是速度明显下降。
• 16GB：7B 的 8-bit 或 14B 的 4-bit 都能跑，8k 上下文可用，适合长文档摘要与代码补全。
• 24GB 以上：14B 的 8-bit 或更大规模，可开更长上下文与并发。

量化不是免费的

• 4-bit 省显存，但在复杂推理、长文一致性、代码生成上掉点更明显。
• 8-bit 是更稳的折中，绝大多数场景肉眼看不出差异。
• 如果只做批量短文本（分类、提取、改写），低量化几乎无损，优先上 4-bit 换吞吐。

实测建议

先用同一批 20 条真实任务跑一遍，记录首字延迟和每秒字数，再决定量化档位。别只看能不能跑，要看跑得够不够快。