LLM 权重与推理显存估算

适用假设

• 显存由权重、KV Cache 和运行时开销共同估算；KV Cache 需按上下文长度、批量和量化方式输入，并假设可跨 GPU 分片。

重要提示

• 未单独建模激活值、通信缓冲、框架碎片和具体推理引擎实现差异；不能只用权重大小选 GPU。

标准与来源

• Hugging Face Model Memory Anatomy

核对日期：2026-09-05