LLM Weights & Inference VRAM Estimator
Estimate inference VRAM from weights, KV cache, and runtime overhead and compare it with aggregate GPU VRAM.
Parameters
Results
Assumptions
- 显存由权重、KV Cache 和运行时开销共同估算；KV Cache 需按上下文长度、批量和量化方式输入，并假设可跨 GPU 分片。
Important notes
- 未单独建模激活值、通信缓冲、框架碎片和具体推理引擎实现差异；不能只用权重大小选 GPU。