KV Cache 上下文显存估算

P114

按层数、KV 头、头维度、上下文、批量和数据类型估算推理 KV Cache。

计算参数

适用假设

采用标准自回归注意力 K/V 双缓存结构。

重要提示

分页缓存、量化、滑动窗口、张量并行和实现开销会改变实际显存。

标准与来源

Hugging Face KV Cache Strategies

核对日期：2026-09-05