KV cache 成本实验台
逐步生成 token，同时区分“历史投影是否重算”“当前查询要读多少历史”和“缓存占多少空间”。
模型与序列参数
8
12
12
12
64
当前生成状态
已生成0
当前上下文8
本步读取 Key0
KV cache0 MB
| 项目 | 无缓存 | 有缓存 |
|---|---|---|
| 过去 K/V 投影 | 每步重算整段 | 首次预填充后复用 |
| 本步注意力读取 | — | — |
| 历史状态内存 | 不保留跨步 K/V | — |
点击“生成一步”，观察缓存减少重复投影，但当前查询仍要读取逐渐变长的历史。