跳转到内容
Yuuki学习手记
GitHub

KV 内存计算器

先预测:只把上下文从 4096 改成 8192,其他参数保持不变,结果会怎样?

K 和 V 的有效数据总量512 MiB

每个 token、每条序列 128 KiB × 4,096 个 token × 1 条序列

按完整、未共享的常规 MHA/GQA K/V 计算。模型权重、分配预留和量化元数据需另算。

沿着乘法找原因

2 × 序列数 × 层数 × token 数 × K/V 头数 × 每头维度 × 每元素字节数

这里的 2 表示 K 与 V 两份数据。这个计算假设每条序列独立保存完整 K/V;共享前缀、滑动窗口和压缩状态需要按实际实现另算。

接着读 为什么 KV 会这么大 →