KV 内存计算器
先预测:只把上下文从 4096 改成 8192,其他参数保持不变,结果会怎样?
沿着乘法找原因
2 × 序列数 × 层数 × token 数 × K/V 头数 × 每头维度 × 每元素字节数
这里的 2 表示 K 与 V 两份数据。这个计算假设每条序列独立保存完整 K/V;共享前缀、滑动窗口和压缩状态需要按实际实现另算。
先预测:只把上下文从 4096 改成 8192,其他参数保持不变,结果会怎样?
2 × 序列数 × 层数 × token 数 × K/V 头数 × 每头维度 × 每元素字节数
这里的 2 表示 K 与 V 两份数据。这个计算假设每条序列独立保存完整 K/V;共享前缀、滑动窗口和压缩状态需要按实际实现另算。