self-attention

系统梳理 Self-Attention 的输入、QKV 投影、注意力权重与因果掩码,并从矩阵变化解释增量解码为何只计算最后一行、为何缓存 K 和 V。

2026 年 07 月 23 日 · 7 分钟 · 3416 字 · Ge Zhang