RoPE 旋转位置编码:从绝对位置到相对位置

RoPE 分别为 Query 和 Key 编入绝对位置,并利用旋转矩阵的内积性质,让注意力分数自然只依赖相对位置。

2026 年 07 月 17 日 · 9 分钟 · 4345 字 · Ge Zhang