GZ / DEV
文章归档
AI 基础原理
模型推理
论文研读
数学知识
LeetCode
Todo
关于
搜索
主页
Tags
RoPE
RoPE 旋转位置编码:从绝对位置到相对位置
RoPE 分别为 Query 和 Key 编入绝对位置,并利用旋转矩阵的内积性质,让注意力分数自然只依赖相对位置。