搞大模型应用的人八成都在某个深夜遇到过同一个鬼故事序列长度一拉长模型就开始胡言乱语回答质量断崖式下跌。检查来检查去注意力计算没问题数据清洗也没问题最后定位到位置编码——模型根本感受不到词的先后顺序或者更准确地说它在远距离上彻底失去了方向感。这几年位置编码从加法时代走到乘法时代RoPE旋转位置编码从中杀了出来成了主流大模型默认的位置编码方案但很多人只是知道这个名字真正搞懂它为什么比其他方案强、长上下文场景下它又进化出了哪几路变体心里其实是模糊的。这篇就把RoPE整个演进链路彻底拆开讲透它到底在旋转什么、为什么旋转就能编码位置、手写实现有哪些坑、以及长上下文时代的高阶玩法该怎么选。1. 位置编码的三条前世路径为什么RoPE选择了乘法1.1 Transformer的原始缺陷注意力天生没有顺序概念Transformer架构的核心是自注意力机制而我刚入行时最不能接受的事实是自注意力本身是置换等变的。把一句话里所有token打乱顺序注意力权重、输出值经过池化后完全一样。模型根本不知道我爱你和你爱我有什么区别因为在这两个句子中我和你的attention模式完全相同。没有位置信息的话Transformer就是一个词袋模型PLUS语义彻底崩坏。所以原始Transformer必须手动往输入里注入位置信息。这就是位置编码的缘起。但注入这两个字埋下了后来所有演进的伏笔——怎么注、注在哪里、以什么形式注直接决定了模型能理解多长的上下文、能不能外推、训练稳不稳定。1.2 加法式位置编码的困境正弦编码与可学习编码第一代方案是加法式最简单的是正弦位置编码对每个位置生成一组固定频率的正弦/余弦信号加在token embedding上。设计得很巧妙不同频率让模型能区分短距离和长距离的变化。但它有个致命问题它把位置信息加到了语义向量里位置和语义互相干扰。向量空间里位置分量和语义分量被强行捆在一个embedding里模型需要费力地把它们解耦。可学习位置编码就更直接了给每个绝对位置分配一个可训练向量比如位置0对应一个向量、位置1对应另一个训练时学到什么就是什么。这种方式短文本上效果确实不错很多早期BERT系模型都这么干。但它有两个短板非常致命一是完全没有外推能力训练时只见过2048个位置推理时来了4096长度的序列新增的位置向量只能是随机初始化模型直接懵掉二是位置向量逐位置独立模型学到的其实是第几个位置的离散索引而不是距离多远的连续概念相对位置关系反而成了隐式学习的附属品。1.3 从加法到乘法位置信息的另一种注入思路既然加法式方案让位置和语义耦合在一起、难以解耦那换个思路位置信息不叠加在embedding上而是通过变换作用上去也就是乘法式。给每个token的query和key向量乘上一个只跟位置有关的矩阵这个矩阵做的是旋转、缩放、置换之类的线性变换。乘完之后位置和语义在数学上保持了某种正交性模型可以更容易地把位置当作独立的坐标来处理。乘法式的好处不只是解耦。如果这个变换选得够巧妙两个位置之间的差值会自然而然地体现在两者的变换关系里。这就为后来RoPE的出现铺平了道路——用旋转矩阵做乘法变换因为旋转矩阵本身就自带角度差的几何含义。这种想法在地理导航里很常见一个物体的绝对角度不重要但两个物体的角度差决定了它们的相对方向。RoPE就是把这套几何直觉搬到了高维特征空间里。2. RoPE核心思想把位置搬进复数旋转2.1 二维情形的旋转直觉先看最简单的情况假设每个token的特征向量只有两维记为 (x_0, x_1)。RoPE的想法是把这个二维向量当作复平面上的一个点位置 m 的信息就是把这个点逆时针旋转 mθ 的角度其中 θ 是一个固定的角度步长。旋转矩阵长这样R(mθ) [[cos(mθ), -sin(mθ)], [sin(mθ), cos(mθ)]]被旋转后的向量就是 R(mθ) · (x_0, x_1)^T。注意这里完全没有把位置加进数值里而是改变向量的朝向。我经常用GPS里朝向这个概念辅助理解同一个坐标点你面朝北看它和面朝东看它物理位置没有变但你的感知坐标系变了。RoPE就是给每个token戴上一个朝向标签让后续注意力计算能感知到我是从哪个角度看过来的。这个二维情形的美妙之处在于旋转天然具备周期性。旋转 2π 之后回到原点所以位置信息不会被无限放大始终约束在一个闭合环上。2.2 扩展到高维分块旋转与频率分配现实里的特征向量动辄几十上百维大模型的head dim通常是64、128不可能只转整体一个角度。RoPE的处理方式是把高维向量切成很多个二维块每个块分别旋转。假设维度 d64那就切成32个二维块第 i 个块有自己的旋转速度频率θ_i。θ_i 的确定方式沿用了正弦位置编码的频率公式θ_i base^(-2i/d)其中 base 通常取 10000i 从 0 到 d/2-1。注意一个反直觉的事实靠前的维度i 小频率高转得快靠后的维度频率低转得慢。高频维度能精细区分相邻几个token的位置低频维度负责感知长距离的位移。这跟傅里叶分解里的频率分工一个道理高频给细节低频给趋势。于是整个位置 m 的旋转矩阵就是这 32 个小旋转矩阵拼成的块对角矩阵。每个二维块独立旋转互不干扰。块内做二维旋转块间保持独立性这是整个RoPE在数学上干净的关键。2.3 从几何到代码的翻译RoPE到底做了什么很多教程把RoPE讲得神乎其神其实把它翻译成代码操作就三件事把向量最后一维切成两份前半份和后半份。用位置角度的cos值对原始向量做逐元素缩放。构造一个rotate_half操作对原始向量的前半和后半进行交换并把后半部分取负再乘sin值。我最初看到这类实现时也很困惑说好的旋转矩阵呢其实这是二维旋转的高效写法。如果 q 的前半是 q_head后半是 q_tail那么旋转后的向量就等于q_out q * cos [q_head_new, q_tail_new] * sin其中 q_tail_new -q_head交换并取负。这本质上是把二维旋转公式展开成两个交叉项用逐元素运算替代了稀疏矩阵乘法。后者在GPU上要浪费大量带宽前者则是纯elementwise几乎不增加计算开销。所以RoPE虽然在数学上是矩阵乘法落地到工程上却只比原始q/k多了一次cos乘法和一次sin乘法。这是它能被所有主流框架毫无压力地用起来的最重要原因便宜、稳定、实现紧凑。3. 手写RoPE一份可直接抄的PyTorch实现3.1 频率向量的生成逻辑第一步是预计算每个位置对应的cos和sin值。实际工程中我们不会真的为每个位置生成一个大旋转矩阵那是灾难性的内存浪费。正确做法是只生成cos/m和sin/m两列查表数据推理时按位置去查表。import torch def precompute_freqs_cis(dim: int, max_seq_len: int, base: float 10000.0): # dim: head_dim必须是偶数 # 频率theta_i base^(-2i/dim) i torch.arange(0, dim, 2).float() # [dim/2] freqs 1.0 / (base ** (i / dim)) # [dim/2] # 每个位置 m 的角度 m * theta_i t torch.arange(max_seq_len, dtypetorch.float) angles torch.outer(t, freqs) # [max_seq_len, dim/2] # 为了让cos和sin的长度和head_dim对齐复制一份并拼接 # 常见做法是直接复制一次让每个频率对应两个维度 angles torch.cat((angles, angles), dim-1) # [max_seq_len, dim] cos torch.cos(angles) sin torch.sin(angles) return cos, sin这里有个新手容易踩的坑维度到底是先奇偶分配还是先半半分配。RoPE论文原版是把相邻两维做一组0,1一组、2,3一组、4,5一组。上面代码用的是复制拼接法实际效果等价于把每组的两维频率设成相同值。有些开源实现喜欢用interleave的方式把0、2、4放在前半1、3、5放在后半那就要用rearrange做reshape。两者数学上等价但调试时混用两种约定会直接导致向量对不上我在项目里吃过一次亏训练了好几个epoch才发现两个模块里RoPE的分组方式不一样模型一直学不进去。3.2 旋转矩阵的高效实现einsum与view操作频率表准备好了接着就是应用旋转。标准实现如下def rotate_half(x: torch.Tensor): # x: [..., dim]后半部分交换到前半并取负 x1 x[..., : x.shape[-1] // 2] x2 x[..., x.shape[-1] // 2:] return torch.cat((-x2, x1), dim-1) def apply_rotary_pos_emb(q: torch.Tensor, k: torch.Tensor, cos: torch.Tensor, sin: torch.Tensor): # q/k: [batch_size, num_heads, seq_len, head_dim] # cos/sin: [seq_len, head_dim] cos cos.unsqueeze(0).unsqueeze(0) # [1, 1, seq_len, head_dim] sin sin.unsqueeze(0).unsqueeze(0) q_embed (q * cos) (rotate_half(q) * sin) k_embed (k * cos) (rotate_half(k) * sin) return q_embed, k_embed四行代码搞定比很多人想象中简单得多。性能上cos和sin是按位置查表得到的attention计算里head数可能很多但cos/sin在batch和head两个维度上广播不会带来额外内存压力。有个细节如果用了分组查询注意力或者多查询注意力每个query head共享一组key/value head应用RoPE时要注意cos/sin的形状与head数无关只要seq_len和head_dim对齐就行这个广播天然正确。如果追求极致性能可以把cos/sin提前转为半精度fp16/bf16放到GPU上缩放时可以利用融合算子。我在部署推理时还踩过一个很重要的坑位置编码的cos/sin如果和模型的dtype不一致比如模型是bf16但cos/sin是fp32会导致GPU kernel反复转换dtype推理速度下降明显。所以最好在加载模型后统一转换为模型的dtype。3.3 推理时的缓存与内存优化技巧推理阶段有一个特别容易忽略的问题随着生成的token越来越多序列逐渐变长每一次自回归生成都要重算整个序列的RoPE吗答案是完全可以避免。因为当前位置的cos/sin只跟绝对位置有关跟之前的token无关所以你只需要在第一次prefill时把整条序列的cos/sin算好缓存起来生成每个新token时按位置索引去取对应的cos/sin而不需要重新预计算整张表。如果你在部署时发现每次生成一个token都重新执行了precompute_freqs_cis那大概率是实现结构有问题。更进一步很多源码在计算注意力时会把旋转逻辑嵌到attention函数内部每次forward都对q和k重新算一遍。由于q和k的输出是新的这个躲不掉但cos/sin查表这步可以做常数折叠把cos/sin当成模型参数之外的静态缓存避免在生成循环里反复创建。3.4 实现后如何自测验证我自己写完RoPE之后最怕的就是看起来逻辑对、跑起来loss不下降但根本不知道是不是RoPE写错了。这里分享一个非常有效的自测法构造一个简单任务让模型去记忆第几个token是谁判断位置编码是否真的生效。先固定一个batch手动检查两个token位置的旋转后内积是否符合预期。最直观的写法是取同样的一个向量x它与位置i旋转后的内积和它与位置j旋转后的内积之差应该只依赖|i-j|而不是依赖i和j的具体取值。你可以用tokenizer取出原子、分、子三个字分别放到位置5和位置10再交换位置验证内积一致性。如果实现是正确的q_5^T k_10 和 q_10^T k_5 应该完全相等因为旋转矩阵的转置性质保证了对称性。这个测试一旦跑通RoPE实现基本就稳了。4. 藏在旋转里的三个关键性质4.1 相对位置关系的天然表达RoPE最吸引人的特质是它把绝对位置编码外衣下的相对位置感知做成了免费午餐。这里的关键推导是位置 m 的query旋转矩阵的转置乘以位置 n 的key旋转矩阵等于旋转 (n-m) 度的旋转矩阵。用公式表达就是(R_m q)^T (R_n k) q^T R_m^T R_n k q^T R_{n-m} k所以在注意力分数的计算中最终起作用的只有相对位置差 n-m。位置编码用绝对位置注入了信息但模型实际感知到的是两个token隔了多远而不是各自站在哪个绝对坐标上。这正好呼应了自然语言的一个基本事实判断我在你前面三米比记住我在坐标15、你在坐标18要通用得多。相对位置信息天然具有平移不变性模型可以把往前走三步这个抽象概念泛化到序列的任何位置。4.2 远程衰减效应为什么它像数学版的注意力衰减RoPE还有个有趣的性质随着相对距离增大坐标分量在旋转内积中的有效贡献会振荡衰减。直觉上讲两个距离很远的token之间的转角很大而旋转是周期函数高频分量的cos/sin值会快速在正负之间震荡平均下来贡献趋近于零。这形成了类似注意力的就近偏好——模型自动更关注邻近token远处的信息虽然没被硬屏蔽但信号强度会自然减弱。这种远程衰减并不是硬编码的mask而是数学结构自带的效果这是我觉得整个设计最优雅的地方。它为模型提供了归纳偏置语言中离得近的词关系往往更紧密。实际操作中衰减曲线可以通过调整base值来控制base越大衰减越平缓。常见的base10000在20~30个token距离内衰减明显但拉到几百个token时曲线已经比较平了。这个特性直接决定了后续所有长上下文改良方案的走向想让模型看得更远本质上就是去调整这条衰减曲线的形状。4.3 外推困境好特性背后的阿喀琉斯之踵远程衰减保障了短距离的注意力稳定性但也带来了外推难题。当推理序列长度超过训练长度时模型没见过那么大的位置角度值旋转到了它从未在训练中见过的相位区间。这个区间的cos/sin震荡模式对模型来说完全是陌生的训练学到的注意力模式无法迁移过去效果自然崩掉。很多人误以为RoPE能天然外推因为旋转是周期性的。但周期重复和位置唯一性之间存在矛盾如果旋转频率无约束位置 m 和位置 mT 在某个频率分量上可能完全相同造成位置混叠。所以外推失败不是工程问题而是设计层面的必然结果。理解这一点再看下一章的各种插值补救手段就会明白它们本质上都是在保持位置唯一性和让相位区间可迁移之间寻找平衡点。5. 长上下文时代RoPE的演进与救赎5.1 位置插值最简单粗暴的绳索第一个大规模应用的改良方案是位置插值Position InterpolationPI。思路很简单假设训练长度是2048现在要把模型外推到8192就把新的位置坐标按比例压缩回训练区间。比如原来第8192个token的位置按比例缩放到2048让它复用模型熟悉的相位区间。这个方案在需要微调的场景下效果稳定因为本质上是把模型已有的知识拉伸到更多位置上而不是引入全新的相位空间。但它的缺点很快暴露出来所有维度都被均匀压缩高频维度旋转步长变小模型对相邻token的区分能力下降短距离注意力会变模糊。在30B以上的大模型上均匀插值需要较长微调时间才能恢复精度。5.2 NTK-aware插值从不均匀缩放开始NTK-aware的思路是不要均匀缩放所有维度而是让高频维度的频率尽量保持不变只缩放低频维度。背后的动机是高频维度负责编码相邻位置的精细信息一旦频率被压缩短距离的注意力关系会全部走样低频维度负责长距离信息缩放它们对短距离影响较小。工程实现上NTK-aware插值不修改位置坐标而是修改base。训练时base10000推理外推时把base调大一个系数比如500000这样等效于各维度频率按不同比例缩放。当时这个方案非常流行因为它可以在不微调的情况下就对长上下文外推有明显改善很多开源项目靠改一行代码就实现了翻倍甚至翻四倍的外推能力。但它也有隐患低频被压得太狠长距离编码变得冗余甚至混叠在真正极长序列上还是不够稳。5.3 动态NTK与YaRN把外推变成自适应调节动态NTK进一步把base的缩放做成随序列长度实时变化的函数推理时序列越长base缩放得越狠整个频率谱一直在动态调整。它解决了固定缩放系数在序列长度变化时不够灵活的问题但我个人建议把这个方案当作临时应急手段如果你的推理长度经常在变、又来不及微调动态NTK能让你快速获得一个张弛有度的效果但它毕竟不是训练感知的方案上限有限。接着是YaRN它站在NTK肩膀上做了两个关键改进一个是用NTK-by-parts策略把维度分成高频区、低频区、中间过渡区高频保持频率、低频线性插值、中频用斜坡函数平滑过渡避免频率突变另一个是引入温度系数让注意力分数的整体分布保持平滑避免插值后注意力过于锐化。实际使用中YaRN配合少量微调在8B到70B级别的模型上表现都很能打这也是很多主流开源长上下文模型最终采用的方案。5.4 演进路线对比与选型建议这几种方案本质上不是互相替代而是适用场景不同。我整理了一张对比表方便大家按自己的处境选择。方案是否需微调短距感知长距稳定性适用场景原生RoPE否强训练长度内优秀长度基本固定的常规任务位置插值PI是略降好有微调预算需要稳定长上下文的离线任务NTK-aware可以不用最好微调保持较好中等应急推理、快速试错动态NTK推理时可免微调保持较好中等推理长度动态变化YaRN少量微调强好正式长上下文生产环境的首选我的经验是如果只是临时跑一个长文档实验直接无脑上NTK改base最快如果要部署一个需要长期稳定处理数万token的服务YaRN 短时微调是性价比最高的路线。纯PI除了某些特定场景如翻译任务其实已经很少被单独选用了。6. RoPE与其他相对位置编码的正面较量6.1 ALiBi线性偏置的经验法则说完演进再横向对比一圈。ALiBi注意力线性偏置是另一个非常流行的方案它不修改query/key向量而是在注意力分数上直接加一个负的线性偏置距离越远惩罚越大。相比RoPEALiBi的优点是极其简单没有任何频率设计也天然适配长文本外推在很多老式模型中很常见。但它的缺点是偏置是硬编码的直线函数没有可学习的弹性对语义中需要跨越长距离建立关系的场景比如文章首段的某个概念和结尾的结论ALiBi会因为距离惩罚过大而压制这种远程联系。我做过对比实验在需要跨段落信息聚合的总分任务上RoPE的效果比ALiBi稳定得多而在纯局部建模的任务里ALiBi的速度略快两者差距不显著。总体上RoPE胜在表达能力ALiBi胜在低成本但今天新训练的模型里RoPE阵营已经占绝对上风。6.2 T5的相对偏置与可学习式方案T5类模型用的是可学习的相对位置偏置模型训练时会学到一张位置差到偏置得分的查找表。它比ALiBi灵活能给每个相对距离一个专门学习的偏好值。但这种方案有一个硬伤位置差的组合空间是 O(序列长度^2)超过训练覆盖的偏移量直接没有学习数据可查外推基础天然薄弱。更尴尬的是不同任务可能学到完全不同的偏置形状换一个任务域往往要重新训练偏置表。对比之下RoPE的频率是先验固定的不依赖任务泛化性和通用性更强。可学习偏置像是一个手工调参的旋钮RoPE更像是自动装好的底盘。如果你只在一个固定分布上做极小范围的任务可学习偏置会有些微优势一旦涉及域迁移、多任务、长上下文RoPE的鲁棒性立刻体现出来。6.3 不同场景下的选型经验作为实践者我的选型经验总结成三条做短文本、快速迭代的小模型ALiBi足够省内存且实现简单做需要外推的通用大模型优先RoPE及其插值变体做跨语义长距离推理任务坚持RoPE别因为ALiBi便宜就妥协。另外一个常被忽略的工程因素RoPE因为是乘法式位置编码跟现有的量化方案如4bit量化兼容性更好。加法式编码在量化后位置信号容易被压缩掉RoPE的旋转变换在量化视角下更像是对输入的一种结构化扰动抗量化噪点能力要强一些。这个我实测过几次虽然差异不算悬殊但在小模型上偶发性的回答质量波动确实会更少。最后再分享一个小技巧如果你在做长文本RAG检索增强生成应用建议把RoPE的base值调大并且让检索段落尽量按原文档顺序拼接而不是随便打乱。有了RoPE的相对位置感知和远程衰减特性顺序一旦错乱模型的注意力分布会明显恶化检索出来的片段即便内容正确也可能被模型当成一堆孤立句子来解读。保持段落顺序连贯往往比你多花时间调prompt更有效。这些坑我都是逐个踩过之后才总结出来的希望能帮你少走一段弯路。 
长河君 · 2026/10/21 8:27:36 · 阅读 1.2k RoPE旋转位置编码全解析：原理、实现与长上下文演进
搞大模型应用的人八成都在某个深夜遇到过同一个鬼故事序列长度一拉长模型就开始胡言乱语回答质量断崖式下跌。检查来检查去注意力计算没问题数据清洗也没问题最后定位到位置编码——模型根本感受不到词的先后顺序或者更准确地说它在远距离上彻底失去了方向感。这几年位置编码从加法时代走到乘法时代RoPE旋转位置编码从中杀了出来成了主流大模型默认的位置编码方案但很多人只是知道这个名字真正搞懂它为什么比其他方案强、长上下文场景下它又进化出了哪几路变体心里其实是模糊的。这篇就把RoPE整个演进链路彻底拆开讲透它到底在旋转什么、为什么旋转就能编码位置、手写实现有哪些坑、以及长上下文时代的高阶玩法该怎么选。1. 位置编码的三条前世路径为什么RoPE选择了乘法1.1 Transformer的原始缺陷注意力天生没有顺序概念Transformer架构的核心是自注意力机制而我刚入行时最不能接受的事实是自注意力本身是置换等变的。把一句话里所有token打乱顺序注意力权重、输出值经过池化后完全一样。模型根本不知道我爱你和你爱我有什么区别因为在这两个句子中我和你的attention模式完全相同。没有位置信息的话Transformer就是一个词袋模型PLUS语义彻底崩坏。所以原始Transformer必须手动往输入里注入位置信息。这就是位置编码的缘起。但注入这两个字埋下了后来所有演进的伏笔——怎么注、注在哪里、以什么形式注直接决定了模型能理解多长的上下文、能不能外推、训练稳不稳定。1.2 加法式位置编码的困境正弦编码与可学习编码第一代方案是加法式最简单的是正弦位置编码对每个位置生成一组固定频率的正弦/余弦信号加在token embedding上。设计得很巧妙不同频率让模型能区分短距离和长距离的变化。但它有个致命问题它把位置信息加到了语义向量里位置和语义互相干扰。向量空间里位置分量和语义分量被强行捆在一个embedding里模型需要费力地把它们解耦。可学习位置编码就更直接了给每个绝对位置分配一个可训练向量比如位置0对应一个向量、位置1对应另一个训练时学到什么就是什么。这种方式短文本上效果确实不错很多早期BERT系模型都这么干。但它有两个短板非常致命一是完全没有外推能力训练时只见过2048个位置推理时来了4096长度的序列新增的位置向量只能是随机初始化模型直接懵掉二是位置向量逐位置独立模型学到的其实是第几个位置的离散索引而不是距离多远的连续概念相对位置关系反而成了隐式学习的附属品。1.3 从加法到乘法位置信息的另一种注入思路既然加法式方案让位置和语义耦合在一起、难以解耦那换个思路位置信息不叠加在embedding上而是通过变换作用上去也就是乘法式。给每个token的query和key向量乘上一个只跟位置有关的矩阵这个矩阵做的是旋转、缩放、置换之类的线性变换。乘完之后位置和语义在数学上保持了某种正交性模型可以更容易地把位置当作独立的坐标来处理。乘法式的好处不只是解耦。如果这个变换选得够巧妙两个位置之间的差值会自然而然地体现在两者的变换关系里。这就为后来RoPE的出现铺平了道路——用旋转矩阵做乘法变换因为旋转矩阵本身就自带角度差的几何含义。这种想法在地理导航里很常见一个物体的绝对角度不重要但两个物体的角度差决定了它们的相对方向。RoPE就是把这套几何直觉搬到了高维特征空间里。2. RoPE核心思想把位置搬进复数旋转2.1 二维情形的旋转直觉先看最简单的情况假设每个token的特征向量只有两维记为 (x_0, x_1)。RoPE的想法是把这个二维向量当作复平面上的一个点位置 m 的信息就是把这个点逆时针旋转 mθ 的角度其中 θ 是一个固定的角度步长。旋转矩阵长这样R(mθ) [[cos(mθ), -sin(mθ)], [sin(mθ), cos(mθ)]]被旋转后的向量就是 R(mθ) · (x_0, x_1)^T。注意这里完全没有把位置加进数值里而是改变向量的朝向。我经常用GPS里朝向这个概念辅助理解同一个坐标点你面朝北看它和面朝东看它物理位置没有变但你的感知坐标系变了。RoPE就是给每个token戴上一个朝向标签让后续注意力计算能感知到我是从哪个角度看过来的。这个二维情形的美妙之处在于旋转天然具备周期性。旋转 2π 之后回到原点所以位置信息不会被无限放大始终约束在一个闭合环上。2.2 扩展到高维分块旋转与频率分配现实里的特征向量动辄几十上百维大模型的head dim通常是64、128不可能只转整体一个角度。RoPE的处理方式是把高维向量切成很多个二维块每个块分别旋转。假设维度 d64那就切成32个二维块第 i 个块有自己的旋转速度频率θ_i。θ_i 的确定方式沿用了正弦位置编码的频率公式θ_i base^(-2i/d)其中 base 通常取 10000i 从 0 到 d/2-1。注意一个反直觉的事实靠前的维度i 小频率高转得快靠后的维度频率低转得慢。高频维度能精细区分相邻几个token的位置低频维度负责感知长距离的位移。这跟傅里叶分解里的频率分工一个道理高频给细节低频给趋势。于是整个位置 m 的旋转矩阵就是这 32 个小旋转矩阵拼成的块对角矩阵。每个二维块独立旋转互不干扰。块内做二维旋转块间保持独立性这是整个RoPE在数学上干净的关键。2.3 从几何到代码的翻译RoPE到底做了什么很多教程把RoPE讲得神乎其神其实把它翻译成代码操作就三件事把向量最后一维切成两份前半份和后半份。用位置角度的cos值对原始向量做逐元素缩放。构造一个rotate_half操作对原始向量的前半和后半进行交换并把后半部分取负再乘sin值。我最初看到这类实现时也很困惑说好的旋转矩阵呢其实这是二维旋转的高效写法。如果 q 的前半是 q_head后半是 q_tail那么旋转后的向量就等于q_out q * cos [q_head_new, q_tail_new] * sin其中 q_tail_new -q_head交换并取负。这本质上是把二维旋转公式展开成两个交叉项用逐元素运算替代了稀疏矩阵乘法。后者在GPU上要浪费大量带宽前者则是纯elementwise几乎不增加计算开销。所以RoPE虽然在数学上是矩阵乘法落地到工程上却只比原始q/k多了一次cos乘法和一次sin乘法。这是它能被所有主流框架毫无压力地用起来的最重要原因便宜、稳定、实现紧凑。3. 手写RoPE一份可直接抄的PyTorch实现3.1 频率向量的生成逻辑第一步是预计算每个位置对应的cos和sin值。实际工程中我们不会真的为每个位置生成一个大旋转矩阵那是灾难性的内存浪费。正确做法是只生成cos/m和sin/m两列查表数据推理时按位置去查表。import torch def precompute_freqs_cis(dim: int, max_seq_len: int, base: float 10000.0): # dim: head_dim必须是偶数 # 频率theta_i base^(-2i/dim) i torch.arange(0, dim, 2).float() # [dim/2] freqs 1.0 / (base ** (i / dim)) # [dim/2] # 每个位置 m 的角度 m * theta_i t torch.arange(max_seq_len, dtypetorch.float) angles torch.outer(t, freqs) # [max_seq_len, dim/2] # 为了让cos和sin的长度和head_dim对齐复制一份并拼接 # 常见做法是直接复制一次让每个频率对应两个维度 angles torch.cat((angles, angles), dim-1) # [max_seq_len, dim] cos torch.cos(angles) sin torch.sin(angles) return cos, sin这里有个新手容易踩的坑维度到底是先奇偶分配还是先半半分配。RoPE论文原版是把相邻两维做一组0,1一组、2,3一组、4,5一组。上面代码用的是复制拼接法实际效果等价于把每组的两维频率设成相同值。有些开源实现喜欢用interleave的方式把0、2、4放在前半1、3、5放在后半那就要用rearrange做reshape。两者数学上等价但调试时混用两种约定会直接导致向量对不上我在项目里吃过一次亏训练了好几个epoch才发现两个模块里RoPE的分组方式不一样模型一直学不进去。3.2 旋转矩阵的高效实现einsum与view操作频率表准备好了接着就是应用旋转。标准实现如下def rotate_half(x: torch.Tensor): # x: [..., dim]后半部分交换到前半并取负 x1 x[..., : x.shape[-1] // 2] x2 x[..., x.shape[-1] // 2:] return torch.cat((-x2, x1), dim-1) def apply_rotary_pos_emb(q: torch.Tensor, k: torch.Tensor, cos: torch.Tensor, sin: torch.Tensor): # q/k: [batch_size, num_heads, seq_len, head_dim] # cos/sin: [seq_len, head_dim] cos cos.unsqueeze(0).unsqueeze(0) # [1, 1, seq_len, head_dim] sin sin.unsqueeze(0).unsqueeze(0) q_embed (q * cos) (rotate_half(q) * sin) k_embed (k * cos) (rotate_half(k) * sin) return q_embed, k_embed四行代码搞定比很多人想象中简单得多。性能上cos和sin是按位置查表得到的attention计算里head数可能很多但cos/sin在batch和head两个维度上广播不会带来额外内存压力。有个细节如果用了分组查询注意力或者多查询注意力每个query head共享一组key/value head应用RoPE时要注意cos/sin的形状与head数无关只要seq_len和head_dim对齐就行这个广播天然正确。如果追求极致性能可以把cos/sin提前转为半精度fp16/bf16放到GPU上缩放时可以利用融合算子。我在部署推理时还踩过一个很重要的坑位置编码的cos/sin如果和模型的dtype不一致比如模型是bf16但cos/sin是fp32会导致GPU kernel反复转换dtype推理速度下降明显。所以最好在加载模型后统一转换为模型的dtype。3.3 推理时的缓存与内存优化技巧推理阶段有一个特别容易忽略的问题随着生成的token越来越多序列逐渐变长每一次自回归生成都要重算整个序列的RoPE吗答案是完全可以避免。因为当前位置的cos/sin只跟绝对位置有关跟之前的token无关所以你只需要在第一次prefill时把整条序列的cos/sin算好缓存起来生成每个新token时按位置索引去取对应的cos/sin而不需要重新预计算整张表。如果你在部署时发现每次生成一个token都重新执行了precompute_freqs_cis那大概率是实现结构有问题。更进一步很多源码在计算注意力时会把旋转逻辑嵌到attention函数内部每次forward都对q和k重新算一遍。由于q和k的输出是新的这个躲不掉但cos/sin查表这步可以做常数折叠把cos/sin当成模型参数之外的静态缓存避免在生成循环里反复创建。3.4 实现后如何自测验证我自己写完RoPE之后最怕的就是看起来逻辑对、跑起来loss不下降但根本不知道是不是RoPE写错了。这里分享一个非常有效的自测法构造一个简单任务让模型去记忆第几个token是谁判断位置编码是否真的生效。先固定一个batch手动检查两个token位置的旋转后内积是否符合预期。最直观的写法是取同样的一个向量x它与位置i旋转后的内积和它与位置j旋转后的内积之差应该只依赖|i-j|而不是依赖i和j的具体取值。你可以用tokenizer取出原子、分、子三个字分别放到位置5和位置10再交换位置验证内积一致性。如果实现是正确的q_5^T k_10 和 q_10^T k_5 应该完全相等因为旋转矩阵的转置性质保证了对称性。这个测试一旦跑通RoPE实现基本就稳了。4. 藏在旋转里的三个关键性质4.1 相对位置关系的天然表达RoPE最吸引人的特质是它把绝对位置编码外衣下的相对位置感知做成了免费午餐。这里的关键推导是位置 m 的query旋转矩阵的转置乘以位置 n 的key旋转矩阵等于旋转 (n-m) 度的旋转矩阵。用公式表达就是(R_m q)^T (R_n k) q^T R_m^T R_n k q^T R_{n-m} k所以在注意力分数的计算中最终起作用的只有相对位置差 n-m。位置编码用绝对位置注入了信息但模型实际感知到的是两个token隔了多远而不是各自站在哪个绝对坐标上。这正好呼应了自然语言的一个基本事实判断我在你前面三米比记住我在坐标15、你在坐标18要通用得多。相对位置信息天然具有平移不变性模型可以把往前走三步这个抽象概念泛化到序列的任何位置。4.2 远程衰减效应为什么它像数学版的注意力衰减RoPE还有个有趣的性质随着相对距离增大坐标分量在旋转内积中的有效贡献会振荡衰减。直觉上讲两个距离很远的token之间的转角很大而旋转是周期函数高频分量的cos/sin值会快速在正负之间震荡平均下来贡献趋近于零。这形成了类似注意力的就近偏好——模型自动更关注邻近token远处的信息虽然没被硬屏蔽但信号强度会自然减弱。这种远程衰减并不是硬编码的mask而是数学结构自带的效果这是我觉得整个设计最优雅的地方。它为模型提供了归纳偏置语言中离得近的词关系往往更紧密。实际操作中衰减曲线可以通过调整base值来控制base越大衰减越平缓。常见的base10000在20~30个token距离内衰减明显但拉到几百个token时曲线已经比较平了。这个特性直接决定了后续所有长上下文改良方案的走向想让模型看得更远本质上就是去调整这条衰减曲线的形状。4.3 外推困境好特性背后的阿喀琉斯之踵远程衰减保障了短距离的注意力稳定性但也带来了外推难题。当推理序列长度超过训练长度时模型没见过那么大的位置角度值旋转到了它从未在训练中见过的相位区间。这个区间的cos/sin震荡模式对模型来说完全是陌生的训练学到的注意力模式无法迁移过去效果自然崩掉。很多人误以为RoPE能天然外推因为旋转是周期性的。但周期重复和位置唯一性之间存在矛盾如果旋转频率无约束位置 m 和位置 mT 在某个频率分量上可能完全相同造成位置混叠。所以外推失败不是工程问题而是设计层面的必然结果。理解这一点再看下一章的各种插值补救手段就会明白它们本质上都是在保持位置唯一性和让相位区间可迁移之间寻找平衡点。5. 长上下文时代RoPE的演进与救赎5.1 位置插值最简单粗暴的绳索第一个大规模应用的改良方案是位置插值Position InterpolationPI。思路很简单假设训练长度是2048现在要把模型外推到8192就把新的位置坐标按比例压缩回训练区间。比如原来第8192个token的位置按比例缩放到2048让它复用模型熟悉的相位区间。这个方案在需要微调的场景下效果稳定因为本质上是把模型已有的知识拉伸到更多位置上而不是引入全新的相位空间。但它的缺点很快暴露出来所有维度都被均匀压缩高频维度旋转步长变小模型对相邻token的区分能力下降短距离注意力会变模糊。在30B以上的大模型上均匀插值需要较长微调时间才能恢复精度。5.2 NTK-aware插值从不均匀缩放开始NTK-aware的思路是不要均匀缩放所有维度而是让高频维度的频率尽量保持不变只缩放低频维度。背后的动机是高频维度负责编码相邻位置的精细信息一旦频率被压缩短距离的注意力关系会全部走样低频维度负责长距离信息缩放它们对短距离影响较小。工程实现上NTK-aware插值不修改位置坐标而是修改base。训练时base10000推理外推时把base调大一个系数比如500000这样等效于各维度频率按不同比例缩放。当时这个方案非常流行因为它可以在不微调的情况下就对长上下文外推有明显改善很多开源项目靠改一行代码就实现了翻倍甚至翻四倍的外推能力。但它也有隐患低频被压得太狠长距离编码变得冗余甚至混叠在真正极长序列上还是不够稳。5.3 动态NTK与YaRN把外推变成自适应调节动态NTK进一步把base的缩放做成随序列长度实时变化的函数推理时序列越长base缩放得越狠整个频率谱一直在动态调整。它解决了固定缩放系数在序列长度变化时不够灵活的问题但我个人建议把这个方案当作临时应急手段如果你的推理长度经常在变、又来不及微调动态NTK能让你快速获得一个张弛有度的效果但它毕竟不是训练感知的方案上限有限。接着是YaRN它站在NTK肩膀上做了两个关键改进一个是用NTK-by-parts策略把维度分成高频区、低频区、中间过渡区高频保持频率、低频线性插值、中频用斜坡函数平滑过渡避免频率突变另一个是引入温度系数让注意力分数的整体分布保持平滑避免插值后注意力过于锐化。实际使用中YaRN配合少量微调在8B到70B级别的模型上表现都很能打这也是很多主流开源长上下文模型最终采用的方案。5.4 演进路线对比与选型建议这几种方案本质上不是互相替代而是适用场景不同。我整理了一张对比表方便大家按自己的处境选择。方案是否需微调短距感知长距稳定性适用场景原生RoPE否强训练长度内优秀长度基本固定的常规任务位置插值PI是略降好有微调预算需要稳定长上下文的离线任务NTK-aware可以不用最好微调保持较好中等应急推理、快速试错动态NTK推理时可免微调保持较好中等推理长度动态变化YaRN少量微调强好正式长上下文生产环境的首选我的经验是如果只是临时跑一个长文档实验直接无脑上NTK改base最快如果要部署一个需要长期稳定处理数万token的服务YaRN 短时微调是性价比最高的路线。纯PI除了某些特定场景如翻译任务其实已经很少被单独选用了。6. RoPE与其他相对位置编码的正面较量6.1 ALiBi线性偏置的经验法则说完演进再横向对比一圈。ALiBi注意力线性偏置是另一个非常流行的方案它不修改query/key向量而是在注意力分数上直接加一个负的线性偏置距离越远惩罚越大。相比RoPEALiBi的优点是极其简单没有任何频率设计也天然适配长文本外推在很多老式模型中很常见。但它的缺点是偏置是硬编码的直线函数没有可学习的弹性对语义中需要跨越长距离建立关系的场景比如文章首段的某个概念和结尾的结论ALiBi会因为距离惩罚过大而压制这种远程联系。我做过对比实验在需要跨段落信息聚合的总分任务上RoPE的效果比ALiBi稳定得多而在纯局部建模的任务里ALiBi的速度略快两者差距不显著。总体上RoPE胜在表达能力ALiBi胜在低成本但今天新训练的模型里RoPE阵营已经占绝对上风。6.2 T5的相对偏置与可学习式方案T5类模型用的是可学习的相对位置偏置模型训练时会学到一张位置差到偏置得分的查找表。它比ALiBi灵活能给每个相对距离一个专门学习的偏好值。但这种方案有一个硬伤位置差的组合空间是 O(序列长度^2)超过训练覆盖的偏移量直接没有学习数据可查外推基础天然薄弱。更尴尬的是不同任务可能学到完全不同的偏置形状换一个任务域往往要重新训练偏置表。对比之下RoPE的频率是先验固定的不依赖任务泛化性和通用性更强。可学习偏置像是一个手工调参的旋钮RoPE更像是自动装好的底盘。如果你只在一个固定分布上做极小范围的任务可学习偏置会有些微优势一旦涉及域迁移、多任务、长上下文RoPE的鲁棒性立刻体现出来。6.3 不同场景下的选型经验作为实践者我的选型经验总结成三条做短文本、快速迭代的小模型ALiBi足够省内存且实现简单做需要外推的通用大模型优先RoPE及其插值变体做跨语义长距离推理任务坚持RoPE别因为ALiBi便宜就妥协。另外一个常被忽略的工程因素RoPE因为是乘法式位置编码跟现有的量化方案如4bit量化兼容性更好。加法式编码在量化后位置信号容易被压缩掉RoPE的旋转变换在量化视角下更像是对输入的一种结构化扰动抗量化噪点能力要强一些。这个我实测过几次虽然差异不算悬殊但在小模型上偶发性的回答质量波动确实会更少。最后再分享一个小技巧如果你在做长文本RAG检索增强生成应用建议把RoPE的base值调大并且让检索段落尽量按原文档顺序拼接而不是随便打乱。有了RoPE的相对位置感知和远程衰减特性顺序一旦错乱模型的注意力分布会明显恶化检索出来的片段即便内容正确也可能被模型当成一堆孤立句子来解读。保持段落顺序连贯往往比你多花时间调prompt更有效。这些坑我都是逐个踩过之后才总结出来的希望能帮你少走一段弯路。