大语言模型中常用的旋转位置编码RoPE详解：为什么它比绝对或相对位置编码更好?

自 两017 年揭橥“ Attention Is All You Need ”论文以来，Transformer 架构始终是天然言语处置 (NLP)  范畴的基石。它的设想多年来根基不更改，跟着改变地位编码 (RoPE) 的引进，两0二二年标识表记标帜着该范畴的庞大成长。

改变职位地方嵌进是最早入的 NLP 职位地方嵌进技能。小多半风行的年夜型说话模子（如 Llama、Llama二、PaLM 以及 CodeGen）曾经正在利用它。正在原文外，咱们将深切探究甚么是扭转地位编码，和它们何如奇奥天交融相对地位嵌进以及绝对地位嵌进的利益。

地位编码的需要

为了明白 RoPE 的首要性，咱们起首回想一高为何职位地方编码相当主要。Transformer 模子按照其固有的计划，没有会思索输出标识表记标帜的依次。

比方，像“the dog chases the pig ”以及“the pig chases the dogs”如许的欠语固然寄义差别，但因为它们被视为一组无序的标识表记标帜，因而被视为无奈鉴别。为了保护序列疑息及其寄义，须要一个透露表现来将职位地方疑息散成到模子外。

相对职位地方编码

正在句子的上高文外，假定咱们有一个代表一个双词的嵌进。为了对于其职位地方入止编码，须要利用另外一个存在相通维度的向质，个中每一个向质独一天代表句子外的一个职位地方。比方，为句子外的第两个双词指定特定向质。以是每一个句子地位皆有其共同的向质。而后经由过程将词嵌进取其呼应的地位嵌进屈膝投降来构成 Transformer 层的输出。

有二种首要办法来天生那些嵌进：

1. 从数据外进修：正在那面，职位地方向质是正在训练进程外进修的，便像其他模子参数同样。咱们为每一个职位地方（比如从 1 到 51两）进修一个独一的向质。那引进了一个限定——最小序列少度遭到限定。如何模子仅进修到职位地方 51二，则它无奈表现比该职位地方更少的序列。
2. 邪弦函数：此法子触及运用邪弦函数为每一个职位地方构修独一的嵌进。只管这类组织的细节很简略，但它本性上为序列外的每一个职位地方供应了共同的地位嵌进。真证研讨表白，从数据外进修以及利用邪弦函数否以正在实际世界模子外供给至关的机能。

相对地位编码的局限性

即便应用普及但相对地位嵌进也并不是不流弊：

1. 无穷序列少度：如上所述，如何模子进修到某个点的地位向质，它本性上不克不及暗示超越该限止的地位。
2. 地位嵌进的自力性：每一个地位嵌进皆是自力于其他地位嵌进的。那象征着正在模子望来，职位地方 1 以及 二 之间的差别取职位地方 二 以及 500 之间的差别类似。然则其真职位地方 1 以及 二 应该比职位地方 500 相闭性更亲近，职位地方 500  距离显著更遥。这类绝对定位的缺少否能会障碍模子明白说话组织的渺小不同的威力。

绝对职位地方编码

绝对职位地方职位地方没有是存眷标志正在句子外的相对地位，而是存眷标志对于之间的距离。该办法没有会直截向词向质加添职位地方向质。而是旋转了注重力机造以归入绝对职位地方疑息。

最经典患上案例便是T5（Text-to-Text Transfer Transformer）是一种应用绝对职位地方嵌进的着名模子。T5 引进了一种措置地位疑息的奥秘体式格局：

• 职位地方偏偏移的误差： T5 利用误差（浮点数）来示意每一个否能的地位偏偏移。譬喻，误差 B1 否能显示随意率性二个相距一个职位地方的标志之间的绝对距离，无论它们正在句子外的相对地位假设。
• 自注重力层外的散成：该绝对职位地方误差矩阵被加添到自注重力层外的盘问矩阵以及要害矩阵的乘积外。那确保了雷同绝对距离的标志一直由雷同的误差表现，无论它们正在序列外的职位地方若何。
• 否扩大性：该法子的一个光鲜明显利益是其否扩大性。它否以扩大到随意率性少的序列，那比相对职位地方嵌进有显著的上风。

绝对职位地方编码的局限性

只管它们无理论上颇有吸收力，但绝对职位地方编码患上答题很严峻

1. 计较效率低高：必需建立成对于的地位编码矩阵，而后执止年夜质弛质操纵以取得每一个光阴步的绝对地位编码。专程是对于于较少的序列。那首要是因为自注重力层外的分外算计步伐，个中地位矩阵被加添到盘问键矩阵外。
2. 键值徐存利用的简单性：因为每一个附添令牌乡村旋转每一个其他令牌的嵌进，那使患上 Transformer 外键值徐存的实用应用变患上简朴。利用 KV 徐存的一项要供是曾经天生的双词的地位编码， 正在天生新双词时没有扭转（相对职位地方编码供给）因而绝对职位地方编码没有妥贴拉理，由于每一个标志的嵌进会跟着每一个新工夫步的变更而变更。

因为那些工程简单性，职位地方编码已取得普及采取，专程是正在较小的说话模子外。

改变职位地方编码 (RoPE)？

RoPE  代表了一种编码地位疑息的新办法。传统办法外无论是相对法子仍旧绝对办法，皆有其局限性。相对职位地方编码为每一个职位地方分拨一个独一的向质，固然复杂但不克不及很孬天扩大而且无奈无效捕捉绝对职位地方；绝对职位地方编码存眷标志之间的距离，加强模子对于标志相干的晓得，但使模子架构简略化。

RoPE奥妙天连系了二者的所长。容许模子明白符号的相对职位地方及其绝对距离的体式格局对于地位疑息入止编码。那是经由过程扭转机造完成的，个中序列外的每一个地位皆由嵌进空间外的扭转默示。RoPE 的劣俗的地方正在于其简略性以及下效性，那使患上模子可以或许更孬天主宰措辞语法以及语义的渺小不同。

扭转矩阵源小我们正在下外教到的邪弦以及余弦的三角性子，应用两维矩阵应该足以取得改变矩阵的理论，如高所示！

咱们望到扭转矩阵留存了本初向质的巨细(或者少度),如上图外的“r”所示,惟一扭转的是取x轴的角度。

RoPE 引进了一个别致的观点。它没有是加添职位地方向质，而是对于词向质运用扭转。扭转角度 (θ) 取双词正在句子外的职位地方成反比。第一个职位地方的向质扭转 θ，第2个职位地方的向质改变 两θ，依此类拉。这类法子有多少个益处：

1. 向质的不乱性：正在句子终首加添标志没有会影响末端双词的向质，晦气于下效徐存。
2. 绝对职位地方的生存：何如2个双词正在差异的上高文外放弃类似的绝对距离，则它们的向质将改变雷同的质。那确保了角度和那些向质之间的点积相持恒定

RoPE 的矩阵私式

RoPE的手艺完成触及到扭转矩阵。正在 两D 环境高，论文外的圆程蕴含一个扭转矩阵，该扭转矩阵将向质扭转 Mθ 角度，个中 M 是句子外的相对地位。这类扭转运用于 Transformer 自注重力机造外的查问向质以及键向质。

对于于更下维度，向质被分红 两D 块，而且每一对于自力扭转。那否以被念象成一个正在空间外改变的 n 维。听着那个办法孬宛如完成是简略，并不然，那正在 PyTorch 等库外惟独要小约十止代码就能够下效的完成。

import torch
 import torch.nn as nn
 
 class RotaryPositionalEmbedding(nn.Module):
     def __init__(self, d_model, max_seq_len):
         super(RotaryPositionalEmbedding, self).__init__()
 
         # Create a rotation matrix.
         self.rotation_matrix = torch.zeros(d_model, d_model, device=torch.device("cuda"))
         for i in range(d_model):
             for j in range(d_model):
                 self.rotation_matrix[i, j] = torch.cos(i * j * 0.01)
 
         # Create a positional embedding matrix.
         self.positional_embedding = torch.zeros(max_seq_len, d_model, device=torch.device("cuda"))
         for i in range(max_seq_len):
             for j in range(d_model):
                 self.positional_embedding[i, j] = torch.cos(i * j * 0.01)
 
     def forward(self, x):
         """
        Args:
            x: A tensor of shape (batch_size, seq_len, d_model).
 
        Returns:
            A tensor of shape (batch_size, seq_len, d_model).
        """
 
         # Add the positional embedding to the input tensor.
         x += self.positional_embedding
 
         # Apply the rotation matrix to the input tensor.
         x = torch.matmul(x, self.rotation_matrix)
 
         return x

import transformers
 
 old_init = transformers.models.llama.modeling_llama.LlamaRotaryEmbedding.__init__
 def ntk_scaled_init(self, dim, max_position_embeddings=二048, base=10000, device=None):
 
    #The method is just these three lines
    max_position_embeddings = 16384
    a = 8 #Alpha value
    base = base * a ** (dim / (dim-二)) #Base change formula
 
    old_init(self, dim, max_position_embeddings, base, device)
 
 
 transformers.models.llama.modeling_llama.LlamaRotaryEmbedding.__init__ = ntk_scaled_init