自从 2017 年 Google 在《Attention Is All You Need》论文中掷出这声惊雷，Transformer 架构便以摧枯拉朽之势重塑了整个深度学习的版图。从横扫 NLP 领域的 BERT、GPT 系列，到如今统治视觉和多模态大模型的 ViT、Sora，Transformer 已经成为了现代人工智能的“底层操作系统”。
然而，无数人在学习 Transformer 时，往往停留在“Attention is all you need”的口号上，只记住了 Q、K、V 这三个字母，却对其背后的数学本质 缺乏深刻的理解。为什么是 Q、K、V？为什么要除以 d k \sqrt{d_k} d k
本文将彻底剥开 Transformer 的华丽外衣，拒绝表面文章，带你从纯数学和几何的视角，深度解剖注意力机制的灵魂。
在深入公式之前，我们需要先理解注意力机制的设计哲学。注意力机制的本质，是对信息的加权聚合 。
传统的数据库检索是“硬性”的：你给出一个查询条件（Query），系统在数据库中找到完全匹配的键，然后返回对应的值。这种非 0 即 1 的操作在深度学习中是难以微分的。
注意力机制则引入了**“柔性寻址”**的概念：
Query (Q) ：类似于数据库查询，代表当前正在处理的词（或特征）想要寻找什么样的上下文信息。Key (K) ：类似于数据库索引，代表序列中每个词（或特征）自身包含什么类型的信息。Value (V) ：类似于数据库中的实际记录，代表每个词传递给下游的具体内容。
注意力机制不是去寻找唯一匹配的 K，而是计算 Q 和所有 K 的相似度，得到一组权重（概率分布），然后用这组权重把所有的 V 加权求和。它本质上是一个全连接的图网络，边的权重由内容动态决定。
让我们直接面对 Transformer 中最核心的缩放点积注意力公式：
Attention ( Q , K , V ) = softmax ( Q K T d k ) V \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
Attention ( Q , K , V ) = softmax ( d k Q K T ) V
这短短一行公式，蕴含了极其精妙的数学逻辑。接下来，我们将像解剖高维生物一样，一层层剥开它的数学意义。
输入序列 X ∈ R n × d X \in \mathbb{R}^{n \times d} X ∈ R n × d n n n d d d W Q , W K , W V ∈ R d × d k W^Q, W^K, W^V \in \mathbb{R}^{d \times d_k} W Q , W K , W V ∈ R d × d k Q , K , V Q,K,V Q , K , V X X X
Q = X W Q , K = X W K , V = X W V Q = X W^Q, \quad K = X W^K, \quad V = X W^V
Q = X W Q , K = X W K , V = X W V
为什么要这么做？ X X X 投影到了三个不同的线性子空间 。
在 Q Q Q
在 K K K
在 V V V
如果不用三个矩阵而直接让 X X X
Q K T QK^T Q K T 公式的第一步是计算 Q K T QK^T Q K T q i ∈ R 1 × d k q_i \in \mathbb{R}^{1 \times d_k} q i ∈ R 1 × d k k j ∈ R 1 × d k k_j \in \mathbb{R}^{1 \times d_k} k j ∈ R 1 × d k
score ( q i , k j ) = q i ⋅ k j T = ∑ m = 1 d k q i m k j m \text{score}(q_i, k_j) = q_i \cdot k_j^T = \sum_{m=1}^{d_k} q_{im} k_{jm}
score ( q i , k j ) = q i ⋅ k j T = m = 1 ∑ d k q i m k j m
为什么用点积来衡量相似度？
q i ⋅ k j = ∥ q i ∥ ∥ k j ∥ cos ( θ ) q_i \cdot k_j = \|q_i\| \|k_j\| \cos(\theta)
q i ⋅ k j = ∥ q i ∥ ∥ k j ∥ cos ( θ )
在高维空间中，如果两个向量的方向越一致（cos ( θ ) \cos(\theta) cos ( θ ) Q K T QK^T Q K T n × n n \times n n × n i i i j j j i i i j j j
d k \sqrt{d_k} d k 这是整个公式中最容易被忽视，却又最令人拍案叫绝的部分：缩放因子 d k \sqrt{d_k} d k
为什么要除以特征维度的平方根？论文中给出了一句轻描淡写的解释，但背后却隐藏着严密的概率统计学推导。
假设向量 q q q k k k q ⋅ k = ∑ i = 1 d k q i k i q \cdot k = \sum_{i=1}^{d_k} q_i k_i q ⋅ k = ∑ i = 1 d k q i k i 方差则会随着维度 d k d_k d k ：
Var ( q i k i ) = E [ q i 2 ] E [ k i 2 ] − ( E [ q i ] E [ k i ] ) 2 = 1 × 1 − 0 = 1 \text{Var}(q_i k_i) = E[q_i^2]E[k_i^2] - (E[q_i]E[k_i])^2 = 1 \times 1 - 0 = 1
Var ( q i k i ) = E [ q i 2 ] E [ k i 2 ] − ( E [ q i ] E [ k i ] ) 2 = 1 × 1 − 0 = 1
Var ( q ⋅ k ) = ∑ i = 1 d k Var ( q i k i ) = d k \text{Var}(q \cdot k) = \sum_{i=1}^{d_k} \text{Var}(q_i k_i) = d_k
Var ( q ⋅ k ) = i = 1 ∑ d k Var ( q i k i ) = d k
当模型的维度 d k d_k d k Q K T QK^T Q K T
这就引出了致命的问题：Softmax 函数在极大输入下的梯度饱和现象。
Softmax 函数公式为 σ ( z i ) = e z i ∑ e z j \sigma(z_i) = \frac{e^{z_i}}{\sum e^{z_j}} σ ( z i ) = ∑ e z j e z i z z z 梯度消失 。
解决方案： 除以 d k \sqrt{d_k} d k
Var ( q ⋅ k d k ) = 1 d k × d k = 1 \text{Var}\left(\frac{q \cdot k}{\sqrt{d_k}}\right) = \frac{1}{d_k} \times d_k = 1
Var ( d k q ⋅ k ) = d k 1 × d k = 1
通过除以 d k \sqrt{d_k} d k d k d_k d k
经过缩放的相似度矩阵输入到 Softmax 函数中：
A = softmax ( Q K T d k ) A = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)
A = softmax ( d k Q K T )
这一步的数学意义非常明确：归一化 。e x e^x e x A A A
此时，A ∈ R n × n A \in \mathbb{R}^{n \times n} A ∈ R n × n 注意力权重矩阵 。A i j A_{ij} A i j i i i j j j A i j A_{ij} A i j i i i j j j
V V V 最后一步，将注意力权重矩阵 A A A
Output = A V \text{Output} = A V
Output = A V
用具体的矩阵乘法展开来看，对于第 i i i o i o_i o i
o i = ∑ j = 1 n A i j v j o_i = \sum_{j=1}^{n} A_{ij} v_j
o i = j = 1 ∑ n A i j v j
这在数学上是一个凸组合 。输出向量 o i o_i o i
从几何上看，如果将 v j v_j v j o i o_i o i A i A_i A i 重心 。注意力机制在此刻完成了一次华丽的信息聚合：它根据当前词的查询需求，从整个序列的背景中，通过重心定位的方法，抽取了最相关的语义特征，融合成了一个全新的向量表示。
如果你以为注意力机制只是一个巧妙的矩阵运算，那就低估了它的普适性。让我们将视线拔高，看看它在更广阔的数学领域中的投影。
在统计学和非参数回归中，有一个著名的公式叫 Nadaraya-Watson 核回归 ：
y ^ ( x ) = ∑ i = 1 n K ( x , x i ) y i ∑ i = 1 n K ( x , x i ) \hat{y}(x) = \frac{\sum_{i=1}^n K(x, x_i) y_i}{\sum_{i=1}^n K(x, x_i)}
y ^ ( x ) = ∑ i = 1 n K ( x , x i ) ∑ i = 1 n K ( x , x i ) y i
其中，K ( x , x i ) K(x, x_i) K ( x , x i ) x x x x i x_i x i
o i = ∑ j exp ( q i ⋅ k j ) ∑ k exp ( q i ⋅ k k ) v j o_i = \sum_{j} \frac{\exp(q_i \cdot k_j)}{\sum_k \exp(q_i \cdot k_k)} v_j
o i = j ∑ ∑ k exp ( q i ⋅ k k ) exp ( q i ⋅ k j ) v j
惊人的相似！ Transformer 的注意力机制，本质上是一个可学习的、非参数的 Nadaraya-Watson 核平滑估计器。 K ( q , k ) = exp ( q ⋅ k ) K(q, k) = \exp(q \cdot k) K ( q , k ) = exp ( q ⋅ k ) Q , K , V Q, K, V Q , K , V
从图论的角度来看，序列数据可以看作是一个全连接图，每个词是一个节点。Q K T QK^T Q K T A A A A V AV A V 消息传递 。动态生成 的。因此，注意力机制实际上是一种动态的、基于全连接图的图神经网络。
理解了单头注意力，多头注意力就迎刃而解了。Transformer 并没有使用一个单一的注意力函数，而是将 Q , K , V Q, K, V Q , K , V h h h
head i = Attention ( Q W i Q , K W i K , V W i V ) \text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)
head i = Attention ( Q W i Q , K W i K , V W i V )
MultiHead ( Q , K , V ) = Concat ( head 1 , . . . , head h ) W O \text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W^O
MultiHead ( Q , K , V ) = Concat ( head 1 , . . . , head h ) W O
为什么要多头？数学直觉是什么？
打破对称性，提取多尺度特征 ：在视觉中，我们知道不同的卷积核可以提取边缘、纹理等不同特征。同理，多头注意力允许模型在不同的表示子空间里，关注不同的上下文关系。例如，第一个头可能专注于学习语法上的主谓关系，第二个头可能专注于代词指代，第三个头可能专注于修饰关系。类似集成学习的效果 ：将高维特征拆分成多个低维特征并行计算，不仅降低了计算复杂度（相比直接计算一个超高维的注意力），而且起到了类似模型集成的效果，增强了模型的鲁棒性和泛化能力。
纸上得来终觉浅，绝知此事要躬行。理论的严密最终要落实到代码的优雅上。以下是一个去除了所有冗余逻辑、直击数学本质的 PyTorch 原生多头注意力实现：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 import torchimport torch.nn as nnimport torch.nn.functional as Fimport mathclass SelfAttention (nn.Module): def __init__ (self, embed_dim, num_heads ): super ().__init__() assert embed_dim % num_heads == 0 , "嵌入维度必须是头数的整数倍" self .embed_dim = embed_dim self .num_heads = num_heads self .head_dim = embed_dim // num_heads self .W_q = nn.Linear(embed_dim, embed_dim, bias=False ) self .W_k = nn.Linear(embed_dim, embed_dim, bias=False ) self .W_v = nn.Linear(embed_dim, embed_dim, bias=False ) self .W_o = nn.Linear(embed_dim, embed_dim, bias=False ) def forward (self, x, mask=None ): batch_size, seq_len, _ = x.size() Q = self .W_q(x).view(batch_size, seq_len, self .num_heads, self .head_dim).transpose(1 , 2 ) K = self .W_k(x).view(batch_size, seq_len, self .num_heads, self .head_dim).transpose(1 , 2 ) V = self .W_v(x).view(batch_size, seq_len, self .num_heads, self .head_dim).transpose(1 , 2 ) scores = torch.matmul(Q, K.transpose(-2 , -1 )) scores = scores / math.sqrt(self .head_dim) if mask is not None : scores = scores.masked_fill(mask == 0 , -1e9 ) attn_weights = F.softmax(scores, dim=-1 ) context = torch.matmul(attn_weights, V) context = context.transpose(1 , 2 ).contiguous().view(batch_size, seq_len, self .embed_dim) output = self .W_o(context) return output, attn_weights if __name__ == "__main__" : embed_dim = 128 num_heads = 8 seq_len = 32 batch_size = 4 x = torch.randn(batch_size, seq_len, embed_dim) model = SelfAttention(embed_dim, num_heads) output, weights = model(x) print (f"输入形状: {x.shape} " ) print (f"输出形状: {output.shape} " ) print (f"注意力权重形状 (Batch, Heads, Seq_Len, Seq_Len): {weights.shape} " ) print (f"第一组样本、第一个头的权重第一行之和: {weights[0 , 0 , 0 , :].sum ().item():.4 f} " )
仔细阅读这段代码，你会发现它完美对应了我们之前推导的数学过程：view 和 transpose 实现了特征空间的拆分，matmul 实现了内积，math.sqrt 避免了梯度消失，最后再次使用 matmul 实现了特征的加权聚合。
回顾全文，Transformer 的注意力机制并非凭空出现的魔法，而是由严密的数学逻辑堆砌而成的基石：
线性代数视角 ：它通过矩阵乘法实现了高维特征向量的动态正交投影和凸组合平滑。概率统计视角 ：它利用 Softmax 将内积相似度转换为了信息分配的期望值，并完美解决了高维引发的方差爆炸问题。信息论视角 ：它通过缩放点积，最大化了特征映射过程中的互信息，避免了信息在深层网络中因梯度消失而衰减。
Transformer 的伟大之处在于，它放弃了人类强加的归纳偏置（如 CNN 的局部平移不变性、RNN 的时序先后性），而是完全依赖**“万物互联”的全局视野和梯度下降的强大力量，从零开始在数据中学习到了特征之间的拓扑关系**。
理解了 Q K T d k V \frac{QK^T}{\sqrt{d_k}}V d k Q K T V