自然语言处理入门练习做到第三篇我打算把文本匹配这个任务从头到尾拆一遍重点放在注意力机制上。文本匹配在真实项目里出现频率极高搜索引擎判断 query 和 doc 是否相关智能客服判断用户问题能不能命中知识库问答系统判断问题和候选段落是否对应本质上都是在做同一件事给两个文本之间的关系打分。很多入门教程讲到这里就停在“用句向量算余弦相似度”但实际工程里这远远不够。接下来的内容会用一个最小可复现的 PyTorch 代码把基于注意力机制的文本匹配模型完整跑通。我翻了一下之前自己做 FAQ 匹配的经历最早一版就是平均词向量加余弦相似度简单题能答用户换个说法就废了。后面换成基于注意力对齐的匹配模型效果提升非常明显。这篇文章不会用 BERT 这种重量级模型而是从 LSTM 加注意力入手。这样做的原因是注意力机制的核心逻辑靠大模型反而容易被遮挡小模型里每一步计算都看得清清楚楚入门阶段这样学比硬套预训练模型更有价值。1. 文本匹配到底在解决什么问题1.1 匹配不是“像不像”而是“关系是什么”很多教程会把文本匹配简化成相似度计算这其实漏掉了关键信息。拿自然语言推理来说给定前提“快递到了但家里没人”假设“快递员明天会再次派送”这两句话在平面上并不“像”但它们之间存在合理的推理关系。反过来判断“小明喜欢小红的猫”和“小红喜欢小明的猫”时词面重叠度非常高语义却完全不同。如果把文本匹配理解成“计算两个向量的距离”那它的输出空间就太窄了要么相似、要么不相似顶多加个分数。可实际任务中我们需要的是更丰富的关系判断——是否蕴含、是否矛盾、是否完全等价、是否局部相关。这类多分类判断依赖的是两个句子在细粒度层面的交互而不是整体压缩后的距离。我在工程里接触到的匹配任务大体可以归成三类语义等价类FAQ 问题匹配、句子改写识别判断两句是否表达相同含义推理类自然语言推理、蕴含判断判断前提能否推出假设检索类query 与 document、question 与 candidate passage 的相关性排序。这三类任务有一个共同的难点都要捕捉句子之间的局部对齐关系。query 里的“怎么退款”需要对应到 document 里的“申请退货流程”而不仅仅是整个句子级别的“相关”。注意力机制擅长解决的正是这种对齐问题。1.2 词级对齐比句向量更可靠拿一个经典反例看A 句子“猫追狗”B 句子“狗追猫”。词袋向量完全相同词序信息完全丢失任何基于全局池化的模型都会把它们当成同一句话。人之所以一眼看出区别是因为会把“猫”和“狗”的对齐关系搞清楚在 A 句里猫是施事在 B 句里猫变成了受事。另一个更贴近实际场景的例子是“我没有收到验证码”和“验证码一直没发过来”。词面重叠度不算低但两个句子结构不同、主语不同简单向量相加之后信息会被平均掉。注意力机制的做法是让第一句话里的“验证码”去和第二句话里的“验证码”对齐让“没有收到”去和“没发过来”对齐形成一组组局部对应再基于这些对应做整体判断。这一步在模型里的体现就是一个注意力矩阵矩阵的行是一个句子的词列是另一个句子的词每个格子表示这两个词之间的语义关联强度。1.3 为什么 LSTM 阶段的入门版本仍然值得学有人会问现在大家都用预训练模型了还有必要从 LSTM 加注意力开始写吗我的观点是入门练习阶段很有必要。BERT 这类模型把词与词之间的交互封装得非常深内部的 self-attention 结构复杂直接调库很难理解文本匹配中“对齐”到底是什么意思。用 LSTM 加简化注意力结构整个计算过程可以精确到每一个矩阵相乘出现问题时也能通过打印维度、查看训练曲线来排查。等这套逻辑跑顺了再去换成预训练编码器只是替换特征提取层的事情整体框架不用变。2. 注意力机制为什么适合文本匹配2.1 人判断两句话相关时的对照习惯想象一下判断“客厅的灯坏了”和“我需要换一个灯泡”是否相关时我们不会把两句话分别压缩成两个固定向量再比“相似度”而是会下意识地建立对应把“灯”对应到“灯泡”“坏了”对应到“换”。这种一对一的局部对照在注意力机制中体现为权重分配第一个句子里的“灯”在第二个句子里会把注意力放到“灯泡”上第一个句子里的“坏了”会把注意力放到“换”上。这比全局池化直接、高效得多——尤其是在词序、否定、指代这些敏感因素影响结果时局部对齐能保留更多决策依据。比如判断“我不喜欢吃辣”和“她对辣椒过敏”时模型需要先建立“我”和“她”的指代关系“不喜欢”和“过敏”的语义关联然后才能判断这两句话在某个语境下可能是等价的。没有对齐机制这种跨越词序和结构的匹配非常困难。2.2 注意力得分的本质是“两两之间的相关强度”从形式上看注意力机制可以这样理解用第一个句子的每个词表示与第二个句子的每个词表示做点积得到一个二维打分矩阵对矩阵的行方向做 softmax得到第一个句子每个词对第二个句子的注意力权重用这些权重对第二个句子的词向量加权求和得到“第一个句子的词所看到的对齐表示”。这个过程的本质是在两个句子之间建立软对齐。点积越大说明两个位置在语义空间里越靠近注意力权重越高softmax 之后权重归一化到 0 到 1 之间相当于给每个位置分配“关注多少”的比例。在具体实现中打分函数可以比点积复杂可以用双线性打分也可以加一层带激活函数的 MLP 打分。入门阶段点积足够而且它是一个白盒操作注意力权重可以直接拿出来画热力图检查是很实用的调试手段。2.3 padding 位置必须被遮住文本数据按 batch 训练时同一 batch 内的句子长度不一致需要用填充符补齐。如果不做处理padding 位也会参与点积和 softmax等于模型把空白位置当成一个真实的词在看。这种情况非常隐蔽loss 照样下降准确率也可能正常收敛但当句子长度差异变大时模型的判断明显变差。处理方式是在做 softmax 之前把 padding 位对应的分数替换为一个足够小的负数比如 -1e9这样 softmax 之后的权重就会趋近于零。这是一个看起来简单但很容易在代码里写错的细节后面实战环节我会专门再提。3. 从零搭建一个注意力文本匹配模型附代码3.1 数据准备与预处理我一直觉得学习这类模型最好的数据是带三分类标签的自然语言推理数据集前提升、假设、关系标签蕴含、矛盾、中性。标签含义直观、数据量大、类别分布也还算均衡。哪怕只取一小部分跑通流程就足够理解整个模型了。预处理阶段需要做的核心工作对句子做小写化、按空格切词构建词表PAD 占 idx 0UNK 占 idx 1每个句子截断或保留到 max_len比如 30使用 collate 函数在 batch 内部动态补齐并生成对应的 mask。import torch from torch.utils.data import Dataset PAD_IDX 0 UNK_IDX 1 class MatchDataset(Dataset): def __init__(self, premises, hypotheses, labels, word2idx, max_len30): self.data [] for p, h, label in zip(premises, hypotheses, labels): p_ids self._encode(p, word2idx, max_len) h_ids self._encode(h, word2idx, max_len) self.data.append((p_ids, h_ids, label)) def _encode(self, sentence, word2idx, max_len): ids [] for word in sentence.lower().split(): if len(ids) max_len: break ids.append(word2idx.get(word, UNK_IDX)) return ids def __len__(self): return len(self.data) def __getitem__(self, index): return self.data[index]collate 函数负责把一个 batch 的数据整理成定长张量。def collate_fn(batch): premises, hypotheses, labels [], [], [] for p, h, label in batch: premises.append(p) hypotheses.append(h) labels.append(label) max_p max(len(p) for p in premises) max_h max(len(h) for h in hypotheses) prem_tensor torch.zeros(len(batch), max_p, dtypetorch.long) hyp_tensor torch.zeros(len(batch), max_h, dtypetorch.long) prem_mask torch.zeros(len(batch), max_p, dtypetorch.bool) hyp_mask torch.zeros(len(batch), max_h, dtypetorch.bool) for i, (p, h) in enumerate(zip(premises, hypotheses)): prem_tensor[i, :len(p)] torch.tensor(p, dtypetorch.long) hyp_tensor[i, :len(h)] torch.tensor(h, dtypetorch.long) prem_mask[i, :len(p)] True hyp_mask[i, :len(h)] True return prem_tensor, hyp_tensor, prem_mask, hyp_mask, torch.tensor(labels, dtypetorch.long)这样每个 batch 内部自动对齐最大长度padding 部分全部用 PAD_IDX 填充且 mask 中对应位置为 False。3.2 模型代码逐段拆解模型结构是典型的四段式Embedding 编码、BiLSTM 上下文编码、注意力对齐交互、池化分类。代码看起来不复杂但每一段的输出维度都要注意。import torch import torch.nn as nn import torch.nn.functional as F class AttentionTextMatcher(nn.Module): def __init__(self, vocab_size, embed_size100, hidden_size128, num_classes3, dropout0.3): super().__init__() self.embed nn.Embedding(vocab_size, embed_size, padding_idxPAD_IDX) self.encoder nn.LSTM( embed_size, hidden_size, num_layers2, batch_firstTrue, bidirectionalTrue, dropoutdropout ) self.dropout nn.Dropout(dropout) rnn_dim hidden_size * 2 # 双向 LSTM 的输出维度是 hidden_size*2 self.fc nn.Linear(rnn_dim * 4 * 2, num_classes) def forward(self, prem, hyp, prem_mask, hyp_mask): prem_emb self.embed(prem) # (B, P, E) hyp_emb self.embed(hyp) # (B, H, E) prem_out, _ self.encoder(prem_emb) # (B, P, D) hyp_out, _ self.encoder(hyp_emb) # (B, H, D) scores torch.matmul(prem_out, hyp_out.transpose(1, 2)) # (B, P, H) prem_pad_mask (~prem_mask).unsqueeze(2) # (B, P, 1) hyp_pad_mask (~hyp_mask).unsqueeze(1) # (B, 1, H) scores scores.masked_fill(prem_pad_mask, -1e9) scores scores.masked_fill(hyp_pad_mask, -1e9) attn_prem2hyp torch.softmax(scores, dim2) # (B, P, H) attn_hyp2prem torch.softmax(scores, dim1) # (B, P, H) hyp_aligned torch.bmm(attn_prem2hyp, hyp_out) # (B, P, D) prem_aligned torch.bmm(attn_hyp2prem.transpose(1, 2), prem_out) # (B, H, D) prem_combine torch.cat([ prem_out, hyp_aligned, prem_out - hyp_aligned, prem_out * hyp_aligned ], dim-1) # (B, P, D * 4) hyp_combine torch.cat([ hyp_out, prem_aligned, hyp_out - prem_aligned, hyp_out * prem_aligned ], dim-1) # (B, H, D * 4) prem_pooled torch.max(prem_combine, dim1)[0] # (B, D * 4) hyp_pooled torch.max(hyp_combine, dim1)[0] # (B, D * 4) features torch.cat([prem_pooled, hyp_pooled], dim-1) # (B, D * 8) logits self.fc(self.dropout(features)) return logits这里有几个点值得仔细说明。第一rnn_dim hidden_size * 2来自双向 LSTM前向和后向各输出一个 hidden_size 维向量拼在一起成为 2 倍。后面torch.cat拼接了 4 个张量维度变成rnn_dim * 4。又因为 prem 和 hyp 两个池化向量还会再拼一次所以全连接输入维度是rnn_dim * 4 * 2。第二注意力矩阵的 softmax 方向。attn_prem2hyp对 dim2 做 softmax表示对 premise 的每个词在 hypothesis 所有位置上分配权重attn_hyp2prem对 dim1 做 softmax表示对 hypothesis 的每个词在 premise 所有位置上分配权重。两个方向都有必要这保证对齐是双向的不会出现只在一边做注意力导致信息不对称。第三prem_out - hyp_aligned和prem_out * hyp_aligned是匹配模型中非常常用的特征增强手段。差值突出两个句子之间的“差异”逐元素乘积突出“共同激活”的部分。组合之后分类头可以同时看到原表示、对方对齐表示、差异和乘积四份信息表达能力比只用拼接强很多。3.3 训练循环与评估训练部分和普通分类模型没有本质区别。我直接给出关键片段import torch.optim as optim model AttentionTextMatcher(vocab_sizelen(word2idx), num_classes3) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() for epoch in range(epochs): model.train() total_loss 0 for prem, hyp, prem_mask, hyp_mask, label in train_loader: optimizer.zero_grad() logits model(prem, hyp, prem_mask, hyp_mask) loss criterion(logits, label) loss.backward() optimizer.step() total_loss loss.item()评估指标上如果数据类别大体均衡看准确率就够了如果类别有偏斜建议再加上加权 F1 或者直接看混淆矩阵。自然语言推理数据集常见的是三类均衡用准确率没问题。但我还是会在实验里顺手打印混淆矩阵——它能直观告诉你模型是把“中性”误判成了“蕴含”还是把“矛盾”当成了“中性”定位问题比一个孤零零的数字有用得多。4. 实操过程里容易踩的三个坑4.1 注意力 mask 写反导致模型偷看 padding我在跑第一版模型时训练倒是很顺利但验证集在句子长度变长后明显不稳定。后来打印注意力热度图才发现padding 位置竟然还有不少注意力权重。原因出在 mask 实现的细节上我当时生成的 mask 是“有效位为 True”却在 masked_fill 里直接把 True 的位置填成了 -1e9等于把有效位置全遮掉了padding 位反而参与计算。正确的做法是有效位为 True 时填充的应该是(~mask)的位置。也就是前面代码里写的(~prem_mask).unsqueeze(2)。这种低级错误在文本模型里非常常见但危害不小——padding 位引入了虚假的对齐信息模型在短句和长句上的表现会不一致。提示怀疑 mask 写错时最有效的排查方式是打印某个 sample 的 attention 矩阵看 padding 位置是否权重接近 0。不要只盯着 loss 曲线看。4.2 双向 LSTM 的输出维度算错入门阶段最常遇到的报错就是全连接输入维度不匹配。很多人会把hidden_size当成 LSTM 最终输出维度但设置bidirectionalTrue之后每个时间步的输出是前向和后向的拼接维度直接翻倍。更麻烦的是如果num_layers2中间层的输出不会直接暴露很多人就搞混了。经验做法是在模型 forward 里加一行调试代码把各阶段张量 shape 打印出来print(prem_out:, prem_out.shape) # (B, P, H*2) print(hyp_out:, hyp_out.shape) # (B, H, H*2)维度对不上问题一下就能定位。我自己的习惯是把rnn_dim hidden_size * 2单独定义成一个变量后面所有全连接输入尺寸都从这个变量推导避免硬编码数字。4.3 学习率过大导致 loss 不降这个坑更隐蔽。注意力模型对学习率比普通文本分类更敏感尤其是双向 LSTM 配合多层结构时梯度容易在时间步上累积。我试过 lr5e-3 的 Adam前几个 epoch loss 完全不下降甚至 logits 逐渐变大明显是梯度爆炸的前兆。把 lr 降到 1e-3 之后立刻正常。如果发现 loss 下降缓慢不要急着调整模型结构先从这三点排查学习率是否过大或过小是不是有 padding 位参与计算导致噪声过大双向 LSTM 的隐藏层维度是否过大导致小数据上过拟合。另外LSTM 的梯度问题建议配合梯度裁剪一起处理训练更稳torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)5. 在最小实现之上还能往哪扩展5.1 把编码器从 LSTM 换成预训练模型这个最小框架最值得肯定的地方是模型结构不依赖特定编码器。把self.encoder从 LSTM 换成 BERT 的 encoder 层甚至直接抽掉 LSTM用预训练模型输出的 token embedding 作为prem_out和hyp_out后面的注意力交互模块可以原封不动继续用。这样做的好处是在对齐交互这部分仍然保持透明而特征表示的能力大幅提升。换成预训练编码器时要注意一点预训练模型通常有自己的特殊 token如分类标记输入格式和普通序列不同。如果不想深入调整可以保留底层 embedding 输出不接池化层输出而是直接把词向量序列喂给注意力交互模块。5.2 加入句子级别的自注意力很多任务里整句话的综合信息同样重要。可以在双向 LSTM 之后再加一层 self-attention 对每个词重新加权让编码器输出的序列带上“句子内重点”信息。这一步和两句话之间的交互注意力互相补充一个负责句子内部的焦点选择一个负责句子之间的对齐映射。加自注意力层时注意不要和后面的 softmax 注意力混淆后者是 cross-attention前者是 self-attention虽然是同一套计算思想但作用对象完全不同。5.3 从分类任务扩展到检索排序如果目标是做 FAQ 检索或问答排序标签不是“蕴含/矛盾/中性”而是“候选是否匹配”。这时可以把最后的全连接分类头换成打分结构输入一个 query 和多个 candidate模型逐个输出匹配分数然后用排序损失训练。一种简单的做法是拿同一个 query 配一个正样本和一个负样本计算三元组损失让正样本分数比负样本分数高出一个 margin。这个扩展几乎不改变注意力交互部分的代码只改输出头和损失函数。所以说把匹配模型理解成一个“关系判断器”比理解成“相似度计算器”更有价值扩展面完全不同。6. 最后说几点个人实操体会这个最小实现我跑了很多轮最终留下的项目结构非常简单一个数据预处理文件、一个模型文件、一个训练脚本。每次换数据集或换任务只需要调整数据加载和输出层注意力交互的核心代码很少改动。如果让我给入门阶段的读者一个建议动手写之前一定要先用小数据把模型跑通比如先拿几千条样本训练 10 个 epoch确认 loss 在下降、注意力矩阵能看出合理对齐再扩大数据量。直接上全量数据会让调试变得非常困难因为你不知道问题是出在数据、代码还是模型容量上。关于注意力可解释性我还有一个常用的验证方法训练完成后随机挑几对样本把 attention 矩阵画成热力图看模型是否把“快递”对应到了“包裹”、“退款”对应到了“退货流程”。虽然注意力权重不一定完全代表人类理解的语义关联但高权重的对齐位置如果明显反常识多半是模型训练出了问题值得回去检查数据或 mask。跑通这个项目之后再回头看 BERT 里的 self-attention、跨注意力层会觉得那些机制不再是黑盒——它们只是在不同的粒度上做同样的事情让文本自己决定该和谁对齐。这种“基本功扎实了再往上走”的感觉是直接调库拿不到的经验。 
长河君 · 2026/10/13 12:14:43 · 阅读 1.2k 自然语言处理：基于注意力机制的文本匹配模型详解与PyTorch实现
自然语言处理入门练习做到第三篇我打算把文本匹配这个任务从头到尾拆一遍重点放在注意力机制上。文本匹配在真实项目里出现频率极高搜索引擎判断 query 和 doc 是否相关智能客服判断用户问题能不能命中知识库问答系统判断问题和候选段落是否对应本质上都是在做同一件事给两个文本之间的关系打分。很多入门教程讲到这里就停在“用句向量算余弦相似度”但实际工程里这远远不够。接下来的内容会用一个最小可复现的 PyTorch 代码把基于注意力机制的文本匹配模型完整跑通。我翻了一下之前自己做 FAQ 匹配的经历最早一版就是平均词向量加余弦相似度简单题能答用户换个说法就废了。后面换成基于注意力对齐的匹配模型效果提升非常明显。这篇文章不会用 BERT 这种重量级模型而是从 LSTM 加注意力入手。这样做的原因是注意力机制的核心逻辑靠大模型反而容易被遮挡小模型里每一步计算都看得清清楚楚入门阶段这样学比硬套预训练模型更有价值。1. 文本匹配到底在解决什么问题1.1 匹配不是“像不像”而是“关系是什么”很多教程会把文本匹配简化成相似度计算这其实漏掉了关键信息。拿自然语言推理来说给定前提“快递到了但家里没人”假设“快递员明天会再次派送”这两句话在平面上并不“像”但它们之间存在合理的推理关系。反过来判断“小明喜欢小红的猫”和“小红喜欢小明的猫”时词面重叠度非常高语义却完全不同。如果把文本匹配理解成“计算两个向量的距离”那它的输出空间就太窄了要么相似、要么不相似顶多加个分数。可实际任务中我们需要的是更丰富的关系判断——是否蕴含、是否矛盾、是否完全等价、是否局部相关。这类多分类判断依赖的是两个句子在细粒度层面的交互而不是整体压缩后的距离。我在工程里接触到的匹配任务大体可以归成三类语义等价类FAQ 问题匹配、句子改写识别判断两句是否表达相同含义推理类自然语言推理、蕴含判断判断前提能否推出假设检索类query 与 document、question 与 candidate passage 的相关性排序。这三类任务有一个共同的难点都要捕捉句子之间的局部对齐关系。query 里的“怎么退款”需要对应到 document 里的“申请退货流程”而不仅仅是整个句子级别的“相关”。注意力机制擅长解决的正是这种对齐问题。1.2 词级对齐比句向量更可靠拿一个经典反例看A 句子“猫追狗”B 句子“狗追猫”。词袋向量完全相同词序信息完全丢失任何基于全局池化的模型都会把它们当成同一句话。人之所以一眼看出区别是因为会把“猫”和“狗”的对齐关系搞清楚在 A 句里猫是施事在 B 句里猫变成了受事。另一个更贴近实际场景的例子是“我没有收到验证码”和“验证码一直没发过来”。词面重叠度不算低但两个句子结构不同、主语不同简单向量相加之后信息会被平均掉。注意力机制的做法是让第一句话里的“验证码”去和第二句话里的“验证码”对齐让“没有收到”去和“没发过来”对齐形成一组组局部对应再基于这些对应做整体判断。这一步在模型里的体现就是一个注意力矩阵矩阵的行是一个句子的词列是另一个句子的词每个格子表示这两个词之间的语义关联强度。1.3 为什么 LSTM 阶段的入门版本仍然值得学有人会问现在大家都用预训练模型了还有必要从 LSTM 加注意力开始写吗我的观点是入门练习阶段很有必要。BERT 这类模型把词与词之间的交互封装得非常深内部的 self-attention 结构复杂直接调库很难理解文本匹配中“对齐”到底是什么意思。用 LSTM 加简化注意力结构整个计算过程可以精确到每一个矩阵相乘出现问题时也能通过打印维度、查看训练曲线来排查。等这套逻辑跑顺了再去换成预训练编码器只是替换特征提取层的事情整体框架不用变。2. 注意力机制为什么适合文本匹配2.1 人判断两句话相关时的对照习惯想象一下判断“客厅的灯坏了”和“我需要换一个灯泡”是否相关时我们不会把两句话分别压缩成两个固定向量再比“相似度”而是会下意识地建立对应把“灯”对应到“灯泡”“坏了”对应到“换”。这种一对一的局部对照在注意力机制中体现为权重分配第一个句子里的“灯”在第二个句子里会把注意力放到“灯泡”上第一个句子里的“坏了”会把注意力放到“换”上。这比全局池化直接、高效得多——尤其是在词序、否定、指代这些敏感因素影响结果时局部对齐能保留更多决策依据。比如判断“我不喜欢吃辣”和“她对辣椒过敏”时模型需要先建立“我”和“她”的指代关系“不喜欢”和“过敏”的语义关联然后才能判断这两句话在某个语境下可能是等价的。没有对齐机制这种跨越词序和结构的匹配非常困难。2.2 注意力得分的本质是“两两之间的相关强度”从形式上看注意力机制可以这样理解用第一个句子的每个词表示与第二个句子的每个词表示做点积得到一个二维打分矩阵对矩阵的行方向做 softmax得到第一个句子每个词对第二个句子的注意力权重用这些权重对第二个句子的词向量加权求和得到“第一个句子的词所看到的对齐表示”。这个过程的本质是在两个句子之间建立软对齐。点积越大说明两个位置在语义空间里越靠近注意力权重越高softmax 之后权重归一化到 0 到 1 之间相当于给每个位置分配“关注多少”的比例。在具体实现中打分函数可以比点积复杂可以用双线性打分也可以加一层带激活函数的 MLP 打分。入门阶段点积足够而且它是一个白盒操作注意力权重可以直接拿出来画热力图检查是很实用的调试手段。2.3 padding 位置必须被遮住文本数据按 batch 训练时同一 batch 内的句子长度不一致需要用填充符补齐。如果不做处理padding 位也会参与点积和 softmax等于模型把空白位置当成一个真实的词在看。这种情况非常隐蔽loss 照样下降准确率也可能正常收敛但当句子长度差异变大时模型的判断明显变差。处理方式是在做 softmax 之前把 padding 位对应的分数替换为一个足够小的负数比如 -1e9这样 softmax 之后的权重就会趋近于零。这是一个看起来简单但很容易在代码里写错的细节后面实战环节我会专门再提。3. 从零搭建一个注意力文本匹配模型附代码3.1 数据准备与预处理我一直觉得学习这类模型最好的数据是带三分类标签的自然语言推理数据集前提升、假设、关系标签蕴含、矛盾、中性。标签含义直观、数据量大、类别分布也还算均衡。哪怕只取一小部分跑通流程就足够理解整个模型了。预处理阶段需要做的核心工作对句子做小写化、按空格切词构建词表PAD 占 idx 0UNK 占 idx 1每个句子截断或保留到 max_len比如 30使用 collate 函数在 batch 内部动态补齐并生成对应的 mask。import torch from torch.utils.data import Dataset PAD_IDX 0 UNK_IDX 1 class MatchDataset(Dataset): def __init__(self, premises, hypotheses, labels, word2idx, max_len30): self.data [] for p, h, label in zip(premises, hypotheses, labels): p_ids self._encode(p, word2idx, max_len) h_ids self._encode(h, word2idx, max_len) self.data.append((p_ids, h_ids, label)) def _encode(self, sentence, word2idx, max_len): ids [] for word in sentence.lower().split(): if len(ids) max_len: break ids.append(word2idx.get(word, UNK_IDX)) return ids def __len__(self): return len(self.data) def __getitem__(self, index): return self.data[index]collate 函数负责把一个 batch 的数据整理成定长张量。def collate_fn(batch): premises, hypotheses, labels [], [], [] for p, h, label in batch: premises.append(p) hypotheses.append(h) labels.append(label) max_p max(len(p) for p in premises) max_h max(len(h) for h in hypotheses) prem_tensor torch.zeros(len(batch), max_p, dtypetorch.long) hyp_tensor torch.zeros(len(batch), max_h, dtypetorch.long) prem_mask torch.zeros(len(batch), max_p, dtypetorch.bool) hyp_mask torch.zeros(len(batch), max_h, dtypetorch.bool) for i, (p, h) in enumerate(zip(premises, hypotheses)): prem_tensor[i, :len(p)] torch.tensor(p, dtypetorch.long) hyp_tensor[i, :len(h)] torch.tensor(h, dtypetorch.long) prem_mask[i, :len(p)] True hyp_mask[i, :len(h)] True return prem_tensor, hyp_tensor, prem_mask, hyp_mask, torch.tensor(labels, dtypetorch.long)这样每个 batch 内部自动对齐最大长度padding 部分全部用 PAD_IDX 填充且 mask 中对应位置为 False。3.2 模型代码逐段拆解模型结构是典型的四段式Embedding 编码、BiLSTM 上下文编码、注意力对齐交互、池化分类。代码看起来不复杂但每一段的输出维度都要注意。import torch import torch.nn as nn import torch.nn.functional as F class AttentionTextMatcher(nn.Module): def __init__(self, vocab_size, embed_size100, hidden_size128, num_classes3, dropout0.3): super().__init__() self.embed nn.Embedding(vocab_size, embed_size, padding_idxPAD_IDX) self.encoder nn.LSTM( embed_size, hidden_size, num_layers2, batch_firstTrue, bidirectionalTrue, dropoutdropout ) self.dropout nn.Dropout(dropout) rnn_dim hidden_size * 2 # 双向 LSTM 的输出维度是 hidden_size*2 self.fc nn.Linear(rnn_dim * 4 * 2, num_classes) def forward(self, prem, hyp, prem_mask, hyp_mask): prem_emb self.embed(prem) # (B, P, E) hyp_emb self.embed(hyp) # (B, H, E) prem_out, _ self.encoder(prem_emb) # (B, P, D) hyp_out, _ self.encoder(hyp_emb) # (B, H, D) scores torch.matmul(prem_out, hyp_out.transpose(1, 2)) # (B, P, H) prem_pad_mask (~prem_mask).unsqueeze(2) # (B, P, 1) hyp_pad_mask (~hyp_mask).unsqueeze(1) # (B, 1, H) scores scores.masked_fill(prem_pad_mask, -1e9) scores scores.masked_fill(hyp_pad_mask, -1e9) attn_prem2hyp torch.softmax(scores, dim2) # (B, P, H) attn_hyp2prem torch.softmax(scores, dim1) # (B, P, H) hyp_aligned torch.bmm(attn_prem2hyp, hyp_out) # (B, P, D) prem_aligned torch.bmm(attn_hyp2prem.transpose(1, 2), prem_out) # (B, H, D) prem_combine torch.cat([ prem_out, hyp_aligned, prem_out - hyp_aligned, prem_out * hyp_aligned ], dim-1) # (B, P, D * 4) hyp_combine torch.cat([ hyp_out, prem_aligned, hyp_out - prem_aligned, hyp_out * prem_aligned ], dim-1) # (B, H, D * 4) prem_pooled torch.max(prem_combine, dim1)[0] # (B, D * 4) hyp_pooled torch.max(hyp_combine, dim1)[0] # (B, D * 4) features torch.cat([prem_pooled, hyp_pooled], dim-1) # (B, D * 8) logits self.fc(self.dropout(features)) return logits这里有几个点值得仔细说明。第一rnn_dim hidden_size * 2来自双向 LSTM前向和后向各输出一个 hidden_size 维向量拼在一起成为 2 倍。后面torch.cat拼接了 4 个张量维度变成rnn_dim * 4。又因为 prem 和 hyp 两个池化向量还会再拼一次所以全连接输入维度是rnn_dim * 4 * 2。第二注意力矩阵的 softmax 方向。attn_prem2hyp对 dim2 做 softmax表示对 premise 的每个词在 hypothesis 所有位置上分配权重attn_hyp2prem对 dim1 做 softmax表示对 hypothesis 的每个词在 premise 所有位置上分配权重。两个方向都有必要这保证对齐是双向的不会出现只在一边做注意力导致信息不对称。第三prem_out - hyp_aligned和prem_out * hyp_aligned是匹配模型中非常常用的特征增强手段。差值突出两个句子之间的“差异”逐元素乘积突出“共同激活”的部分。组合之后分类头可以同时看到原表示、对方对齐表示、差异和乘积四份信息表达能力比只用拼接强很多。3.3 训练循环与评估训练部分和普通分类模型没有本质区别。我直接给出关键片段import torch.optim as optim model AttentionTextMatcher(vocab_sizelen(word2idx), num_classes3) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() for epoch in range(epochs): model.train() total_loss 0 for prem, hyp, prem_mask, hyp_mask, label in train_loader: optimizer.zero_grad() logits model(prem, hyp, prem_mask, hyp_mask) loss criterion(logits, label) loss.backward() optimizer.step() total_loss loss.item()评估指标上如果数据类别大体均衡看准确率就够了如果类别有偏斜建议再加上加权 F1 或者直接看混淆矩阵。自然语言推理数据集常见的是三类均衡用准确率没问题。但我还是会在实验里顺手打印混淆矩阵——它能直观告诉你模型是把“中性”误判成了“蕴含”还是把“矛盾”当成了“中性”定位问题比一个孤零零的数字有用得多。4. 实操过程里容易踩的三个坑4.1 注意力 mask 写反导致模型偷看 padding我在跑第一版模型时训练倒是很顺利但验证集在句子长度变长后明显不稳定。后来打印注意力热度图才发现padding 位置竟然还有不少注意力权重。原因出在 mask 实现的细节上我当时生成的 mask 是“有效位为 True”却在 masked_fill 里直接把 True 的位置填成了 -1e9等于把有效位置全遮掉了padding 位反而参与计算。正确的做法是有效位为 True 时填充的应该是(~mask)的位置。也就是前面代码里写的(~prem_mask).unsqueeze(2)。这种低级错误在文本模型里非常常见但危害不小——padding 位引入了虚假的对齐信息模型在短句和长句上的表现会不一致。提示怀疑 mask 写错时最有效的排查方式是打印某个 sample 的 attention 矩阵看 padding 位置是否权重接近 0。不要只盯着 loss 曲线看。4.2 双向 LSTM 的输出维度算错入门阶段最常遇到的报错就是全连接输入维度不匹配。很多人会把hidden_size当成 LSTM 最终输出维度但设置bidirectionalTrue之后每个时间步的输出是前向和后向的拼接维度直接翻倍。更麻烦的是如果num_layers2中间层的输出不会直接暴露很多人就搞混了。经验做法是在模型 forward 里加一行调试代码把各阶段张量 shape 打印出来print(prem_out:, prem_out.shape) # (B, P, H*2) print(hyp_out:, hyp_out.shape) # (B, H, H*2)维度对不上问题一下就能定位。我自己的习惯是把rnn_dim hidden_size * 2单独定义成一个变量后面所有全连接输入尺寸都从这个变量推导避免硬编码数字。4.3 学习率过大导致 loss 不降这个坑更隐蔽。注意力模型对学习率比普通文本分类更敏感尤其是双向 LSTM 配合多层结构时梯度容易在时间步上累积。我试过 lr5e-3 的 Adam前几个 epoch loss 完全不下降甚至 logits 逐渐变大明显是梯度爆炸的前兆。把 lr 降到 1e-3 之后立刻正常。如果发现 loss 下降缓慢不要急着调整模型结构先从这三点排查学习率是否过大或过小是不是有 padding 位参与计算导致噪声过大双向 LSTM 的隐藏层维度是否过大导致小数据上过拟合。另外LSTM 的梯度问题建议配合梯度裁剪一起处理训练更稳torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)5. 在最小实现之上还能往哪扩展5.1 把编码器从 LSTM 换成预训练模型这个最小框架最值得肯定的地方是模型结构不依赖特定编码器。把self.encoder从 LSTM 换成 BERT 的 encoder 层甚至直接抽掉 LSTM用预训练模型输出的 token embedding 作为prem_out和hyp_out后面的注意力交互模块可以原封不动继续用。这样做的好处是在对齐交互这部分仍然保持透明而特征表示的能力大幅提升。换成预训练编码器时要注意一点预训练模型通常有自己的特殊 token如分类标记输入格式和普通序列不同。如果不想深入调整可以保留底层 embedding 输出不接池化层输出而是直接把词向量序列喂给注意力交互模块。5.2 加入句子级别的自注意力很多任务里整句话的综合信息同样重要。可以在双向 LSTM 之后再加一层 self-attention 对每个词重新加权让编码器输出的序列带上“句子内重点”信息。这一步和两句话之间的交互注意力互相补充一个负责句子内部的焦点选择一个负责句子之间的对齐映射。加自注意力层时注意不要和后面的 softmax 注意力混淆后者是 cross-attention前者是 self-attention虽然是同一套计算思想但作用对象完全不同。5.3 从分类任务扩展到检索排序如果目标是做 FAQ 检索或问答排序标签不是“蕴含/矛盾/中性”而是“候选是否匹配”。这时可以把最后的全连接分类头换成打分结构输入一个 query 和多个 candidate模型逐个输出匹配分数然后用排序损失训练。一种简单的做法是拿同一个 query 配一个正样本和一个负样本计算三元组损失让正样本分数比负样本分数高出一个 margin。这个扩展几乎不改变注意力交互部分的代码只改输出头和损失函数。所以说把匹配模型理解成一个“关系判断器”比理解成“相似度计算器”更有价值扩展面完全不同。6. 最后说几点个人实操体会这个最小实现我跑了很多轮最终留下的项目结构非常简单一个数据预处理文件、一个模型文件、一个训练脚本。每次换数据集或换任务只需要调整数据加载和输出层注意力交互的核心代码很少改动。如果让我给入门阶段的读者一个建议动手写之前一定要先用小数据把模型跑通比如先拿几千条样本训练 10 个 epoch确认 loss 在下降、注意力矩阵能看出合理对齐再扩大数据量。直接上全量数据会让调试变得非常困难因为你不知道问题是出在数据、代码还是模型容量上。关于注意力可解释性我还有一个常用的验证方法训练完成后随机挑几对样本把 attention 矩阵画成热力图看模型是否把“快递”对应到了“包裹”、“退款”对应到了“退货流程”。虽然注意力权重不一定完全代表人类理解的语义关联但高权重的对齐位置如果明显反常识多半是模型训练出了问题值得回去检查数据或 mask。跑通这个项目之后再回头看 BERT 里的 self-attention、跨注意力层会觉得那些机制不再是黑盒——它们只是在不同的粒度上做同样的事情让文本自己决定该和谁对齐。这种“基本功扎实了再往上走”的感觉是直接调库拿不到的经验。