1. 课程背景与核心价值定位如果你正在学习自然语言处理尤其是从经典的循环神经网络RNN模型开始那么吴恩达老师在Coursera《序列模型》课程的第二周绝对是一个承上启下的关键节点。第一周我们搭建了RNN、GRU、LSTM的基础框架学会了如何处理序列数据但你可能已经隐约感觉到直接用one-hot向量来表示单词就像用身份证号码来代表一个人——虽然唯一但毫无关联信息。模型需要从海量数据中费力地学习“男人”和“女人”、“国王”和“王后”之间的关系效率低下且难以泛化。第二周课程“自然语言处理和词嵌入”要解决的正是这个根本性问题。它不再将单词视为孤立的符号而是引入“词嵌入”这一核心思想让每个单词映射到一个稠密的、低维的实数向量空间中。在这个空间里语义相近的单词如“橙子”和“苹果”在几何上会靠得很近甚至能通过向量运算捕捉到“国王 - 男人 女人 ≈ 王后”这样神奇的语言规律。这不仅仅是换了一种表示方法而是为模型预先注入了关于语言世界的“常识”极大地提升了学习效率和模型性能。这门课的价值在于它系统性地拆解了词嵌入从理论到实践的完整链条。Andrew Ng的讲解一如既往地清晰从为什么需要词嵌入到如何通过Word2Vec、GloVe等经典算法学习得到再到如何将预训练的词向量应用到你的NLP模型中甚至是如何自己从头训练一个词嵌入模型。对于初学者这是理解现代NLP基石的必要一课对于已有经验者这里面对迁移学习、词向量偏置等问题的探讨依然能带来深刻的启发。接下来我将结合课程精华与个人实践中的体悟为你详细拆解这一周的核心内容。2. 从One-Hot到词嵌入为何是NLP的“范式转移”在深入算法细节之前我们必须彻底理解词嵌入带来的根本性改变。这有助于你在后续面对各种词向量模型时能清晰地判断它们的优劣与适用场景。2.1 One-Hot表示的局限性语义的“荒漠”假设我们的词汇表有10000个单词。One-Hot编码会为每个单词分配一个长度为10000的向量只有对应单词的位置是1其余全是0。例如“猫”可能是[0,0,...,1,...,0]“狗”是[0,1,...,0,...,0]。这种表示法存在几个致命缺陷维度灾难与稀疏性向量维度等于词汇表大小动辄数万维但每个向量都极其稀疏只有一个1计算和存储效率低下。语义隔离任意两个不同的one-hot向量之间的点积内积永远是0余弦相似度也是0。这意味着从数学上看“猫”和“狗”的相似度与“猫”和“飞机”的相似度没有任何区别。模型无法从表示本身获得任何语义关联的线索。泛化能力差如果模型在训练集里学到了“我喜欢猫”那么它无法自动推断出“我喜欢狗”也是合理的因为“猫”和“狗”的输入表示毫无关联。模型必须为每个单词单独学习其与上下文的关联模式这需要海量的标注数据。2.2 词嵌入语义的“地图”词嵌入将每个单词映射到一个相对低维如50、100、300维的稠密向量空间。这个空间就像一个语义地图语义相似性表现为几何邻近语义或语法功能相似的词其词向量在空间中的距离如欧氏距离或余弦相似度会很近。例如vec(“聪明”)和vec(“睿智”)会很接近。语义关系表现为向量运算这是词嵌入最迷人的特性。经典的例子是vec(“国王”) - vec(“男人”) vec(“女人”) ≈ vec(“王后”)。类似地vec(“巴黎”) - vec(“法国”) vec(“德国”) ≈ vec(“柏林”)。这意味着词向量空间捕捉到了“性别”、“国家-首都”等抽象关系方向。为什么这种表示更有效从模型学习的角度看词嵌入层通常是一个可学习的查找表成为了网络的第一层。当模型看到“今天天气很好”和“今天天气不错”时尽管“好”和“不错”的one-hot向量完全不同但它们的词向量是相似的。因此模型从这一层接收到的输入信号本身就带有语义相似性它只需要学习在这种相似性基础上的微调而不是从零开始构建所有关联。这大大降低了学习难度提高了数据利用效率也是迁移学习在NLP中的基础——我们可以使用在超大规模语料上训练好的通用词向量如GloVe作为我们特定任务模型的起点。个人心得刚开始接触时容易把词嵌入当作一个“黑盒”工具直接调用。但理解其作为“语义特征提取器”的本质至关重要。当你面临一个特定领域如医疗、金融的任务时通用词向量如GloVe中“苹果”更接近水果而在财经新闻中“苹果”的词向量应该更接近“公司”、“股价”。这时你就需要考虑是微调预训练词向量还是基于领域语料从头训练。3. 经典词嵌入算法原理深度剖析吴恩达的课程重点介绍了Word2Vec和GloVe它们是理解词嵌入发展的两个关键里程碑。3.1 Word2Vec基于局部上下文的预测模型Word2Vec的核心思想非常直观“一个单词由其周围的单词定义”。它通过一个简单的神经网络来学习词向量主要包含两种模型架构1. Skip-gram模型目标是给定中心词如“苹果”预测其窗口大小内的上下文词如“吃”、“红色”、“水果”。网络结构输入是中心词的one-hot向量经过一个权重矩阵W这就是我们要学习的词向量查找表得到隐藏层即该中心词的词向量再经过另一个权重矩阵W输出层最后通过softmax得到词汇表中每个词作为上下文词的概率。学习过程通过最大化实际上下文词的对数概率来训练。实际上由于词汇表巨大计算完整softmax代价高昂因此普遍采用负采样或层次softmax进行优化。直观理解Skip-gram让语义相近的词因为它们会有相似的上下文产生相似的输出概率分布从而迫使它们的词向量即输入到隐藏层的映射变得相似。2. Continuous Bag-of-Words模型与Skip-gram相反CBOW给定上下文词预测中心词。网络结构输入是所有上下文词的one-hot向量分别经过查找表得到各自的词向量然后对这些向量取平均或求和得到一个综合向量再通过输出层预测中心词。特点CBOW训练更快对高频词效果更好而Skip-gram在生僻词表征和大型语料上通常表现更优因为它用单个中心词对多个上下文进行预测相当于每个训练样本提供了更多信息。关键技巧负采样这是Word2Vec高效训练的核心。对于每个正样本中心词上下文词我们并不计算整个词汇表的概率而是采样几个如5个“负样本词”即随机选择的、不太可能出现在该上下文中的词。目标函数变为最大化正样本词的概率同时最小化负样本词的概率。这从复杂的多分类问题简化成了若干个二分类问题计算量骤减。3.2 GloVe基于全局统计的共现矩阵模型如果说Word2Vec是“微观”地看局部上下文那么GloVe就是“宏观”地利用整个语料的全局统计信息。它的出发点是词语之间共现的概率比值更能区分语义关系。核心思想 例如我们想区分“冰”和“蒸汽”。考察它们与“固体”、“气体”、“水”、“时尚”等词的共现概率。对于“冰”它和“固体”共现的概率远高于和“气体”共现对于“蒸汽”则相反。而“冰”和“蒸汽”与“水”共现的概率都高与“时尚”共现的概率都低。GloVe认为共现概率的比值如 P(固体|冰)/P(固体|蒸汽) 会很大比共现概率本身包含更丰富的信息。模型构建构建共现矩阵XX_ij表示单词j出现在单词i上下文中的次数或加权次数。设计损失函数GloVe的目标是学习词向量w_i和上下文词向量\tilde{w}_j使得它们的内积尽可能接近共现次数的对数并加上一个加权函数f(X_ij)来减少高频词的影响。J \sum_{i,j1}^{V} f(X_{ij}) (w_i^T \tilde{w}_j b_i \tilde{b}_j - \log X_{ij})^2其中f(x)是一个加权函数当x过大时给予抑制避免高频词主导训练。最终词向量训练完成后通常使用w_i \tilde{w}_i作为单词i的最终词向量。GloVe vs. Word2Vec数据利用Word2Vec是一个局部窗口的预测模型可以流式处理数据GloVe需要先统计全局共现矩阵对内存要求更高但一次性利用了全部语料信息。训练效率对于大型语料GloVe构建矩阵和训练可能更快Word2Vec特别是带负采样的Skip-gram则更节省内存。效果在多数下游任务上两者性能相近GloVe在某些语义类比任务上可能略有优势且因其预训练好的向量如GloVe.6B.300d开箱即用、易于加载而非常流行。实操建议对于大多数入门和中级项目我建议直接使用预训练的GloVe词向量。它稳定、易用且经过了大规模语料的验证。下载对应维度如300维的向量文件用几行代码加载到一个字典中就能为你的模型注入强大的先验知识。只有在你的领域非常特殊如古生物文献、芯片设计文档通用语料无法覆盖时才考虑用你的领域语料训练Word2Vec模型。4. 词嵌入的实践应用从加载到微调理解了原理下一步就是如何将它们用起来。这部分是课程从理论走向实践的关键。4.1 使用预训练词向量这是最常见和高效的起点。以GloVe为例下载与加载import numpy as np def load_glove_embeddings(glove_path, embedding_dim): embeddings_index {} with open(glove_path, r, encodingutf-8) as f: for line in f: values line.split() word values[0] coefs np.asarray(values[1:], dtypefloat32) embeddings_index[word] coefs return embeddings_index # 假设使用 glove.6B.300d.txt embedding_dim 300 glove_path path/to/glove.6B.300d.txt embeddings_index load_glove_embeddings(glove_path, embedding_dim) print(fLoaded {len(embeddings_index)} word vectors.)构建嵌入矩阵 你需要根据自己任务的词汇表创建一个嵌入矩阵用于初始化模型中的嵌入层。from keras.layers import Embedding # 假设你有一个词汇表 word_index 从1开始索引 vocab_size len(word_index) 1 # 1 for padding index 0 embedding_matrix np.zeros((vocab_size, embedding_dim)) for word, i in word_index.items(): embedding_vector embeddings_index.get(word) if embedding_vector is not None: # 找到的词用GloVe向量填充 embedding_matrix[i] embedding_vector else: # 未登录词随机初始化后续可被训练 embedding_matrix[i] np.random.normal(scale0.6, size(embedding_dim,))在Keras/TensorFlow/PyTorch中使用# Keras 示例 embedding_layer Embedding( input_dimvocab_size, output_dimembedding_dim, weights[embedding_matrix], # 关键传入预训练矩阵 input_lengthmax_sequence_length, trainableFalse # 冻结嵌入层不更新 # trainableTrue # 微调允许在训练中更新 )4.2 微调策略冻结还是训练这是实际项目中需要做出的重要决策。冻结设置trainableFalse。适用于任务数据量较小或者任务与预训练语料领域相近的情况。优点是防止在小数据上过拟合训练更快保留了预训练获得的通用语义知识。微调设置trainableTrue。适用于任务数据量足够且领域特异性较强如医学、法律。允许模型根据特定任务调整词向量使“苹果”的向量更偏向“公司”而非“水果”。注意微调通常需要更小的学习率以免过快破坏预训练好的语义信息。个人经验我通常会采用一个分阶段策略。先冻结嵌入层训练几个epoch让模型的其他部分如LSTM、全连接层先初步适应任务。然后解冻嵌入层并使用一个比主体网络更小的学习率例如十分之一进行联合微调。这样既能利用预训练知识又能让词向量适应特定领域。4.3 处理未知词与子词信息预训练词表无法覆盖所有词汇特别是专业术语、新词或拼写错误的词。常见的策略有随机初始化如上例所示这是最简单的方法。使用字符级或子词级表示这是更现代、更强大的方法。例如FastTextWord2Vec的扩展为每个单词学习其n-gram字符向量的和因此即使单词不在词表中也能通过其字符组合得到一个合理的向量。如今像BERT这类Transformer模型使用的WordPiece或BPE子词分词从根本上解决了未登录词问题。回退到相似词可以尝试用编辑距离找到词表中的最相似词或用其词干、lemma的形式去查找。5. 词嵌入的局限性、偏见与可解释性吴恩达的课程也简要提到了词嵌入并非完美。作为实践者我们必须清醒地认识到它的局限。5.1 语义的多义性与静态局限一个词可能有多个意思如“苹果”。标准的词嵌入Word2Vec, GloVe会为这个词学习一个单一的静态向量这是所有含义的“平均”。在“我吃了一个苹果”和“苹果发布了新手机”两个句子中使用的是同一个向量这显然不够精确。这是静态词嵌入的根本局限。解决方案上下文词嵌入。这就是ELMo、BERT等预训练语言模型带来的革命。它们为每个单词根据其所在的具体句子生成一个动态的向量表示。句子中的“苹果”会根据上下文“吃”或“发布”得到不同的向量。对于现代NLP除非是极其简单的任务或资源极度受限否则都应优先考虑基于Transformer的上下文嵌入模型。5.2 社会偏见与公平性问题词嵌入是从大规模人类文本中学习的因此也会继承文本中的社会偏见和刻板印象。经典的研究表明vec(“程序员”) - vec(“男人”) vec(“女人”)得到的结果可能更接近vec(“家庭主妇”)而非vec(“女程序员”)。职业词向量与性别词向量之间存在不应有的关联。为什么这是个问题如果你用带有此类偏见的词向量来训练一个简历筛选系统它可能会无意识地歧视女性应聘者。应对策略意识与审计在关键应用中使用词向量前进行偏见检测。去偏算法研究领域提出了一些后处理方法来减少词向量中的偏见例如通过投影移除性别子空间。使用更均衡的语料在可能的情况下使用经过筛选的、更公平的语料进行训练。升级到更先进的模型一些更新的模型架构和训练目标在设计时更多地考虑了公平性。5.3 词向量的可解释性词向量空间是几何的但它的维度代表什么我们常说第127维可能代表“性别”第538维可能代表“皇室”但这是一种过度简化。词向量空间是高度纠缠和非线性的单个维度很少对应明确的人类可理解的概念。我们通过向量运算观察到的规律是多个维度协同作用的结果。因此虽然我们可以利用词向量做类比推理但直接解释每个维度的含义是困难的。6. 在具体NLP任务中的集成与优化将词嵌入集成到你的NLP模型如文本分类、情感分析、命名实体识别中有一些实用的技巧和注意事项。6.1 与RNN/LSTM/GRU的结合这是课程中主要介绍的模式输入文本 - 词嵌入层 - RNN层 - 全连接层 - 输出。实践细节确保你的文本序列经过正确的分词Tokenization并且每个词都被映射到词汇表中正确的索引。Embedding层的input_length参数需要与你的填充后序列长度一致。掩码处理由于序列通常被填充到统一长度需要使用掩码Masking来告诉RNN忽略那些填充位置。在Keras中Embedding层可以通过mask_zeroTrue参数自动生成掩码前提是使用0作为填充符。6.2 用于文本分类的简单有效技巧词向量平均对于简单的分类任务如情感分析一个惊人有效的基线模型是将句子中所有词的词向量取平均或加权平均然后直接输入到一个全连接层进行分类。这种方法完全忽略了词序但因为它充分利用了预训练词嵌入的语义信息往往能获得不错的初步结果可以作为你复杂模型的基准。# 伪代码示例 sentence [I, love, this, movie] word_vectors [glove[word] for word in sentence if word in glove] sentence_vector np.mean(word_vectors, axis0) # 将 sentence_vector 送入分类器6.3 超参数选择维度、来源与训练方式维度通常50, 100, 200, 300维。更高的维度能容纳更多信息但也需要更多数据来可靠地估计且可能增加过拟合风险。300维是一个常用且可靠的起点。预训练来源GloVeCommon Crawl或Wikipedia版本、FastText支持多种语言且能处理未登录词是最常用的。根据你的任务语言和领域选择。微调学习率如果选择微调嵌入层的学习率应设置得比模型其他部分小例如使用Adam优化器时嵌入层的学习率可以是其他层的0.1倍。6.4 一个完整的文本分类项目流程示例假设我们用Keras做一个电影评论情感分类二分类数据预处理分词、建立词汇表、序列填充。加载预训练词向量构建embedding_matrix。定义模型from keras.models import Sequential from keras.layers import Embedding, LSTM, Dense, Dropout, Bidirectional model Sequential() model.add(Embedding(vocab_size, 300, weights[embedding_matrix], input_lengthmaxlen, trainableFalse)) model.add(Bidirectional(LSTM(64, return_sequencesTrue))) model.add(Dropout(0.5)) model.add(Bidirectional(LSTM(32))) model.add(Dropout(0.5)) model.add(Dense(1, activationsigmoid))编译与训练使用二元交叉熵损失Adam优化器。评估与迭代在验证集上评估性能。如果效果不佳可以考虑解冻嵌入层进行微调、调整RNN层数和单元数、尝试不同的Dropout率、增加数据量等。吴恩达《序列模型》第二周的课程为我们打开了从“符号处理”到“语义理解”的大门。词嵌入不仅是技术的升级更是思维的转变。它让我们意识到让模型理解语言首先要给模型一种能理解语言的数据表示。尽管静态词嵌入如今已被BERT等动态模型部分超越但它所奠定的思想——分布式表示、从数据中学习语义——仍然是深度学习的核心。掌握它是理解一切现代NLP模型的基础。在实际操作中从加载一份GloVe向量开始观察它如何提升你的基线模型性能你会对这份“预训练的智慧”有最直接的感受。 
长河君 · 2026/8/22 10:43:48 · 阅读 1.2k 从One-Hot到词嵌入：Word2Vec与GloVe原理详解及NLP实践指南
1. 课程背景与核心价值定位如果你正在学习自然语言处理尤其是从经典的循环神经网络RNN模型开始那么吴恩达老师在Coursera《序列模型》课程的第二周绝对是一个承上启下的关键节点。第一周我们搭建了RNN、GRU、LSTM的基础框架学会了如何处理序列数据但你可能已经隐约感觉到直接用one-hot向量来表示单词就像用身份证号码来代表一个人——虽然唯一但毫无关联信息。模型需要从海量数据中费力地学习“男人”和“女人”、“国王”和“王后”之间的关系效率低下且难以泛化。第二周课程“自然语言处理和词嵌入”要解决的正是这个根本性问题。它不再将单词视为孤立的符号而是引入“词嵌入”这一核心思想让每个单词映射到一个稠密的、低维的实数向量空间中。在这个空间里语义相近的单词如“橙子”和“苹果”在几何上会靠得很近甚至能通过向量运算捕捉到“国王 - 男人 女人 ≈ 王后”这样神奇的语言规律。这不仅仅是换了一种表示方法而是为模型预先注入了关于语言世界的“常识”极大地提升了学习效率和模型性能。这门课的价值在于它系统性地拆解了词嵌入从理论到实践的完整链条。Andrew Ng的讲解一如既往地清晰从为什么需要词嵌入到如何通过Word2Vec、GloVe等经典算法学习得到再到如何将预训练的词向量应用到你的NLP模型中甚至是如何自己从头训练一个词嵌入模型。对于初学者这是理解现代NLP基石的必要一课对于已有经验者这里面对迁移学习、词向量偏置等问题的探讨依然能带来深刻的启发。接下来我将结合课程精华与个人实践中的体悟为你详细拆解这一周的核心内容。2. 从One-Hot到词嵌入为何是NLP的“范式转移”在深入算法细节之前我们必须彻底理解词嵌入带来的根本性改变。这有助于你在后续面对各种词向量模型时能清晰地判断它们的优劣与适用场景。2.1 One-Hot表示的局限性语义的“荒漠”假设我们的词汇表有10000个单词。One-Hot编码会为每个单词分配一个长度为10000的向量只有对应单词的位置是1其余全是0。例如“猫”可能是[0,0,...,1,...,0]“狗”是[0,1,...,0,...,0]。这种表示法存在几个致命缺陷维度灾难与稀疏性向量维度等于词汇表大小动辄数万维但每个向量都极其稀疏只有一个1计算和存储效率低下。语义隔离任意两个不同的one-hot向量之间的点积内积永远是0余弦相似度也是0。这意味着从数学上看“猫”和“狗”的相似度与“猫”和“飞机”的相似度没有任何区别。模型无法从表示本身获得任何语义关联的线索。泛化能力差如果模型在训练集里学到了“我喜欢猫”那么它无法自动推断出“我喜欢狗”也是合理的因为“猫”和“狗”的输入表示毫无关联。模型必须为每个单词单独学习其与上下文的关联模式这需要海量的标注数据。2.2 词嵌入语义的“地图”词嵌入将每个单词映射到一个相对低维如50、100、300维的稠密向量空间。这个空间就像一个语义地图语义相似性表现为几何邻近语义或语法功能相似的词其词向量在空间中的距离如欧氏距离或余弦相似度会很近。例如vec(“聪明”)和vec(“睿智”)会很接近。语义关系表现为向量运算这是词嵌入最迷人的特性。经典的例子是vec(“国王”) - vec(“男人”) vec(“女人”) ≈ vec(“王后”)。类似地vec(“巴黎”) - vec(“法国”) vec(“德国”) ≈ vec(“柏林”)。这意味着词向量空间捕捉到了“性别”、“国家-首都”等抽象关系方向。为什么这种表示更有效从模型学习的角度看词嵌入层通常是一个可学习的查找表成为了网络的第一层。当模型看到“今天天气很好”和“今天天气不错”时尽管“好”和“不错”的one-hot向量完全不同但它们的词向量是相似的。因此模型从这一层接收到的输入信号本身就带有语义相似性它只需要学习在这种相似性基础上的微调而不是从零开始构建所有关联。这大大降低了学习难度提高了数据利用效率也是迁移学习在NLP中的基础——我们可以使用在超大规模语料上训练好的通用词向量如GloVe作为我们特定任务模型的起点。个人心得刚开始接触时容易把词嵌入当作一个“黑盒”工具直接调用。但理解其作为“语义特征提取器”的本质至关重要。当你面临一个特定领域如医疗、金融的任务时通用词向量如GloVe中“苹果”更接近水果而在财经新闻中“苹果”的词向量应该更接近“公司”、“股价”。这时你就需要考虑是微调预训练词向量还是基于领域语料从头训练。3. 经典词嵌入算法原理深度剖析吴恩达的课程重点介绍了Word2Vec和GloVe它们是理解词嵌入发展的两个关键里程碑。3.1 Word2Vec基于局部上下文的预测模型Word2Vec的核心思想非常直观“一个单词由其周围的单词定义”。它通过一个简单的神经网络来学习词向量主要包含两种模型架构1. Skip-gram模型目标是给定中心词如“苹果”预测其窗口大小内的上下文词如“吃”、“红色”、“水果”。网络结构输入是中心词的one-hot向量经过一个权重矩阵W这就是我们要学习的词向量查找表得到隐藏层即该中心词的词向量再经过另一个权重矩阵W输出层最后通过softmax得到词汇表中每个词作为上下文词的概率。学习过程通过最大化实际上下文词的对数概率来训练。实际上由于词汇表巨大计算完整softmax代价高昂因此普遍采用负采样或层次softmax进行优化。直观理解Skip-gram让语义相近的词因为它们会有相似的上下文产生相似的输出概率分布从而迫使它们的词向量即输入到隐藏层的映射变得相似。2. Continuous Bag-of-Words模型与Skip-gram相反CBOW给定上下文词预测中心词。网络结构输入是所有上下文词的one-hot向量分别经过查找表得到各自的词向量然后对这些向量取平均或求和得到一个综合向量再通过输出层预测中心词。特点CBOW训练更快对高频词效果更好而Skip-gram在生僻词表征和大型语料上通常表现更优因为它用单个中心词对多个上下文进行预测相当于每个训练样本提供了更多信息。关键技巧负采样这是Word2Vec高效训练的核心。对于每个正样本中心词上下文词我们并不计算整个词汇表的概率而是采样几个如5个“负样本词”即随机选择的、不太可能出现在该上下文中的词。目标函数变为最大化正样本词的概率同时最小化负样本词的概率。这从复杂的多分类问题简化成了若干个二分类问题计算量骤减。3.2 GloVe基于全局统计的共现矩阵模型如果说Word2Vec是“微观”地看局部上下文那么GloVe就是“宏观”地利用整个语料的全局统计信息。它的出发点是词语之间共现的概率比值更能区分语义关系。核心思想 例如我们想区分“冰”和“蒸汽”。考察它们与“固体”、“气体”、“水”、“时尚”等词的共现概率。对于“冰”它和“固体”共现的概率远高于和“气体”共现对于“蒸汽”则相反。而“冰”和“蒸汽”与“水”共现的概率都高与“时尚”共现的概率都低。GloVe认为共现概率的比值如 P(固体|冰)/P(固体|蒸汽) 会很大比共现概率本身包含更丰富的信息。模型构建构建共现矩阵XX_ij表示单词j出现在单词i上下文中的次数或加权次数。设计损失函数GloVe的目标是学习词向量w_i和上下文词向量\tilde{w}_j使得它们的内积尽可能接近共现次数的对数并加上一个加权函数f(X_ij)来减少高频词的影响。J \sum_{i,j1}^{V} f(X_{ij}) (w_i^T \tilde{w}_j b_i \tilde{b}_j - \log X_{ij})^2其中f(x)是一个加权函数当x过大时给予抑制避免高频词主导训练。最终词向量训练完成后通常使用w_i \tilde{w}_i作为单词i的最终词向量。GloVe vs. Word2Vec数据利用Word2Vec是一个局部窗口的预测模型可以流式处理数据GloVe需要先统计全局共现矩阵对内存要求更高但一次性利用了全部语料信息。训练效率对于大型语料GloVe构建矩阵和训练可能更快Word2Vec特别是带负采样的Skip-gram则更节省内存。效果在多数下游任务上两者性能相近GloVe在某些语义类比任务上可能略有优势且因其预训练好的向量如GloVe.6B.300d开箱即用、易于加载而非常流行。实操建议对于大多数入门和中级项目我建议直接使用预训练的GloVe词向量。它稳定、易用且经过了大规模语料的验证。下载对应维度如300维的向量文件用几行代码加载到一个字典中就能为你的模型注入强大的先验知识。只有在你的领域非常特殊如古生物文献、芯片设计文档通用语料无法覆盖时才考虑用你的领域语料训练Word2Vec模型。4. 词嵌入的实践应用从加载到微调理解了原理下一步就是如何将它们用起来。这部分是课程从理论走向实践的关键。4.1 使用预训练词向量这是最常见和高效的起点。以GloVe为例下载与加载import numpy as np def load_glove_embeddings(glove_path, embedding_dim): embeddings_index {} with open(glove_path, r, encodingutf-8) as f: for line in f: values line.split() word values[0] coefs np.asarray(values[1:], dtypefloat32) embeddings_index[word] coefs return embeddings_index # 假设使用 glove.6B.300d.txt embedding_dim 300 glove_path path/to/glove.6B.300d.txt embeddings_index load_glove_embeddings(glove_path, embedding_dim) print(fLoaded {len(embeddings_index)} word vectors.)构建嵌入矩阵 你需要根据自己任务的词汇表创建一个嵌入矩阵用于初始化模型中的嵌入层。from keras.layers import Embedding # 假设你有一个词汇表 word_index 从1开始索引 vocab_size len(word_index) 1 # 1 for padding index 0 embedding_matrix np.zeros((vocab_size, embedding_dim)) for word, i in word_index.items(): embedding_vector embeddings_index.get(word) if embedding_vector is not None: # 找到的词用GloVe向量填充 embedding_matrix[i] embedding_vector else: # 未登录词随机初始化后续可被训练 embedding_matrix[i] np.random.normal(scale0.6, size(embedding_dim,))在Keras/TensorFlow/PyTorch中使用# Keras 示例 embedding_layer Embedding( input_dimvocab_size, output_dimembedding_dim, weights[embedding_matrix], # 关键传入预训练矩阵 input_lengthmax_sequence_length, trainableFalse # 冻结嵌入层不更新 # trainableTrue # 微调允许在训练中更新 )4.2 微调策略冻结还是训练这是实际项目中需要做出的重要决策。冻结设置trainableFalse。适用于任务数据量较小或者任务与预训练语料领域相近的情况。优点是防止在小数据上过拟合训练更快保留了预训练获得的通用语义知识。微调设置trainableTrue。适用于任务数据量足够且领域特异性较强如医学、法律。允许模型根据特定任务调整词向量使“苹果”的向量更偏向“公司”而非“水果”。注意微调通常需要更小的学习率以免过快破坏预训练好的语义信息。个人经验我通常会采用一个分阶段策略。先冻结嵌入层训练几个epoch让模型的其他部分如LSTM、全连接层先初步适应任务。然后解冻嵌入层并使用一个比主体网络更小的学习率例如十分之一进行联合微调。这样既能利用预训练知识又能让词向量适应特定领域。4.3 处理未知词与子词信息预训练词表无法覆盖所有词汇特别是专业术语、新词或拼写错误的词。常见的策略有随机初始化如上例所示这是最简单的方法。使用字符级或子词级表示这是更现代、更强大的方法。例如FastTextWord2Vec的扩展为每个单词学习其n-gram字符向量的和因此即使单词不在词表中也能通过其字符组合得到一个合理的向量。如今像BERT这类Transformer模型使用的WordPiece或BPE子词分词从根本上解决了未登录词问题。回退到相似词可以尝试用编辑距离找到词表中的最相似词或用其词干、lemma的形式去查找。5. 词嵌入的局限性、偏见与可解释性吴恩达的课程也简要提到了词嵌入并非完美。作为实践者我们必须清醒地认识到它的局限。5.1 语义的多义性与静态局限一个词可能有多个意思如“苹果”。标准的词嵌入Word2Vec, GloVe会为这个词学习一个单一的静态向量这是所有含义的“平均”。在“我吃了一个苹果”和“苹果发布了新手机”两个句子中使用的是同一个向量这显然不够精确。这是静态词嵌入的根本局限。解决方案上下文词嵌入。这就是ELMo、BERT等预训练语言模型带来的革命。它们为每个单词根据其所在的具体句子生成一个动态的向量表示。句子中的“苹果”会根据上下文“吃”或“发布”得到不同的向量。对于现代NLP除非是极其简单的任务或资源极度受限否则都应优先考虑基于Transformer的上下文嵌入模型。5.2 社会偏见与公平性问题词嵌入是从大规模人类文本中学习的因此也会继承文本中的社会偏见和刻板印象。经典的研究表明vec(“程序员”) - vec(“男人”) vec(“女人”)得到的结果可能更接近vec(“家庭主妇”)而非vec(“女程序员”)。职业词向量与性别词向量之间存在不应有的关联。为什么这是个问题如果你用带有此类偏见的词向量来训练一个简历筛选系统它可能会无意识地歧视女性应聘者。应对策略意识与审计在关键应用中使用词向量前进行偏见检测。去偏算法研究领域提出了一些后处理方法来减少词向量中的偏见例如通过投影移除性别子空间。使用更均衡的语料在可能的情况下使用经过筛选的、更公平的语料进行训练。升级到更先进的模型一些更新的模型架构和训练目标在设计时更多地考虑了公平性。5.3 词向量的可解释性词向量空间是几何的但它的维度代表什么我们常说第127维可能代表“性别”第538维可能代表“皇室”但这是一种过度简化。词向量空间是高度纠缠和非线性的单个维度很少对应明确的人类可理解的概念。我们通过向量运算观察到的规律是多个维度协同作用的结果。因此虽然我们可以利用词向量做类比推理但直接解释每个维度的含义是困难的。6. 在具体NLP任务中的集成与优化将词嵌入集成到你的NLP模型如文本分类、情感分析、命名实体识别中有一些实用的技巧和注意事项。6.1 与RNN/LSTM/GRU的结合这是课程中主要介绍的模式输入文本 - 词嵌入层 - RNN层 - 全连接层 - 输出。实践细节确保你的文本序列经过正确的分词Tokenization并且每个词都被映射到词汇表中正确的索引。Embedding层的input_length参数需要与你的填充后序列长度一致。掩码处理由于序列通常被填充到统一长度需要使用掩码Masking来告诉RNN忽略那些填充位置。在Keras中Embedding层可以通过mask_zeroTrue参数自动生成掩码前提是使用0作为填充符。6.2 用于文本分类的简单有效技巧词向量平均对于简单的分类任务如情感分析一个惊人有效的基线模型是将句子中所有词的词向量取平均或加权平均然后直接输入到一个全连接层进行分类。这种方法完全忽略了词序但因为它充分利用了预训练词嵌入的语义信息往往能获得不错的初步结果可以作为你复杂模型的基准。# 伪代码示例 sentence [I, love, this, movie] word_vectors [glove[word] for word in sentence if word in glove] sentence_vector np.mean(word_vectors, axis0) # 将 sentence_vector 送入分类器6.3 超参数选择维度、来源与训练方式维度通常50, 100, 200, 300维。更高的维度能容纳更多信息但也需要更多数据来可靠地估计且可能增加过拟合风险。300维是一个常用且可靠的起点。预训练来源GloVeCommon Crawl或Wikipedia版本、FastText支持多种语言且能处理未登录词是最常用的。根据你的任务语言和领域选择。微调学习率如果选择微调嵌入层的学习率应设置得比模型其他部分小例如使用Adam优化器时嵌入层的学习率可以是其他层的0.1倍。6.4 一个完整的文本分类项目流程示例假设我们用Keras做一个电影评论情感分类二分类数据预处理分词、建立词汇表、序列填充。加载预训练词向量构建embedding_matrix。定义模型from keras.models import Sequential from keras.layers import Embedding, LSTM, Dense, Dropout, Bidirectional model Sequential() model.add(Embedding(vocab_size, 300, weights[embedding_matrix], input_lengthmaxlen, trainableFalse)) model.add(Bidirectional(LSTM(64, return_sequencesTrue))) model.add(Dropout(0.5)) model.add(Bidirectional(LSTM(32))) model.add(Dropout(0.5)) model.add(Dense(1, activationsigmoid))编译与训练使用二元交叉熵损失Adam优化器。评估与迭代在验证集上评估性能。如果效果不佳可以考虑解冻嵌入层进行微调、调整RNN层数和单元数、尝试不同的Dropout率、增加数据量等。吴恩达《序列模型》第二周的课程为我们打开了从“符号处理”到“语义理解”的大门。词嵌入不仅是技术的升级更是思维的转变。它让我们意识到让模型理解语言首先要给模型一种能理解语言的数据表示。尽管静态词嵌入如今已被BERT等动态模型部分超越但它所奠定的思想——分布式表示、从数据中学习语义——仍然是深度学习的核心。掌握它是理解一切现代NLP模型的基础。在实际操作中从加载一份GloVe向量开始观察它如何提升你的基线模型性能你会对这份“预训练的智慧”有最直接的感受。