文章目录七、Transformer架构1. 替代LSTM的原因2. Transformer架构编码器 - 解码器架构3. Transformer架构原理八、自然语言处理基础1. 语言模型基本概念2. 向量语义3. 预训练语言模型的基本原理与方法4. DeepSeek基本原理九、计算机视觉七、Transformer架构1. 替代LSTM的原因处理极长序列时效率下降虽然LSTM设计的初衷是解决长期依赖问题即让模型能够有效利用序列中较长距离的信息但在处理极长序列时它仍然可能面临性能下降的情况。复杂的门操作使得计算成本高效率差LSTM在处理序列数据时每个时间步都需要进行复杂的门控操作这导致其计算成本较高尤其是在处理大规模数据和长序列时训练和推理速度较慢。无法并行计算LSTM是顺序处理序列数据的难以在硬件上进行并行计算这限制了其在现代并行计算设备如GPU上的性能发挥。2. Transformer架构编码器 - 解码器架构Transformer由编码器和解码器两部分组成。编码器负责将输入序列编码成向量表示解码器则根据编码器的输出以及之前生成的输出序列来生成下一个输出。编码器由多个堆叠的编码器层组成。每个编码器层包含两个子层一个是多头自注意力机制另一个是前馈神经网络。在这两个子层之间还有残差连接和层归一化操作。解码器同样由多个堆叠的解码器层组成。每个解码器层除了包含与编码器类似的多头自注意力机制和前馈神经网络外还包含一个额外的多头注意力机制用于对编码器的输出进行注意力计算以获取与当前生成位置相关的信息。3. Transformer架构原理自注意力机制解决序列长期依赖关系每个位置能关注到其他位置这是Transformer的核心创新点之一。它允许模型在处理每个位置的信息时能够同时关注输入序列中的其他位置从而更好地捕捉序列中的长期依赖关系。自注意力机制通过计算输入序列中各个位置之间的相似度得分来确定每个位置对其他位置的关注程度然后根据这些得分对输入进行加权求和得到每个位置的新表示。多头自注意力机制并发与丰富表达同时(并行)关注序列的不同方面捕获更丰富的语义最后将多个头的输出拼接到一起。为了进一步提高模型的表示能力Transformer使用了多个头的自注意力机制。每个头都使用不同的参数进行计算从而能够捕捉到不同方面的信息。最后将多个头的输出拼接在一起并通过一个线性变换得到最终的输出。前馈神经网络增加表达力并提高模型泛化能力。具体表现为非线性变换增加表达力融合所有位置的特征进一步增强表达非线性模型防止模型简单导致过拟合提高模型泛化能力。在自注意力机制之后每个编码器层和解码器层都包含一个前馈神经网络。它由两个线性变换和一个非线性激活函数如ReLU组成用于对自注意力机制的输出进行进一步的特征提取和变换。位置编码感知序列位置。由于Transformer本身不具有对序列顺序的内在感知能力因此需要引入位置编码来将序列中的位置信息融入到模型中。常见的位置编码方法是使用正弦和余弦函数来生成不同位置的编码向量这些向量与输入序列的嵌入向量相加后作为模型的输入。通过这些架构和原理Transformer能够有效地处理长序列数据并且在并行计算和捕捉长期依赖关系方面具有显著优势因此在许多自然语言处理任务中取得了比LSTM更好的性能成为了当前主流的序列建模方法之一。八、自然语言处理基础1. 语言模型基本概念n-gram模型基于统计通过统计文本中连续n个单词或字符出现频率预测下一个单词或字符出现概率分为unigram只考虑单个字符概率忽略上下文、bigram考虑当前字符和前一个字符一起出现概率、trigram考虑当前字符和前两个字符出现概率等。评价指标困惑度衡量模型对测试集的预测正确性越低越好交叉熵衡量模型预测概率分布与真实数据分布差异越低模型性能越好。训练中的特殊字符OOV问题通过引入unk字符处理可替换训练集中频次少或测试集中新出现的字符起始字符引入start结束字符引入end处理出现概率。字模型与词模型词模型处理序列长度短、准确度高但字典大、需大规模语料。短句子或短语可字为单位长语句或专业术语多的场合以词为单位。2. 向量语义词向量用高维向量表示词即词向量或词嵌入将词映射到d维空间的点维度对应不同含义。语义接近的词向量相似用向量夹角余弦值衡量相似度值越小语义越接近。应用于文本相似度计算、情感分析、语义理解等领域。Word2VecWord2Vec提出了两种分类问题的建模方式即连续词袋模型continuous bag-of-words model给定上下文判断中间词和跳跃模型skip-gram model给定中间词判断上下文词出现概率。采用负采样优化训练定义正、负样本按概率采样负样本训练时关注正、负样本最大化正样本概率、最小化负样本概率。3. 预训练语言模型的基本原理与方法GPT基于Transformer架构利用大量无标注文本预训练仅需解码部分用掩码自注意力计算。参数量大引领预训练模型潮流支持零样本和少样本学习能根据输入前缀补全句子或根据少量例子给出输出。BERT双向Transformer编码器表示为非生成式任务设计。针对GPT仅依赖前缀词信息的局限通过掩码语言模型预测掩盖词和下一句预测判断句子连续性学习语言表示刷新多项NLP任务成绩推动领域发展。4. DeepSeek基本原理DeepSeek是基于深度学习和数据挖掘技术的智能搜索与分析系统其原理主要基于以下几个方面专家混合模型Mixture of Experts, MoE将大模型拆分为多个专家子模型通过门控机制动态激活一部分专家模块并能让不同专家协同处理提高计算效率与精度。多头潜在注意力机制Multi - Head Latent Attention基于Transformer结构扩展了标准的多头注意力。允许多个注意力头并行关注不同层次的特征如局部语义和全局信息并额外引入隐变量使模型能学习数据的深层次表示通过不同注意力头学习到的特征采用加权融合或自适应调整机制以强化最有价值的信息提高多模态理解和生成能力。多Token预测Multi - Token Prediction在生成任务中能够同时预测多个Token而非逐字生成。通过联合预测多个Token模型可以捕捉更完整的上下文信息减少生成误差提高文本生成的连贯性和效率。九、计算机视觉计算机视觉研究让计算机理解图像与视频高层次语义信息用摄影机和计算机代替人眼对目标进行识别、跟踪和测量。图像形成分物体间物理交互和光与物体相互作用两步计算机视觉是求解图像形成前向模型的逆。常见视觉识别任务有光学字符识别、语义分割、物体分类、物体检测等细分领域还包括光流估计、运动捕捉、三维场景重建等。图像的形成原理小孔成像中小孔相机模型基于光线沿直线传播物体光线通过针孔在成像面成倒立影像针孔到成像面距离为焦距小孔直径越小成像越清晰越大成像亮度越大。三维空间点投影到相机成像平面坐标可通过相似三角形计算。数字图像数码相机成像时光敏元件上像素点将光线转化为电信号光线通过红、绿、蓝滤色片二维滤波器阵列像素点捕获特定颜色光信号经相机处理器处理生成数字图像原始图像常以RAW格式存储也会转换为JPEG等压缩格式。线性滤波器图像像素映射成函数灰度图像可定义二维函数f(x,y)表示像素光强值彩色图像每个像素用RGB三个通道表示f(x,y)是三个值的向量。图像处理类型包括图像滤波改变图像像素值颜色改变不改变位置和图像扭曲改变像素位置不改变颜色。图像滤波器用于提取信息、增强特征、消除噪声等。滤波器分类分为线性滤波器如均值滤波、高斯滤波等对邻域像素线性运算通过窗口函数或卷积运算不同线性滤波器模版系数不同和非线性滤波器如最值滤波器、中值滤波器利用原始图像和模版逻辑关系得到结果。边缘检测图像边缘是不连续点由表面法线、颜色、深度等不连续性引起重要原因是能推断语义和形状信息且比像素紧凑。可通过图像强度分布图定位边缘强度函数一阶导数局部极值处表示有边缘图像看作二维函数其偏导数可表示光强度突变程度通过阈值和二值化确定边缘位置因图像噪声需用高斯函数去除噪声后定位边缘。物体检测R-CNN能检测物体并确定位置步骤包括输入图像、生成候选框、缩放候选框、提取特征向量、分类和微调边界。缺点是训练复杂、检测速度慢。Fast RCNN提高检测速度减少计算量引入单个金字塔池化层模型解决候选框重复计算问题将SVM分类器改为softmax分类器。步骤为输入图像、提取特征和生成候选框、池化候选区域、分类和微调边界。Faster RCNN极大提高检测速度使用区域提议网络RPN代替选择性搜索生成候选区域全卷积神经网络RPN共享特征提取提议核心是直接用CNN生成候选区域训练时任务协作共享参数。步骤为输入图像、提取特征和生成物体提议、滑动网络定位窗口并生成候选区域、ROI Pooling获得固定大小特征图、分类和回归确定物体类别和位置。RPN使Faster RCNN集成多步骤成为端到端训练但不适合小目标检测。三者区别候选区域生成上R-CNN和Fast RCNN用选择性搜索算法Faster RCNN用RPN特征提取上R-CNN对每个候选区域单独提取Fast RCNN和Faster RCNN对整个图像提取一次训练过程上R-CNN分阶段训练Fast RCNN和Faster RCNN端到端训练检测速度上R-CNN慢Fast RCNN较快Faster RCNN快。语义分割定义与概念将图像每个像素分配到特定类别标签与物体检测不同要精确划分物体边界。应用场景自动驾驶领域区分道路等元素辅助驾驶医学影像分析分割组织辅助诊断和手术规划图像编辑与内容生成用于智能抠图等。 
长河君 · 2026/11/3 1:23:32 · 阅读 1.2k 【人工智能基础2】Tramsformer架构、自然语言处理基础、计算机视觉总结
文章目录七、Transformer架构1. 替代LSTM的原因2. Transformer架构编码器 - 解码器架构3. Transformer架构原理八、自然语言处理基础1. 语言模型基本概念2. 向量语义3. 预训练语言模型的基本原理与方法4. DeepSeek基本原理九、计算机视觉七、Transformer架构1. 替代LSTM的原因处理极长序列时效率下降虽然LSTM设计的初衷是解决长期依赖问题即让模型能够有效利用序列中较长距离的信息但在处理极长序列时它仍然可能面临性能下降的情况。复杂的门操作使得计算成本高效率差LSTM在处理序列数据时每个时间步都需要进行复杂的门控操作这导致其计算成本较高尤其是在处理大规模数据和长序列时训练和推理速度较慢。无法并行计算LSTM是顺序处理序列数据的难以在硬件上进行并行计算这限制了其在现代并行计算设备如GPU上的性能发挥。2. Transformer架构编码器 - 解码器架构Transformer由编码器和解码器两部分组成。编码器负责将输入序列编码成向量表示解码器则根据编码器的输出以及之前生成的输出序列来生成下一个输出。编码器由多个堆叠的编码器层组成。每个编码器层包含两个子层一个是多头自注意力机制另一个是前馈神经网络。在这两个子层之间还有残差连接和层归一化操作。解码器同样由多个堆叠的解码器层组成。每个解码器层除了包含与编码器类似的多头自注意力机制和前馈神经网络外还包含一个额外的多头注意力机制用于对编码器的输出进行注意力计算以获取与当前生成位置相关的信息。3. Transformer架构原理自注意力机制解决序列长期依赖关系每个位置能关注到其他位置这是Transformer的核心创新点之一。它允许模型在处理每个位置的信息时能够同时关注输入序列中的其他位置从而更好地捕捉序列中的长期依赖关系。自注意力机制通过计算输入序列中各个位置之间的相似度得分来确定每个位置对其他位置的关注程度然后根据这些得分对输入进行加权求和得到每个位置的新表示。多头自注意力机制并发与丰富表达同时(并行)关注序列的不同方面捕获更丰富的语义最后将多个头的输出拼接到一起。为了进一步提高模型的表示能力Transformer使用了多个头的自注意力机制。每个头都使用不同的参数进行计算从而能够捕捉到不同方面的信息。最后将多个头的输出拼接在一起并通过一个线性变换得到最终的输出。前馈神经网络增加表达力并提高模型泛化能力。具体表现为非线性变换增加表达力融合所有位置的特征进一步增强表达非线性模型防止模型简单导致过拟合提高模型泛化能力。在自注意力机制之后每个编码器层和解码器层都包含一个前馈神经网络。它由两个线性变换和一个非线性激活函数如ReLU组成用于对自注意力机制的输出进行进一步的特征提取和变换。位置编码感知序列位置。由于Transformer本身不具有对序列顺序的内在感知能力因此需要引入位置编码来将序列中的位置信息融入到模型中。常见的位置编码方法是使用正弦和余弦函数来生成不同位置的编码向量这些向量与输入序列的嵌入向量相加后作为模型的输入。通过这些架构和原理Transformer能够有效地处理长序列数据并且在并行计算和捕捉长期依赖关系方面具有显著优势因此在许多自然语言处理任务中取得了比LSTM更好的性能成为了当前主流的序列建模方法之一。八、自然语言处理基础1. 语言模型基本概念n-gram模型基于统计通过统计文本中连续n个单词或字符出现频率预测下一个单词或字符出现概率分为unigram只考虑单个字符概率忽略上下文、bigram考虑当前字符和前一个字符一起出现概率、trigram考虑当前字符和前两个字符出现概率等。评价指标困惑度衡量模型对测试集的预测正确性越低越好交叉熵衡量模型预测概率分布与真实数据分布差异越低模型性能越好。训练中的特殊字符OOV问题通过引入unk字符处理可替换训练集中频次少或测试集中新出现的字符起始字符引入start结束字符引入end处理出现概率。字模型与词模型词模型处理序列长度短、准确度高但字典大、需大规模语料。短句子或短语可字为单位长语句或专业术语多的场合以词为单位。2. 向量语义词向量用高维向量表示词即词向量或词嵌入将词映射到d维空间的点维度对应不同含义。语义接近的词向量相似用向量夹角余弦值衡量相似度值越小语义越接近。应用于文本相似度计算、情感分析、语义理解等领域。Word2VecWord2Vec提出了两种分类问题的建模方式即连续词袋模型continuous bag-of-words model给定上下文判断中间词和跳跃模型skip-gram model给定中间词判断上下文词出现概率。采用负采样优化训练定义正、负样本按概率采样负样本训练时关注正、负样本最大化正样本概率、最小化负样本概率。3. 预训练语言模型的基本原理与方法GPT基于Transformer架构利用大量无标注文本预训练仅需解码部分用掩码自注意力计算。参数量大引领预训练模型潮流支持零样本和少样本学习能根据输入前缀补全句子或根据少量例子给出输出。BERT双向Transformer编码器表示为非生成式任务设计。针对GPT仅依赖前缀词信息的局限通过掩码语言模型预测掩盖词和下一句预测判断句子连续性学习语言表示刷新多项NLP任务成绩推动领域发展。4. DeepSeek基本原理DeepSeek是基于深度学习和数据挖掘技术的智能搜索与分析系统其原理主要基于以下几个方面专家混合模型Mixture of Experts, MoE将大模型拆分为多个专家子模型通过门控机制动态激活一部分专家模块并能让不同专家协同处理提高计算效率与精度。多头潜在注意力机制Multi - Head Latent Attention基于Transformer结构扩展了标准的多头注意力。允许多个注意力头并行关注不同层次的特征如局部语义和全局信息并额外引入隐变量使模型能学习数据的深层次表示通过不同注意力头学习到的特征采用加权融合或自适应调整机制以强化最有价值的信息提高多模态理解和生成能力。多Token预测Multi - Token Prediction在生成任务中能够同时预测多个Token而非逐字生成。通过联合预测多个Token模型可以捕捉更完整的上下文信息减少生成误差提高文本生成的连贯性和效率。九、计算机视觉计算机视觉研究让计算机理解图像与视频高层次语义信息用摄影机和计算机代替人眼对目标进行识别、跟踪和测量。图像形成分物体间物理交互和光与物体相互作用两步计算机视觉是求解图像形成前向模型的逆。常见视觉识别任务有光学字符识别、语义分割、物体分类、物体检测等细分领域还包括光流估计、运动捕捉、三维场景重建等。图像的形成原理小孔成像中小孔相机模型基于光线沿直线传播物体光线通过针孔在成像面成倒立影像针孔到成像面距离为焦距小孔直径越小成像越清晰越大成像亮度越大。三维空间点投影到相机成像平面坐标可通过相似三角形计算。数字图像数码相机成像时光敏元件上像素点将光线转化为电信号光线通过红、绿、蓝滤色片二维滤波器阵列像素点捕获特定颜色光信号经相机处理器处理生成数字图像原始图像常以RAW格式存储也会转换为JPEG等压缩格式。线性滤波器图像像素映射成函数灰度图像可定义二维函数f(x,y)表示像素光强值彩色图像每个像素用RGB三个通道表示f(x,y)是三个值的向量。图像处理类型包括图像滤波改变图像像素值颜色改变不改变位置和图像扭曲改变像素位置不改变颜色。图像滤波器用于提取信息、增强特征、消除噪声等。滤波器分类分为线性滤波器如均值滤波、高斯滤波等对邻域像素线性运算通过窗口函数或卷积运算不同线性滤波器模版系数不同和非线性滤波器如最值滤波器、中值滤波器利用原始图像和模版逻辑关系得到结果。边缘检测图像边缘是不连续点由表面法线、颜色、深度等不连续性引起重要原因是能推断语义和形状信息且比像素紧凑。可通过图像强度分布图定位边缘强度函数一阶导数局部极值处表示有边缘图像看作二维函数其偏导数可表示光强度突变程度通过阈值和二值化确定边缘位置因图像噪声需用高斯函数去除噪声后定位边缘。物体检测R-CNN能检测物体并确定位置步骤包括输入图像、生成候选框、缩放候选框、提取特征向量、分类和微调边界。缺点是训练复杂、检测速度慢。Fast RCNN提高检测速度减少计算量引入单个金字塔池化层模型解决候选框重复计算问题将SVM分类器改为softmax分类器。步骤为输入图像、提取特征和生成候选框、池化候选区域、分类和微调边界。Faster RCNN极大提高检测速度使用区域提议网络RPN代替选择性搜索生成候选区域全卷积神经网络RPN共享特征提取提议核心是直接用CNN生成候选区域训练时任务协作共享参数。步骤为输入图像、提取特征和生成物体提议、滑动网络定位窗口并生成候选区域、ROI Pooling获得固定大小特征图、分类和回归确定物体类别和位置。RPN使Faster RCNN集成多步骤成为端到端训练但不适合小目标检测。三者区别候选区域生成上R-CNN和Fast RCNN用选择性搜索算法Faster RCNN用RPN特征提取上R-CNN对每个候选区域单独提取Fast RCNN和Faster RCNN对整个图像提取一次训练过程上R-CNN分阶段训练Fast RCNN和Faster RCNN端到端训练检测速度上R-CNN慢Fast RCNN较快Faster RCNN快。语义分割定义与概念将图像每个像素分配到特定类别标签与物体检测不同要精确划分物体边界。应用场景自动驾驶领域区分道路等元素辅助驾驶医学影像分析分割组织辅助诊断和手术规划图像编辑与内容生成用于智能抠图等。