摘要随着数据规模持续扩大依赖人工标注的传统监督学习逐渐面临成本高、周期长、覆盖范围有限等问题。自监督学习通过从原始数据中自动构造训练目标使模型能够利用海量无标签数据学习通用表示对比学习通过拉近相关样本、推远无关样本增强模型区分不同对象的能力生成式学习则通过学习数据的内在分布使模型能够生成文本、图像、语音、视频等新内容。三者并不是完全并列、互相排斥的概念。自监督学习是一种训练范式对比学习和生成式学习都可以成为实现自监督学习的技术路线。例如图像模型可以通过对比不同增强视图进行自监督训练语言模型也可以通过预测下一个词进行生成式自监督训练。当前的大语言模型、视觉基础模型、多模态模型和生成式人工智能系统都在不同程度上融合了这些方法。本文介绍自监督学习、对比学习和生成式学习的基本原理分析它们在自然语言处理、计算机视觉、语音识别、推荐系统、医疗、工业和多模态人工智能等领域的应用并讨论三者之间的关系、优势、局限及未来发展趋势。一、人工智能为什么需要新的学习方式传统监督学习需要使用带有人工标签的数据。例如训练猫狗分类模型时需要提前把每张图片标记为“猫”或者“狗”训练垃圾邮件识别模型时需要人工标记哪些邮件属于垃圾邮件训练医学影像模型时则需要专业医生标注病灶的位置和类型。这种方法虽然有效但存在明显限制。1. 人工标注成本较高普通图片可以由一般人员标注但医学影像、法律文本、工业故障和遥感图像等专业数据必须由领域专家处理。专业人员数量有限标注成本高而且不同专家之间可能存在意见差异。2. 无标签数据远多于有标签数据互联网上存在海量文字、图片、声音和视频但其中只有很小一部分带有适合机器学习使用的高质量标签。如果模型只能使用人工标注数据大部分信息都无法得到充分利用。3. 标签无法完整描述数据一个标签通常只反映数据的某一方面。一张图片被标记为“汽车”但图片中还可能包含道路、行人、建筑、天气、颜色和空间关系。只根据“汽车”这个标签训练模型不一定能够学习其他有价值的信息。4. 新任务不断出现如果每出现一个新任务就重新收集和标注大量数据开发成本会非常高。更加理想的方法是先利用大规模无标签数据训练通用模型再通过少量数据适应具体任务。在这一背景下自监督学习、对比学习和生成式学习逐渐成为现代人工智能的重要技术基础。二、自监督学习1. 自监督学习的定义自监督学习是指模型直接从原始数据中自动构造监督信号而不依赖人工逐条提供标签。“自监督”并不是完全没有监督而是监督信息来自数据本身。例如一段文字天然具有词语顺序一张图片天然包含不同区域一段视频天然包含前后帧关系。模型可以利用这些结构设计训练任务。自监督学习通常包含两个阶段预训练阶段使用大量无标签数据学习通用知识任务适配阶段使用少量标注数据通过微调、提示学习等方式适应下游任务。这种方式通常被概括为“预训练加适配”。其核心思想是先让模型学习世界的一般规律再让模型完成具体工作。2. 自监督学习的主要训练任务1掩码预测掩码预测是将输入数据的一部分隐藏起来让模型根据其余部分恢复被隐藏的内容。例如在句子“机器学习是人工智能的重要分支”中可以隐藏“人工智能”形成机器学习是____的重要分支。模型需要根据上下文预测被隐藏的内容。通过处理大量文本模型能够学习词义、语法、上下文关系和部分事实知识。在图像领域也可以把图片划分为多个区域随机遮挡其中一些区域让模型根据可见区域恢复被遮挡的内容或特征。这类方法能够促使模型理解物体形状、纹理和场景结构。2自回归预测自回归预测要求模型根据前面的内容预测后续内容。例如给定一句话的前半部分让模型预测下一个词。模型学习的条件概率可以概括为P(x1,x2,…,xn)∏t1nP(xt∣x1,x2,…,xt−1) P(x_1,x_2,\ldots,x_n)\prod_{t1}^{n}P(x_t\mid x_1,x_2,\ldots,x_{t-1})P(x1,x2,…,xn)t1∏nP(xt∣x1,x2,…,xt−1)通过不断进行下一个词预测模型逐渐掌握语言结构、表达方式、事实关联和推理模式。当前许多大语言模型采用的就是这种生成式自监督训练方法。自回归思想也可以用于图像、语音、音乐和视频生成。例如模型可以根据已有图像元素预测后续元素也可以根据前面的音频片段预测后续声音。3顺序与时序预测视频、语音和传感器数据具有天然的时间结构。可以打乱数据顺序让模型恢复正确排列也可以让模型根据过去信息预测未来状态。例如根据前几帧视频预测后续画面根据设备过去的振动数据预测下一时刻信号判断两段语音是否来自相邻时间判断文本中的句子排列是否合理。4数据重建模型将输入压缩为内部表示再尝试恢复原始数据。如果模型能够准确重建输入说明内部表示保留了重要信息。自动编码器就是典型的重建模型由编码器和解码器组成。编码器把输入转换为低维表示解码器根据该表示重建输入。此类方法可用于降维、异常检测、去噪和特征学习。5跨模态对应学习现实中的不同模态之间存在天然对应关系。例如图片与图片说明、视频与声音、语音与文字往往描述相同内容。模型可以利用这种对应关系进行自监督训练。例如系统输入一张图片和若干文本让模型判断哪一段文本与图片最匹配。通过大规模训练模型可以把视觉概念与语言概念联系起来为图像检索、视觉问答和文生图系统提供基础。3. 自监督学习在自然语言处理中的应用1大语言模型预训练现代大语言模型通常利用大规模文本进行自监督训练。文本本身不需要人工逐句标注训练目标可以是预测被遮挡词语或者预测下一个词。通过这种训练模型能够学习词语和句子的语义语法结构上下文联系常见事实知识文体和表达方式一定程度的推理模式不同语言之间的对应关系。完成预训练后可以通过指令微调、偏好优化和检索增强等方法使模型适用于问答、翻译、摘要、写作、信息提取和代码生成等任务。2文本分类经过自监督预训练的语言模型只需要少量标注数据就可以适应情感分析、垃圾邮件识别、新闻分类和风险文本检测等任务。与从零开始训练相比预训练模型已经掌握了基本语言知识因此能够减少对标注数据的需求。3机器翻译多语言模型可以利用多种语言的大规模文本学习共享语义空间再使用双语数据进行适配。这有助于改善低资源语言的翻译效果。4信息检索自监督学习可以把查询语句和文档转换成语义向量。即使用户输入的词语与文档中的词语并不完全相同系统也可以根据语义相关性找到合适结果。4. 自监督学习在计算机视觉中的应用在传统图像识别中往往需要大量标注图片。自监督学习能够从无标签图片中学习视觉特征从而减少人工标注需求。主要应用包括图像分类目标检测图像分割人脸识别遥感分析医学影像分析自动驾驶环境感知工业缺陷检测。例如模型可以随机遮挡图像区域然后预测被遮挡内容也可以把同一张图片经过旋转、裁剪和颜色调整要求模型识别它们来自同一原图。预训练得到的视觉表示可以迁移到不同下游任务。5. 自监督学习的优势与局限主要优势能够利用大规模无标签数据降低人工标注成本可以学习通用数据表示适合预训练基础模型能够提高小样本任务表现具有较强的跨任务迁移能力。主要局限训练通常需要大量计算资源训练目标与实际任务之间可能存在差异原始数据中的偏见和错误会被模型学习模型学到的相关性不一定代表因果关系难以保证模型真正理解数据训练效果高度依赖数据质量和任务设计。三、对比学习1. 对比学习的定义对比学习的核心思想是让语义相关的样本在表示空间中更加接近让语义无关的样本相互远离。例如将同一张猫的图片进行两种不同的数据增强得到两个版本。虽然它们的颜色、大小或局部区域有所不同但本质上仍然是同一张图片因此构成正样本对。另一张汽车图片与猫图片之间关系较弱可以构成负样本对。训练后模型应当满足同一对象的不同表现形式拥有相近的向量表示不同对象的向量表示保持较大距离与任务无关的变化不会严重影响识别结果。对比学习重点不一定是直接生成内容而是学习一个结构良好的特征空间。2. 正样本与负样本对比学习通常涉及两类样本关系。正样本对正样本对是语义相同或者高度相关的两个样本例如同一图片的两种增强版本同一句话的两种表达一张图片及其对应说明文字同一个人的两段语音同一商品的图片和描述用户点击过的查询与文档。负样本对负样本对是语义不同或关系较弱的样本例如猫的图片与汽车的图片一个用户查询与不相关文档一段语音与不对应的文字商品图片与无关商品描述。典型对比损失会提高正样本相似度同时降低负样本相似度。其基本形式可以写为Li−logexp(sim(zi,zi)/τ)exp(sim(zi,zi)/τ)∑jexp(sim(zi,zj−)/τ) L_i-\log \frac{\exp(\operatorname{sim}(z_i,z_i^)/\tau)} {\exp(\operatorname{sim}(z_i,z_i^)/\tau)\sum_j\exp(\operatorname{sim}(z_i,z_j^-)/\tau)}Li−logexp(sim(zi,zi)/τ)∑jexp(sim(zi,zj−)/τ)exp(sim(zi,zi)/τ)其中ziz_izi表示基准样本的向量ziz_i^zi表示正样本向量zj−z_j^-zj−表示负样本向量sim\operatorname{sim}sim表示相似度函数τ\tauτ是温度参数。这一目标使模型学会判断“哪些内容相似哪些内容不同”。3. 对比学习与自监督学习的关系对比学习经常采用自监督方式进行但二者并不完全等同。自监督学习强调监督信号来自数据自身对比学习强调通过比较样本之间的相似性学习表示。对比学习可以是自监督的。例如把同一图片的不同增强版本作为正样本不需要人工标签。对比学习也可以是监督式的例如把所有属于同一类别的样本视为正样本把不同类别视为负样本。因此对比学习是一种具体学习方法自监督学习则是一种更广泛的训练范式。4. 对比学习在计算机视觉中的应用1图像表示学习模型对同一图像进行随机裁剪、翻转、模糊和颜色变化并要求不同版本的表示保持一致。这样可以让模型忽略不重要的视觉变化关注物体的主要语义。2图像检索图像被转换为向量后可以根据向量相似度搜索相近图片。例如用户上传一张鞋子图片系统可以从商品库中找到外观相似的产品。3人脸识别人脸识别需要让同一个人的不同照片距离更近让不同人的照片距离更远。即使拍摄角度、表情和光照不同模型仍应识别出身份一致性。4医学影像医学标注需要专业知识。对比学习可以先利用大量未标注影像学习通用特征再用少量标注数据识别病变从而减少医生标注压力。5工业质检正常产品通常很多缺陷产品数量有限。模型可以通过对比学习掌握正常产品的视觉特征并发现与正常样本差异较大的异常区域。5. 对比学习在自然语言处理中的应用1语义相似度计算模型可以把语义相同但表达不同的句子映射到相近位置例如“如何申请退款”“我想退货应该怎么操作”两句话使用的词语不同但语义相似。对比学习能够提高模型对语义而非表面词汇的理解能力。2搜索和问答系统可以把用户问题与正确答案构成正样本把无关答案作为负样本。经过训练后模型能够从知识库中检索与问题最相关的内容。3文本去重新闻、论文、合同和网页中可能存在重复或改写内容。对比学习可以识别语义重复而不只是字符完全相同的文本。4推荐系统用户与其喜欢的商品可以构成正样本用户与不感兴趣的商品可以构成负样本。模型通过学习用户向量和商品向量为用户推荐更加合适的内容。6. 对比学习在多模态人工智能中的应用多模态对比学习是当前人工智能的重要方向。其目标是让不同模态中表达相同语义的内容进入统一表示空间。例如一张狗的图片和文本“一只在草地上奔跑的狗”应当拥有相近表示而与“一架停在机场的飞机”距离较远。这种技术可以用于文本搜索图片图片搜索文本零样本图像分类图像内容理解视觉问答图文审核商品跨模态检索文生图模型的语义条件控制。多模态对比学习使模型能够将语言概念与视觉对象建立联系是视觉语言模型的重要基础。7. 对比学习面临的问题1正负样本构造困难如果把本来相似的样本错误地当作负样本模型会被迫拉开它们之间的距离。这种情况被称为假负样本问题。2数据增强策略非常重要如果增强过弱模型可能只记住低层特征如果增强过强原始语义可能遭到破坏。不同领域需要设计不同增强方法。3批量规模和计算开销较大许多对比学习方法需要大量负样本才能获得较好效果因此会增加显存和计算需求。4相似性不等于任务价值模型学到的相似性可能与实际业务目标不同。例如视觉上相似的商品不一定适合同一用户文本内容相似也不代表事实完全一致。四、生成式学习1. 生成式学习的定义生成式学习的目标是学习数据的结构或概率分布并根据所学规律产生新的数据。与主要判断类别或预测数值的判别式学习相比生成式学习不仅需要判断输入属于什么还试图学习数据“是如何形成的”。生成式模型可以生成文章、摘要和对话程序代码图像和设计方案语音和音乐视频和动画三维模型合成训练数据分子结构和候选药物。需要注意的是生成式学习和生成式人工智能并不完全相同。生成式学习是一类机器学习方法生成式人工智能则强调利用这些模型构建能够创作内容和与用户交互的应用系统。2. 生成式学习的主要技术路线1自回归模型自回归模型按照一定顺序逐步生成内容。例如语言模型逐词或逐个符号预测后续内容直到生成完整回答。它的优点是适合处理序列生成结果通常具有较强连贯性不足是需要逐步生成推理速度可能受到限制而且早期错误可能影响后续结果。2生成对抗网络生成对抗网络通常包括生成器和判别器。生成器负责生成数据判别器负责判断数据是真实样本还是生成样本两者在对抗训练中共同改进。生成器试图欺骗判别器判别器则努力识别生成内容。其目标可以概括为minGmaxD[Ex∼pdatalogD(x)Ez∼p(z)log(1−D(G(z)))] \min_G\max_D \left[ \mathbb{E}_{x\sim p_{\text{data}}}\log D(x) \mathbb{E}_{z\sim p(z)}\log(1-D(G(z))) \right]GminDmax[Ex∼pdatalogD(x)Ez∼p(z)log(1−D(G(z)))]生成对抗网络曾被广泛应用于人脸生成、图像修复、风格转换和超分辨率等任务但训练过程可能不稳定并可能出现生成内容缺乏多样性的问题。3变分自动编码器变分自动编码器先把数据编码为潜在变量的概率分布再从潜在空间采样并解码生成新内容。其优势是潜在空间相对连续便于插值、编辑和分析缺点是某些情况下生成结果可能不够清晰。4扩散模型扩散模型在训练时逐步向真实数据加入噪声并学习如何反向去除噪声。在生成时模型从随机噪声开始经过多次去噪逐渐形成图像或其他内容。扩散模型在图像生成、图像编辑、视频生成和音频生成等领域得到广泛应用。它通常具有较高生成质量和较好的训练稳定性但多步采样可能带来较高推理成本。5流模型及其他生成方法流模型通过可逆变换学习复杂数据分布具有概率计算明确等特点。近年来一些更加高效的生成方法也在不断发展其目标是减少采样步骤提高图像、视频和音频生成速度。3. 生成式学习在自然语言处理中的应用1智能问答与对话大语言模型可以根据用户问题生成自然语言回答应用于智能客服、学习辅导、办公助手和知识查询。2文本写作生成式模型可以辅助撰写新闻初稿产品说明营销文案电子邮件报告提纲小说和剧本社交媒体内容。模型适合提供初稿和创意但重要内容仍需人工核实和修改。3文本摘要模型可以从长文档中提取关键信息生成简洁摘要。该技术可用于会议记录、研究论文、法律文书和企业报告整理。4机器翻译生成式模型根据源语言文本生成目标语言文本。与词语逐一替换不同模型能够根据上下文调整语序和表达方式。5代码生成生成式模型可以根据自然语言要求生成程序代码也可以解释代码、发现错误、补全函数和编写测试用例。但生成代码可能存在逻辑错误和安全漏洞必须经过测试和审查。4. 生成式学习在计算机视觉中的应用1文本生成图像用户输入自然语言描述后模型可以生成符合要求的图像。这类技术可用于广告设计、游戏原画、影视分镜和产品概念设计。2图像编辑生成式模型可以完成局部重绘、背景替换、对象删除、颜色调整和风格转换。3图像修复对于老照片、受损图片或缺失区域模型可以根据周围内容推测并补全部分画面。4图像超分辨率模型可以把低分辨率图像转换为更清晰的图像。不过生成细节不一定是真实细节因此在司法、医疗等场景中应谨慎使用。5合成数据当真实数据不足、隐私敏感或极端样本难以采集时可以生成合成图像扩充训练集。例如自动驾驶系统可以生成不同天气和道路条件下的场景。5. 生成式学习在其他领域的应用1语音与音乐生成模型可以进行语音合成、声音转换、音乐创作、降噪和语音修复也可以根据文本生成具有不同语速和情感的语音。2视频生成模型可以根据文本、图片或已有视频生成动态内容用于动画制作、广告、教育资源和虚拟场景设计。3药物研发生成模型可以提出新的分子结构并根据目标性质筛选候选分子从而缩小实验搜索范围。但模型生成的候选结果仍需经过严格计算验证和真实实验。4工业设计生成式模型可以根据尺寸、材料、成本和性能要求提出多个设计方案再由工程师选择和优化。5游戏与虚拟世界模型可以辅助生成游戏地图、角色、纹理、对白、音乐和任务情节提高内容生产效率。6. 生成式学习的风险与局限1事实错误生成模型的目标通常是生成概率上合理的内容而不是自动保证事实正确。因此模型可能生成表达流畅但内容错误的信息。2偏见问题如果训练数据包含社会偏见、刻板印象或不平衡信息生成结果也可能表现出类似问题。3版权与数据来源训练数据和生成内容可能涉及版权、授权、原创性和作品归属问题需要建立明确的数据治理机制。4虚假内容风险生成技术可能被用于制造虚假新闻、伪造声音、换脸视频和欺骗性材料。因此需要发展内容标识、数字水印和生成内容检测技术。5隐私泄露如果模型记住了训练数据中的个人信息在特定提示下可能输出敏感内容。6计算资源消耗训练和运行大型生成模型需要较多计算资源、电力和存储设备可能带来较高经济和环境成本。五、三种学习方式的关系与区别1. 概念层次不同三者并不是同一层面上的完全并列关系。比较项目自监督学习对比学习生成式学习核心定位训练范式表示学习方法建模与生成方法核心目标从数据自身获得监督信号学习样本间的相似与差异学习数据结构并生成内容是否需要人工标签通常不需要可以需要也可以不需要通常可利用无标签数据主要输出通用特征或预训练模型具有语义结构的向量表示新的文本、图像、声音等典型任务掩码预测、下一内容预测图文匹配、语义检索文本生成、图像生成常见应用基础模型预训练检索、分类、匹配、推荐内容创作、模拟与数据生成2. 自监督学习可以采用生成式目标大语言模型通过预测下一个词训练。监督信号来自文本自身因此属于自监督学习模型又能够生成新文本因此也属于生成式学习。图像掩码重建同样可以同时具有自监督与生成式特征。3. 自监督学习可以采用对比目标图像模型把同一图片的不同增强版本作为正样本进行比较不需要人工标签因此既属于自监督学习也属于对比学习。4. 对比学习可以连接不同模态对比学习可以把文字、图片、语音和视频映射到统一语义空间为生成模型提供跨模态理解能力。例如文生图系统需要理解文本描述与视觉内容之间的关系这种能力可以通过图文对比训练获得。5. 现代基础模型通常融合多种方法一个多模态人工智能系统可能同时使用生成式自监督学习训练语言理解和生成能力对比学习对齐图像与文字掩码重建提高视觉表示能力指令微调使模型理解用户要求人类或人工智能反馈使输出更加安全、有用检索增强为生成过程提供外部知识。因此现代人工智能的发展趋势不是只选择其中一种方法而是根据任务组合使用多种学习机制。六、三种方法在主要AI领域中的综合应用1. 大语言模型大语言模型首先使用海量文本进行生成式自监督预训练学习预测后续内容。之后可以通过对比式偏好数据让模型区分更好和更差的答案最后通过指令微调提升任务执行能力。应用包括智能问答文档分析内容写作代码开发学习辅导企业知识助手。2. 视觉语言模型视觉语言模型可以使用自监督学习分别训练图像和文本编码器再使用对比学习对齐图文表示最后使用生成式模型输出图片描述、问题答案或生成图像。应用包括看图问答图片内容描述以文搜图以图搜图多模态智能客服视觉辅助系统。3. 推荐系统推荐系统可以通过自监督任务学习用户行为序列通过对比学习拉近用户与其感兴趣商品的表示还可以通过生成式模型生成推荐理由、商品介绍或对话式推荐结果。4. 医疗人工智能自监督学习可以利用大量未标注医学数据进行预训练对比学习可以区分正常组织与异常组织生成式学习可以生成辅助影像、模拟病例和结构化报告。不过医疗生成结果必须由专业人员审核不能直接替代医生诊断。5. 自动驾驶自监督学习可以利用大量道路视频学习视觉和空间特征对比学习可以对齐摄像头、激光雷达和地图数据生成式学习可以构造极端天气、复杂路况和罕见事故场景用于训练与测试。6. 工业人工智能在工业场景中自监督学习可以从大量正常设备数据中学习运行规律对比学习可以识别设备状态之间的差异生成式模型可以模拟故障数据、辅助产品设计和生成维护报告。七、如何选择合适的学习方法1. 数据很多但标签很少可以优先考虑自监督学习通过预训练获取通用表示再使用少量标注数据适配具体任务。2. 目标是搜索、匹配或推荐可以重点考虑对比学习因为这类任务的核心是判断对象之间是否相关。3. 目标是创作或补全内容可以考虑生成式学习例如文本生成、图像生成、语音合成和数据模拟。4. 需要处理多种数据模态可以将自监督学习与跨模态对比学习结合使不同模态进入统一语义空间再由生成式模型输出结果。5. 数据敏感或风险较高应选择更容易控制和解释的方法并配合人工审核、规则限制、权限管理及隐私保护。不能只追求生成能力或模型规模。八、未来发展趋势1. 从单模态走向多模态未来模型将更加统一地处理文字、图片、声音、视频、三维信息和传感器数据实现跨模态理解与生成。2. 自监督学习将继续降低数据标注需求模型会更加充分地利用无标签数据、弱标签数据和合成数据减少对高成本人工标注的依赖。3. 对比学习将加强知识对齐对比学习不仅用于对齐图像与文字还可以对齐视频、音频、机器人动作和真实环境状态促进具身智能发展。4. 生成模型将从内容生成走向任务执行生成式人工智能将不再局限于回答问题而会逐步结合搜索、数据库、软件工具和机器人完成更复杂的多步骤任务。5. 小型化和专业化大型通用模型能力较强但成本较高。未来会出现更多面向医疗、教育、法律和制造业的专业模型以及可以在手机、汽车和边缘设备运行的小型模型。6. 安全与可信将更加重要未来的发展重点不仅是提高模型能力还包括降低事实错误保护个人隐私减少算法偏见标识生成内容提升模型可解释性防止恶意使用明确责任边界建立人工监督机制。结语自监督学习、对比学习和生成式学习共同构成了现代人工智能的重要技术基础。自监督学习解决了“如何利用海量无标签数据”的问题使模型能够从文本、图像、语音和视频自身的结构中获得监督信号。对比学习解决了“如何学习有效表示和语义关系”的问题通过比较相关与无关样本建立具有区分能力的特征空间。生成式学习解决了“如何建模数据并创造新内容”的问题使人工智能能够生成语言、图像、声音、视频和设计方案。三者之间并非相互独立。自监督学习可以使用对比式目标也可以使用生成式目标对比学习能够建立不同模态之间的语义联系生成式模型则可以利用这些通用表示和跨模态关系完成内容生成。当前的大语言模型、视觉语言模型和多模态基础模型正是多种学习方式融合的结果。未来人工智能将进一步从识别和预测走向理解、生成与行动。但模型能力越强对数据质量、安全治理、隐私保护和人工监督的要求也越高。只有将技术能力与真实需求、伦理规范和风险控制结合起来自监督学习、对比学习和生成式学习才能更加可靠地服务于教育、医疗、工业、科研和社会生活。 
长河君 · 2026/9/27 9:02:37 · 阅读 1.2k 机器学习中的自监督学习、对比学习与生成式学习在人工智能中的应用
摘要随着数据规模持续扩大依赖人工标注的传统监督学习逐渐面临成本高、周期长、覆盖范围有限等问题。自监督学习通过从原始数据中自动构造训练目标使模型能够利用海量无标签数据学习通用表示对比学习通过拉近相关样本、推远无关样本增强模型区分不同对象的能力生成式学习则通过学习数据的内在分布使模型能够生成文本、图像、语音、视频等新内容。三者并不是完全并列、互相排斥的概念。自监督学习是一种训练范式对比学习和生成式学习都可以成为实现自监督学习的技术路线。例如图像模型可以通过对比不同增强视图进行自监督训练语言模型也可以通过预测下一个词进行生成式自监督训练。当前的大语言模型、视觉基础模型、多模态模型和生成式人工智能系统都在不同程度上融合了这些方法。本文介绍自监督学习、对比学习和生成式学习的基本原理分析它们在自然语言处理、计算机视觉、语音识别、推荐系统、医疗、工业和多模态人工智能等领域的应用并讨论三者之间的关系、优势、局限及未来发展趋势。一、人工智能为什么需要新的学习方式传统监督学习需要使用带有人工标签的数据。例如训练猫狗分类模型时需要提前把每张图片标记为“猫”或者“狗”训练垃圾邮件识别模型时需要人工标记哪些邮件属于垃圾邮件训练医学影像模型时则需要专业医生标注病灶的位置和类型。这种方法虽然有效但存在明显限制。1. 人工标注成本较高普通图片可以由一般人员标注但医学影像、法律文本、工业故障和遥感图像等专业数据必须由领域专家处理。专业人员数量有限标注成本高而且不同专家之间可能存在意见差异。2. 无标签数据远多于有标签数据互联网上存在海量文字、图片、声音和视频但其中只有很小一部分带有适合机器学习使用的高质量标签。如果模型只能使用人工标注数据大部分信息都无法得到充分利用。3. 标签无法完整描述数据一个标签通常只反映数据的某一方面。一张图片被标记为“汽车”但图片中还可能包含道路、行人、建筑、天气、颜色和空间关系。只根据“汽车”这个标签训练模型不一定能够学习其他有价值的信息。4. 新任务不断出现如果每出现一个新任务就重新收集和标注大量数据开发成本会非常高。更加理想的方法是先利用大规模无标签数据训练通用模型再通过少量数据适应具体任务。在这一背景下自监督学习、对比学习和生成式学习逐渐成为现代人工智能的重要技术基础。二、自监督学习1. 自监督学习的定义自监督学习是指模型直接从原始数据中自动构造监督信号而不依赖人工逐条提供标签。“自监督”并不是完全没有监督而是监督信息来自数据本身。例如一段文字天然具有词语顺序一张图片天然包含不同区域一段视频天然包含前后帧关系。模型可以利用这些结构设计训练任务。自监督学习通常包含两个阶段预训练阶段使用大量无标签数据学习通用知识任务适配阶段使用少量标注数据通过微调、提示学习等方式适应下游任务。这种方式通常被概括为“预训练加适配”。其核心思想是先让模型学习世界的一般规律再让模型完成具体工作。2. 自监督学习的主要训练任务1掩码预测掩码预测是将输入数据的一部分隐藏起来让模型根据其余部分恢复被隐藏的内容。例如在句子“机器学习是人工智能的重要分支”中可以隐藏“人工智能”形成机器学习是____的重要分支。模型需要根据上下文预测被隐藏的内容。通过处理大量文本模型能够学习词义、语法、上下文关系和部分事实知识。在图像领域也可以把图片划分为多个区域随机遮挡其中一些区域让模型根据可见区域恢复被遮挡的内容或特征。这类方法能够促使模型理解物体形状、纹理和场景结构。2自回归预测自回归预测要求模型根据前面的内容预测后续内容。例如给定一句话的前半部分让模型预测下一个词。模型学习的条件概率可以概括为P(x1,x2,…,xn)∏t1nP(xt∣x1,x2,…,xt−1) P(x_1,x_2,\ldots,x_n)\prod_{t1}^{n}P(x_t\mid x_1,x_2,\ldots,x_{t-1})P(x1,x2,…,xn)t1∏nP(xt∣x1,x2,…,xt−1)通过不断进行下一个词预测模型逐渐掌握语言结构、表达方式、事实关联和推理模式。当前许多大语言模型采用的就是这种生成式自监督训练方法。自回归思想也可以用于图像、语音、音乐和视频生成。例如模型可以根据已有图像元素预测后续元素也可以根据前面的音频片段预测后续声音。3顺序与时序预测视频、语音和传感器数据具有天然的时间结构。可以打乱数据顺序让模型恢复正确排列也可以让模型根据过去信息预测未来状态。例如根据前几帧视频预测后续画面根据设备过去的振动数据预测下一时刻信号判断两段语音是否来自相邻时间判断文本中的句子排列是否合理。4数据重建模型将输入压缩为内部表示再尝试恢复原始数据。如果模型能够准确重建输入说明内部表示保留了重要信息。自动编码器就是典型的重建模型由编码器和解码器组成。编码器把输入转换为低维表示解码器根据该表示重建输入。此类方法可用于降维、异常检测、去噪和特征学习。5跨模态对应学习现实中的不同模态之间存在天然对应关系。例如图片与图片说明、视频与声音、语音与文字往往描述相同内容。模型可以利用这种对应关系进行自监督训练。例如系统输入一张图片和若干文本让模型判断哪一段文本与图片最匹配。通过大规模训练模型可以把视觉概念与语言概念联系起来为图像检索、视觉问答和文生图系统提供基础。3. 自监督学习在自然语言处理中的应用1大语言模型预训练现代大语言模型通常利用大规模文本进行自监督训练。文本本身不需要人工逐句标注训练目标可以是预测被遮挡词语或者预测下一个词。通过这种训练模型能够学习词语和句子的语义语法结构上下文联系常见事实知识文体和表达方式一定程度的推理模式不同语言之间的对应关系。完成预训练后可以通过指令微调、偏好优化和检索增强等方法使模型适用于问答、翻译、摘要、写作、信息提取和代码生成等任务。2文本分类经过自监督预训练的语言模型只需要少量标注数据就可以适应情感分析、垃圾邮件识别、新闻分类和风险文本检测等任务。与从零开始训练相比预训练模型已经掌握了基本语言知识因此能够减少对标注数据的需求。3机器翻译多语言模型可以利用多种语言的大规模文本学习共享语义空间再使用双语数据进行适配。这有助于改善低资源语言的翻译效果。4信息检索自监督学习可以把查询语句和文档转换成语义向量。即使用户输入的词语与文档中的词语并不完全相同系统也可以根据语义相关性找到合适结果。4. 自监督学习在计算机视觉中的应用在传统图像识别中往往需要大量标注图片。自监督学习能够从无标签图片中学习视觉特征从而减少人工标注需求。主要应用包括图像分类目标检测图像分割人脸识别遥感分析医学影像分析自动驾驶环境感知工业缺陷检测。例如模型可以随机遮挡图像区域然后预测被遮挡内容也可以把同一张图片经过旋转、裁剪和颜色调整要求模型识别它们来自同一原图。预训练得到的视觉表示可以迁移到不同下游任务。5. 自监督学习的优势与局限主要优势能够利用大规模无标签数据降低人工标注成本可以学习通用数据表示适合预训练基础模型能够提高小样本任务表现具有较强的跨任务迁移能力。主要局限训练通常需要大量计算资源训练目标与实际任务之间可能存在差异原始数据中的偏见和错误会被模型学习模型学到的相关性不一定代表因果关系难以保证模型真正理解数据训练效果高度依赖数据质量和任务设计。三、对比学习1. 对比学习的定义对比学习的核心思想是让语义相关的样本在表示空间中更加接近让语义无关的样本相互远离。例如将同一张猫的图片进行两种不同的数据增强得到两个版本。虽然它们的颜色、大小或局部区域有所不同但本质上仍然是同一张图片因此构成正样本对。另一张汽车图片与猫图片之间关系较弱可以构成负样本对。训练后模型应当满足同一对象的不同表现形式拥有相近的向量表示不同对象的向量表示保持较大距离与任务无关的变化不会严重影响识别结果。对比学习重点不一定是直接生成内容而是学习一个结构良好的特征空间。2. 正样本与负样本对比学习通常涉及两类样本关系。正样本对正样本对是语义相同或者高度相关的两个样本例如同一图片的两种增强版本同一句话的两种表达一张图片及其对应说明文字同一个人的两段语音同一商品的图片和描述用户点击过的查询与文档。负样本对负样本对是语义不同或关系较弱的样本例如猫的图片与汽车的图片一个用户查询与不相关文档一段语音与不对应的文字商品图片与无关商品描述。典型对比损失会提高正样本相似度同时降低负样本相似度。其基本形式可以写为Li−logexp(sim(zi,zi)/τ)exp(sim(zi,zi)/τ)∑jexp(sim(zi,zj−)/τ) L_i-\log \frac{\exp(\operatorname{sim}(z_i,z_i^)/\tau)} {\exp(\operatorname{sim}(z_i,z_i^)/\tau)\sum_j\exp(\operatorname{sim}(z_i,z_j^-)/\tau)}Li−logexp(sim(zi,zi)/τ)∑jexp(sim(zi,zj−)/τ)exp(sim(zi,zi)/τ)其中ziz_izi表示基准样本的向量ziz_i^zi表示正样本向量zj−z_j^-zj−表示负样本向量sim\operatorname{sim}sim表示相似度函数τ\tauτ是温度参数。这一目标使模型学会判断“哪些内容相似哪些内容不同”。3. 对比学习与自监督学习的关系对比学习经常采用自监督方式进行但二者并不完全等同。自监督学习强调监督信号来自数据自身对比学习强调通过比较样本之间的相似性学习表示。对比学习可以是自监督的。例如把同一图片的不同增强版本作为正样本不需要人工标签。对比学习也可以是监督式的例如把所有属于同一类别的样本视为正样本把不同类别视为负样本。因此对比学习是一种具体学习方法自监督学习则是一种更广泛的训练范式。4. 对比学习在计算机视觉中的应用1图像表示学习模型对同一图像进行随机裁剪、翻转、模糊和颜色变化并要求不同版本的表示保持一致。这样可以让模型忽略不重要的视觉变化关注物体的主要语义。2图像检索图像被转换为向量后可以根据向量相似度搜索相近图片。例如用户上传一张鞋子图片系统可以从商品库中找到外观相似的产品。3人脸识别人脸识别需要让同一个人的不同照片距离更近让不同人的照片距离更远。即使拍摄角度、表情和光照不同模型仍应识别出身份一致性。4医学影像医学标注需要专业知识。对比学习可以先利用大量未标注影像学习通用特征再用少量标注数据识别病变从而减少医生标注压力。5工业质检正常产品通常很多缺陷产品数量有限。模型可以通过对比学习掌握正常产品的视觉特征并发现与正常样本差异较大的异常区域。5. 对比学习在自然语言处理中的应用1语义相似度计算模型可以把语义相同但表达不同的句子映射到相近位置例如“如何申请退款”“我想退货应该怎么操作”两句话使用的词语不同但语义相似。对比学习能够提高模型对语义而非表面词汇的理解能力。2搜索和问答系统可以把用户问题与正确答案构成正样本把无关答案作为负样本。经过训练后模型能够从知识库中检索与问题最相关的内容。3文本去重新闻、论文、合同和网页中可能存在重复或改写内容。对比学习可以识别语义重复而不只是字符完全相同的文本。4推荐系统用户与其喜欢的商品可以构成正样本用户与不感兴趣的商品可以构成负样本。模型通过学习用户向量和商品向量为用户推荐更加合适的内容。6. 对比学习在多模态人工智能中的应用多模态对比学习是当前人工智能的重要方向。其目标是让不同模态中表达相同语义的内容进入统一表示空间。例如一张狗的图片和文本“一只在草地上奔跑的狗”应当拥有相近表示而与“一架停在机场的飞机”距离较远。这种技术可以用于文本搜索图片图片搜索文本零样本图像分类图像内容理解视觉问答图文审核商品跨模态检索文生图模型的语义条件控制。多模态对比学习使模型能够将语言概念与视觉对象建立联系是视觉语言模型的重要基础。7. 对比学习面临的问题1正负样本构造困难如果把本来相似的样本错误地当作负样本模型会被迫拉开它们之间的距离。这种情况被称为假负样本问题。2数据增强策略非常重要如果增强过弱模型可能只记住低层特征如果增强过强原始语义可能遭到破坏。不同领域需要设计不同增强方法。3批量规模和计算开销较大许多对比学习方法需要大量负样本才能获得较好效果因此会增加显存和计算需求。4相似性不等于任务价值模型学到的相似性可能与实际业务目标不同。例如视觉上相似的商品不一定适合同一用户文本内容相似也不代表事实完全一致。四、生成式学习1. 生成式学习的定义生成式学习的目标是学习数据的结构或概率分布并根据所学规律产生新的数据。与主要判断类别或预测数值的判别式学习相比生成式学习不仅需要判断输入属于什么还试图学习数据“是如何形成的”。生成式模型可以生成文章、摘要和对话程序代码图像和设计方案语音和音乐视频和动画三维模型合成训练数据分子结构和候选药物。需要注意的是生成式学习和生成式人工智能并不完全相同。生成式学习是一类机器学习方法生成式人工智能则强调利用这些模型构建能够创作内容和与用户交互的应用系统。2. 生成式学习的主要技术路线1自回归模型自回归模型按照一定顺序逐步生成内容。例如语言模型逐词或逐个符号预测后续内容直到生成完整回答。它的优点是适合处理序列生成结果通常具有较强连贯性不足是需要逐步生成推理速度可能受到限制而且早期错误可能影响后续结果。2生成对抗网络生成对抗网络通常包括生成器和判别器。生成器负责生成数据判别器负责判断数据是真实样本还是生成样本两者在对抗训练中共同改进。生成器试图欺骗判别器判别器则努力识别生成内容。其目标可以概括为minGmaxD[Ex∼pdatalogD(x)Ez∼p(z)log(1−D(G(z)))] \min_G\max_D \left[ \mathbb{E}_{x\sim p_{\text{data}}}\log D(x) \mathbb{E}_{z\sim p(z)}\log(1-D(G(z))) \right]GminDmax[Ex∼pdatalogD(x)Ez∼p(z)log(1−D(G(z)))]生成对抗网络曾被广泛应用于人脸生成、图像修复、风格转换和超分辨率等任务但训练过程可能不稳定并可能出现生成内容缺乏多样性的问题。3变分自动编码器变分自动编码器先把数据编码为潜在变量的概率分布再从潜在空间采样并解码生成新内容。其优势是潜在空间相对连续便于插值、编辑和分析缺点是某些情况下生成结果可能不够清晰。4扩散模型扩散模型在训练时逐步向真实数据加入噪声并学习如何反向去除噪声。在生成时模型从随机噪声开始经过多次去噪逐渐形成图像或其他内容。扩散模型在图像生成、图像编辑、视频生成和音频生成等领域得到广泛应用。它通常具有较高生成质量和较好的训练稳定性但多步采样可能带来较高推理成本。5流模型及其他生成方法流模型通过可逆变换学习复杂数据分布具有概率计算明确等特点。近年来一些更加高效的生成方法也在不断发展其目标是减少采样步骤提高图像、视频和音频生成速度。3. 生成式学习在自然语言处理中的应用1智能问答与对话大语言模型可以根据用户问题生成自然语言回答应用于智能客服、学习辅导、办公助手和知识查询。2文本写作生成式模型可以辅助撰写新闻初稿产品说明营销文案电子邮件报告提纲小说和剧本社交媒体内容。模型适合提供初稿和创意但重要内容仍需人工核实和修改。3文本摘要模型可以从长文档中提取关键信息生成简洁摘要。该技术可用于会议记录、研究论文、法律文书和企业报告整理。4机器翻译生成式模型根据源语言文本生成目标语言文本。与词语逐一替换不同模型能够根据上下文调整语序和表达方式。5代码生成生成式模型可以根据自然语言要求生成程序代码也可以解释代码、发现错误、补全函数和编写测试用例。但生成代码可能存在逻辑错误和安全漏洞必须经过测试和审查。4. 生成式学习在计算机视觉中的应用1文本生成图像用户输入自然语言描述后模型可以生成符合要求的图像。这类技术可用于广告设计、游戏原画、影视分镜和产品概念设计。2图像编辑生成式模型可以完成局部重绘、背景替换、对象删除、颜色调整和风格转换。3图像修复对于老照片、受损图片或缺失区域模型可以根据周围内容推测并补全部分画面。4图像超分辨率模型可以把低分辨率图像转换为更清晰的图像。不过生成细节不一定是真实细节因此在司法、医疗等场景中应谨慎使用。5合成数据当真实数据不足、隐私敏感或极端样本难以采集时可以生成合成图像扩充训练集。例如自动驾驶系统可以生成不同天气和道路条件下的场景。5. 生成式学习在其他领域的应用1语音与音乐生成模型可以进行语音合成、声音转换、音乐创作、降噪和语音修复也可以根据文本生成具有不同语速和情感的语音。2视频生成模型可以根据文本、图片或已有视频生成动态内容用于动画制作、广告、教育资源和虚拟场景设计。3药物研发生成模型可以提出新的分子结构并根据目标性质筛选候选分子从而缩小实验搜索范围。但模型生成的候选结果仍需经过严格计算验证和真实实验。4工业设计生成式模型可以根据尺寸、材料、成本和性能要求提出多个设计方案再由工程师选择和优化。5游戏与虚拟世界模型可以辅助生成游戏地图、角色、纹理、对白、音乐和任务情节提高内容生产效率。6. 生成式学习的风险与局限1事实错误生成模型的目标通常是生成概率上合理的内容而不是自动保证事实正确。因此模型可能生成表达流畅但内容错误的信息。2偏见问题如果训练数据包含社会偏见、刻板印象或不平衡信息生成结果也可能表现出类似问题。3版权与数据来源训练数据和生成内容可能涉及版权、授权、原创性和作品归属问题需要建立明确的数据治理机制。4虚假内容风险生成技术可能被用于制造虚假新闻、伪造声音、换脸视频和欺骗性材料。因此需要发展内容标识、数字水印和生成内容检测技术。5隐私泄露如果模型记住了训练数据中的个人信息在特定提示下可能输出敏感内容。6计算资源消耗训练和运行大型生成模型需要较多计算资源、电力和存储设备可能带来较高经济和环境成本。五、三种学习方式的关系与区别1. 概念层次不同三者并不是同一层面上的完全并列关系。比较项目自监督学习对比学习生成式学习核心定位训练范式表示学习方法建模与生成方法核心目标从数据自身获得监督信号学习样本间的相似与差异学习数据结构并生成内容是否需要人工标签通常不需要可以需要也可以不需要通常可利用无标签数据主要输出通用特征或预训练模型具有语义结构的向量表示新的文本、图像、声音等典型任务掩码预测、下一内容预测图文匹配、语义检索文本生成、图像生成常见应用基础模型预训练检索、分类、匹配、推荐内容创作、模拟与数据生成2. 自监督学习可以采用生成式目标大语言模型通过预测下一个词训练。监督信号来自文本自身因此属于自监督学习模型又能够生成新文本因此也属于生成式学习。图像掩码重建同样可以同时具有自监督与生成式特征。3. 自监督学习可以采用对比目标图像模型把同一图片的不同增强版本作为正样本进行比较不需要人工标签因此既属于自监督学习也属于对比学习。4. 对比学习可以连接不同模态对比学习可以把文字、图片、语音和视频映射到统一语义空间为生成模型提供跨模态理解能力。例如文生图系统需要理解文本描述与视觉内容之间的关系这种能力可以通过图文对比训练获得。5. 现代基础模型通常融合多种方法一个多模态人工智能系统可能同时使用生成式自监督学习训练语言理解和生成能力对比学习对齐图像与文字掩码重建提高视觉表示能力指令微调使模型理解用户要求人类或人工智能反馈使输出更加安全、有用检索增强为生成过程提供外部知识。因此现代人工智能的发展趋势不是只选择其中一种方法而是根据任务组合使用多种学习机制。六、三种方法在主要AI领域中的综合应用1. 大语言模型大语言模型首先使用海量文本进行生成式自监督预训练学习预测后续内容。之后可以通过对比式偏好数据让模型区分更好和更差的答案最后通过指令微调提升任务执行能力。应用包括智能问答文档分析内容写作代码开发学习辅导企业知识助手。2. 视觉语言模型视觉语言模型可以使用自监督学习分别训练图像和文本编码器再使用对比学习对齐图文表示最后使用生成式模型输出图片描述、问题答案或生成图像。应用包括看图问答图片内容描述以文搜图以图搜图多模态智能客服视觉辅助系统。3. 推荐系统推荐系统可以通过自监督任务学习用户行为序列通过对比学习拉近用户与其感兴趣商品的表示还可以通过生成式模型生成推荐理由、商品介绍或对话式推荐结果。4. 医疗人工智能自监督学习可以利用大量未标注医学数据进行预训练对比学习可以区分正常组织与异常组织生成式学习可以生成辅助影像、模拟病例和结构化报告。不过医疗生成结果必须由专业人员审核不能直接替代医生诊断。5. 自动驾驶自监督学习可以利用大量道路视频学习视觉和空间特征对比学习可以对齐摄像头、激光雷达和地图数据生成式学习可以构造极端天气、复杂路况和罕见事故场景用于训练与测试。6. 工业人工智能在工业场景中自监督学习可以从大量正常设备数据中学习运行规律对比学习可以识别设备状态之间的差异生成式模型可以模拟故障数据、辅助产品设计和生成维护报告。七、如何选择合适的学习方法1. 数据很多但标签很少可以优先考虑自监督学习通过预训练获取通用表示再使用少量标注数据适配具体任务。2. 目标是搜索、匹配或推荐可以重点考虑对比学习因为这类任务的核心是判断对象之间是否相关。3. 目标是创作或补全内容可以考虑生成式学习例如文本生成、图像生成、语音合成和数据模拟。4. 需要处理多种数据模态可以将自监督学习与跨模态对比学习结合使不同模态进入统一语义空间再由生成式模型输出结果。5. 数据敏感或风险较高应选择更容易控制和解释的方法并配合人工审核、规则限制、权限管理及隐私保护。不能只追求生成能力或模型规模。八、未来发展趋势1. 从单模态走向多模态未来模型将更加统一地处理文字、图片、声音、视频、三维信息和传感器数据实现跨模态理解与生成。2. 自监督学习将继续降低数据标注需求模型会更加充分地利用无标签数据、弱标签数据和合成数据减少对高成本人工标注的依赖。3. 对比学习将加强知识对齐对比学习不仅用于对齐图像与文字还可以对齐视频、音频、机器人动作和真实环境状态促进具身智能发展。4. 生成模型将从内容生成走向任务执行生成式人工智能将不再局限于回答问题而会逐步结合搜索、数据库、软件工具和机器人完成更复杂的多步骤任务。5. 小型化和专业化大型通用模型能力较强但成本较高。未来会出现更多面向医疗、教育、法律和制造业的专业模型以及可以在手机、汽车和边缘设备运行的小型模型。6. 安全与可信将更加重要未来的发展重点不仅是提高模型能力还包括降低事实错误保护个人隐私减少算法偏见标识生成内容提升模型可解释性防止恶意使用明确责任边界建立人工监督机制。结语自监督学习、对比学习和生成式学习共同构成了现代人工智能的重要技术基础。自监督学习解决了“如何利用海量无标签数据”的问题使模型能够从文本、图像、语音和视频自身的结构中获得监督信号。对比学习解决了“如何学习有效表示和语义关系”的问题通过比较相关与无关样本建立具有区分能力的特征空间。生成式学习解决了“如何建模数据并创造新内容”的问题使人工智能能够生成语言、图像、声音、视频和设计方案。三者之间并非相互独立。自监督学习可以使用对比式目标也可以使用生成式目标对比学习能够建立不同模态之间的语义联系生成式模型则可以利用这些通用表示和跨模态关系完成内容生成。当前的大语言模型、视觉语言模型和多模态基础模型正是多种学习方式融合的结果。未来人工智能将进一步从识别和预测走向理解、生成与行动。但模型能力越强对数据质量、安全治理、隐私保护和人工监督的要求也越高。只有将技术能力与真实需求、伦理规范和风险控制结合起来自监督学习、对比学习和生成式学习才能更加可靠地服务于教育、医疗、工业、科研和社会生活。