多模态表征模型这两年几乎是所有检索、多模态大模型、甚至推荐系统绕不开的基础设施。CLIP那套双塔对比学习在很长一段时间里是默认答案但它文本塔太单薄这个毛病也一直被诟病——遇到复杂语义的图文对经常抓瞎。LLM2CLIP这个工作拿了AI顶会AAAI的杰出论文奖一作在分享里反复强调一个词能力边界。这篇博文我会围绕LLM2CLIP把三件事讲透它到底改了什么、它把多模态表征的边界推到哪里、以及这套思路如何迁移到我们自己的业务和项目里。如果你在做多模态检索、图生文、图文表征微调或者单纯想知道换一个更强的文本塔到底能带来多少收益这篇文章值得你花十分钟看完。1. 先搞清楚多模态表征模型卡在哪里了1.1 CLIP做了什么又留下什么坑CLIP的核心方法很多人已经很熟了一个图像编码器、一个文本编码器把图片和对应的文本描述分别映射到同一个向量空间里然后通过对比学习让正样本对的距离近、负样本对的距离远。向量空间一旦建立下游就能做零样本分类、图文双向检索、给多模态大模型当视觉编码器甚至给推荐系统做兴趣向量。这套东西成功的关键在于海量图文对简单对比目标。但它有几个一直被刻意忽略的坑这几年陆续暴露出来。第一个坑就是文本塔的容量。CLIP的文本编码器为了速度和训练稳定性往往做得非常浅——我印象里最典型的结构比图像塔小了一个数量级。这意味着它只擅长捕捉一些扁平的语义比如一只猫、一辆红色汽车。一旦描述变成一只戴蓝色帽子的柴犬坐在公园长椅上旁边有一辆模糊的白色面包车传统文本编码器的向量表征很容易把前半句的信息稀释掉甚至丢掉修饰关系。第二个坑是数据噪声。CLIP训练用的图文对是从互联网海量抓取的一张图片搭配的alt文本可能是美女这种超高噪声的短句也可能是完全不相关的营销文案。模型在这种数据上做对齐学到的往往是粗略的语义浅对齐——知道这张图和猫相关但不知道猫的姿势、颜色、背景、数量这些细粒度信息。第三个坑更底层对比学习本质上只能学模态间的共享信息。图像里有、文本里没写出来的那些细节模型根本没有监督信号去学。这个特性决定了CLIP这类模型的能力天花板——它的边界不是你堆多少数据就能突破的而是训练目标本身画下的。1.2 为什么说LLM是天然的世界知识锚点大语言模型在互联网文本上预训练了那么大的参数量学到了海量的世界知识——概念之间的关联、实体的属性、空间关系的常识、几乎无限的长尾术语。这些东西正好是传统CLIP文本塔最缺的。语言本身就是高度压缩的抽象符号系统一段文本虽然短但它背后承接的知识密度极高。你要理解一张青霉素分子结构图光靠图像特征是识别不出青霉素这个概念的但LLM的文本表征里天然就有这个实体的语义坐标。所以一个很自然的想法出现了既然文本塔是短板那我把CLIP的文本塔直接换成一个LLM让对比学习发生在LLM的文本表征和视觉特征之间。这其实就是LLM2CLIP以及同方向一批工作最朴素的出发点。它们想验证一件事如果语言侧的语义锚点足够强多模态表征的能力边界是不是能往外推一大截。1.3 直接换编码器为什么行不通但问题没那么简单。把文本塔换成LLM不是一行代码改改模型名就能跑起来的。真动手试过的人都知道直接这么做会碰上一堆麻烦。LLM是自回归解码器它训练的目标是预测下一个token输出的是逐位置的隐状态。而CLIP需要的是一个句子级的全局表征。怎么从一堆位置向量里压出一个能代表整句话的向量这就是第一个坎。直接用最后一层的最后一个token效果通常很糟糕因为那个位置向量主要承载的是预测下一个词的信息不是整体的语义摘要。第二个坎是训练目标的冲突。对比学习希望文本表征尽量聚集同类语义、拉开不同语义LLM的语言建模希望每个token的概率分布准确。这两个目标交替优化很容易互相拖累出现语言能力保住了但对齐没学好或者反过来对齐还行但语言表征退化的失衡。第三个坎是工程上的。CLIP的训练要超大batch size对比学习的有效负样本越多效果越好经常是几万级别的batch。而一个7B甚至更大的LLM跑一次前向显存和时间都是传统文本塔的几十倍。这种计算压力在训练阶段是非常现实的阻碍。所以LLM2CLIP这类的核心贡献不只是想到用LLM换掉文本塔而是解决了这三个坎——它把自回归模型、对比学习、视觉塔训练这三件事揉在一起还揉得挺稳。2. LLM2CLIP核心机制它到底改了什么2.1 双塔不拆家只是把文本塔换成了LLM整体架构其实没有想象中复杂。图像这边继续沿用标准的ViT系列编码器输出patch级别特征后通过一个注意力池化压成图像向量文本这边把原来的浅层编码器换成LLM取LLM输出的多层表示做融合得到文本向量。然后两个向量被映射到同一个投影空间在这个空间里做对称的对比损失。为什么要特意强调双塔不拆家因为业界也尝试过把多模态理解做成单塔——例如把所有模态都塞进一个大模型里用一个统一Transformer处理。单塔的好处是模态间交互充分但坏处是检索任务里没法预计算向量索引每来一个query都要跑一次全量模型在线场景成本完全不可接受。双塔的意义在于图文向量可以先分别离线和在线抽好建好向量库线上只做向量近邻检索速度是毫秒级。LLM2CLIP保留了这套范式等于把CLIP的时代红利和LLM的时代红利同时握住了。具体到LLM怎么变成文本塔论文思路里最关键的细节是多层输出融合。直接把最后一层hidden state拉出来做平均池化通常信息损失大。比较稳妥的做法是取最后几层的表示做加权求和或者用一个小型注意力模块把多层隐状态压缩成一个句子向量。权重可以在训练中端到端地学出来。2.2 目标调和next token与对比损失怎么共存这是LLM2CLIP最值得细品的地方。一般人有两种极端做法要么完全冻结LLM只拿它当特征提取器要么全量微调LLM让它同时学语言建模和对比对齐。前一种受限于LLM本身的表征没有专门为了多模态对齐优化过后一种容易灾难性遗忘LLM原有的语言能力被对比目标冲击得七零八落。办法是给LLM保留一条语言能力后门——损失函数里除了对比损失再加一个任务相关的语言建模损失。形式上可以写成一个多任务的加权和# 简化伪代码LLM2CLIP 训练目标 loss contrastive_loss(img_emb, text_emb) lambda * lm_loss(llm_output, text_tokens)这个设计的巧妙之处在于lm_loss监督着LLM不要丢掉文本生成能力而contrastive_loss逼着它的输出表征去对齐图像空间。两条梯度路径互相制衡训练稳定性比单用对比损失好很多。lambda这个权重是调参重点我见过一些复现实验里lambda取0.1左右效果比较稳太大会让对比学习被淹没太小又会退化成我直接拿原始LLM抽特征不就好了。顺便插一句有些人在做这个方向的变体时还加了一个captions蒸馏辅助任务让LLM根据图像生成的caption比原始caption更长、更细节然后拿这个增强后的文本再去和图像做对齐。这其实是在数据层面也把LLM的能力榨干了——后文我会说这招就算不训练LLM2CLIP本身也可以单独拿来给现有CLIP模型续命。2.3 工程取舍显存、冻结与温度控制论文分享里对工程细节讲得比较实在我结合自己操作这类模型的体会展开说。显存控制方面LLM作为文本塔最理想的训练方式是整个塔都微调但显存和计算量太大。实际操作里比较常见的折衷是LLM的大部分层冻结只微调最后的几层、Norm层和一个额外的低秩适配头。图像塔通常是全量微调的因为视觉侧需要主动适应新的文本语义空间冻结图像塔反而会让对齐效果大打折扣。batch size和温度参数是CLIP系模型的两个命门。对比学习非常依赖大批量在LLM2CLIP这种模型上batch size往往比传统CLIP要小一些一部分原因是显存限制一部分原因是LLM的文本表征本身已经很强不需要那么多难负样本就能学到有价值的区分度。温度参数建议跟着训练进度做warmup前期温度高一点让模型先学个大致轮廓后期逐渐降低温度强化细粒度区分。还有一个工程细节很多复现者会忽略LLM的输出向量分布和图像侧的特征分布scale往往不在一个数量级。对比学习对两个塔的向量scale很敏感如果不做向量归一化或者缺少一个可学习的投影头来对齐scale训练很容易震荡。稳妥做法是在双塔输出后都接一个LayerNorm加线性投影确保进入contrastive loss之前的向量分布比较稳定。3. 能力边界的答案什么能力真的被顶开了3.1 被顶开的部分细粒度语义、长尾概念与组合理解多模态表征的能力边界最直观的定义就是什么样的图文语义能被区分开。LLM2CLIP这类工作真正拉开优势的正是之前CLIP无能为力的三类语义。第一类叫细粒度属性绑定。比如一只黄色的狗和一只黑色毛发、黄色眼睛的狗传统CLIP文本塔对颜色和部位的组合表达能力很弱经常出现模型知道有狗不知道毛发颜色的尴尬。LLM的文本表征天然擅长处理多属性组合因为语言模型在下一词预测时已经在大量句子里学会了颜色修饰名词这种组合结构换到多模态对齐里图像特征就能更精准地和这些属性绑定。第二类是长尾概念。CLIP训练数据里狗、猫这种常见概念样本多、学得好比熊犬、沙皮狗和中华田园犬的串串这种长尾概念就断崖式掉点。但LLM在纯文本预训练阶段见过无数长尾词汇它的语义空间里这些概念是有位置的甚至还有邻接关系。把这种先验知识注入图文对齐小样本和零样本的长尾识别能提升不少。第三类是复杂指令和关系的理解。类似不是在跑步的人而是在看别人跑步的人、桌上的第二个马克杯这类需要组合推理的描述传统文本塔经常理解成扁平关键词组合LLM能更好地抓住句法结构带来的限定关系。这在检索任务里特别有价值——用户搜索词往往是自然语言长句而不仅仅是几个标签词。我整理了一个粗略的能力对比表方便你直观感受能力维度传统CLIP文本塔LLM2CLIP文本塔颜色/数量/位置等属性绑定较弱容易混淆明显增强长尾实体与专业术语依赖训练数据覆盖度继承LLM先验知识复杂句法与否定语义常常失效能较好处理多义词和上下文依赖表征单一可根据上下文区分简单标签类检索优秀优秀无明显倒退3.2 没被顶开的部分低级视觉属性与推理天花板论文和一作分享里最清醒的一点是明确指出能力边界没有被推成无限大。有几个方向即便换成LLM文本塔依旧吃力。一个是低级视觉属性的符号化困难。颜色、纹理、光照、模糊度、拍摄角度这些视觉特征文本描述其实很难精确锚定。你说一张偏暗的照片这个暗在语言空间里是模糊的不同人的主观判断不一样模型自然也很难通过对比学习真正学会。这类属性和其说靠换文本塔解决不如靠图像侧的数据增强和辅助分类任务解决。另一个是视觉关系的幻觉问题。LLM具备很强的世界知识但它也会脑补。如果caption里写着一只独角兽站在彩虹上LLM的文本表征非常自然但图像侧根本没有对应视觉模式对比学习就会强行把不存在的视觉特征往这个语义上拽。这种有文本无视觉的偏差在高度想象性描述里会引入噪声。你去看这类模型的错误案例很多是文本侧很自信图像侧很无辜。还有一个是天生的天花板对比表征不是推理引擎。无论LLM多大双塔结构产出的都是一个静态向量。向量里可以编码这是猫在追球但编码不了如果猫追到球接下来会发生什么这种时序推理。任何对比学习方法都没法仅靠表征做到多步推理这是任务的边界不是模型容量的边界。3.3 边界启示别把你的模型瓶颈全归因于数据不够这是整场分享里我印象最深的一句话多模态表征模型的能力边界是由数据、架构和训练目标共同决定的而不是单纯由参数量决定的。以前大家遇到模型效果上不去第一反应就是再多攒点图文对。但LLM2CLIP用实验证明了一个反直觉的结论在同等甚至更少量的训练数据下只要文本塔换成LLM并配上合适的训练目标很多之前数据不够的任务效果反而能明显提升。因为语言侧的先验知识弥补了图文对里缺失的语义监督。当然这也带来一个新的研究问题图文对数据的质量比数量更重要。如果caption本身是从我的产品里自动生成的充斥着糟糕的模板和废话那就算LLM编码器再强它也没有可以对齐的语义对象。4. 实操把LLM2CLIP的方法迁移到自己的业务4.1 立省算力的第一杠杆先别重新训练先用LLM改写caption如果你没有几十张显卡的预算来完整复现LLM2CLIP最划算的一步是用现成的LLM离线把训练集里的caption全部改写一遍再用原始的CLIP目标微调当前模型。这个思路的底层逻辑是LLM2CLIP的优势有很大一部分来自语义标注的密度提升。原始互联网图文对里大多是美女、汽车这种贫瘠标签而LLM能把它扩写成一个几十词的描述句相当于在不增加图像数据的前提下凭空增加了大量稠密监督信号。我举个例子。原始alt文本可能是沙滩上的狗用LLM改写后可以是一只金毛猎犬在黄昏的沙滩上奔跑嘴里叼着一根木棍 远处能看到浅蓝色的海浪整体画面偏暖色调模型拿后面这种caption去和图像做对比能学到的绑定关系多得多。我实测下来仅做这一步caption改写用CLIP目标微调在一些垂直领域图文检索的recall10上就能提升五六个点这是性价比极高的杠杆。提示caption改写的时候让LLM坚持只描述图像里确实可见的内容不要强行脑补。不然会引入和原图不一致的细节反而增加训练噪声。我自己第一次做的时候让LLM自由发挥结果生成了一堆可能存在的背景故事模型就越训越歪。4.2 低成本延展在已有表征模型上叠加LLM语义修正第二个梯度是给现有CLIP模型加一个语义侧修正器不一定重新训练塔。具体做法可以是在CLIP输出的文本表征之外单独用LLM抽一个文本表征。检索/分类时把两个表征拼接或者做一个浅层融合网络让模型同时看到CLIP语义和LLM语义两种视角。这本质上是一种模型集成缺点是线上要维护两个文本编码器推理成本高。但因为两个塔的语义互补性很强在很多任务里效果能接近完整训练的LLM2CLIP同时又不需要动训练流程。如果你做的是视频理解或者多帧图像检索这个方法尤其好用——视频通常有一句完整的旁白或描述这种复杂句恰恰是CLIP文本塔的弱项而LLM表征能补救不少。4.3 从零复现LLM2CLIP的训练要点如果条件允许想从零训练一个LLM2CLIP我把关键步骤和参数建议整理成一套可复现的流程。数据准备阶段图文对清洗去掉纯图片、无文本、明显广告的样本用中等规模LLM离线改写caption统一成实体属性场景关系的描述结构构造难负样本尤其是语义相似但实体不同的文本对比如白色贵宾犬和白色比熊犬提升区分难度。模型配置阶段图像塔用ViT-L或者更大输出维度统一到768或1024文本塔用LLM的最后六层隐状态加权池化接一层LayerNorm和线性投影损失函数对比损失语言建模损失lambda取0.1附近。训练超参数方面贴一个我试下来还算稳妥的配置模板# 可参考的训练配置 batch_size: 2048 # 受显存限制比传统CLIP小 learning_rate: 1e-4 # 文本塔可低至 1e-5 temperature: 0.07 temperature_warmup_steps: 2000 lambda_lm: 0.1 # 语言建模损失的权重 image_encoder_lr_scale: 2.0 text_encoder_freeze_layers: 0-20 # 冻结LLM前20层 text_encoder_train_layers: 21-24 projection_dim: 1024训练阶段前几步建议只训练投影头和图像塔LLM全冻结让两个塔先在嵌入空间里接上头训练稳定后逐步解冻LLM尾部层和低秩适配模块温度参数按warmup策略走到预设值后再开始降学习率。4.4 评估到底该看什么指标很多人在评估多模态表征时只盯着一个RecallK这其实不够。LLM2CLIP这类模型的能力提升是分布式的单一指标很容易掩盖问题。我建议至少看三组指标图文双向检索的Recall1/5/10这是最基础的对齐质量Zero-shot分类准确率尤其在长尾类别上的分层准确率看LLM先验是否真的起作用细粒度Pair区分难度构造一些只有微小差异的正负样本对比如左边是穿蓝衣服的人右边是穿绿衣服的人看模型能不能正确排序。特别是第三个指标比普通Recall更能反映多模态表征的语义分辨率。你不想看到的结果是模型对所有人衣服的样本都拉得很近分不清衣服颜色。我在评估里吃过这个亏早期只看全局Recall导致模型上线后被细粒度任务反复打脸。5. 常见问题与排查实录真动手复现这类模型坑不少。我把实际调参和训练中容易遇到的一类问题整理成速查表按重要性排序症状可能原因排查方向训练Loss持续震荡不降双塔学习率失衡、温度不合适、batch太小检查两塔梯度尺度尝试分开设学习率表征坍缩所有样本相似度趋同对比损失权重大、投影头过深、负样本不足增加难负样本降低投影头复杂度Zero-shot涨了但检索掉点训练数据分布和检索分布差异太大检查评估集和训练集的语义分布重叠显存OOMLLM批次过大、梯度检查点未开梯度检查点分块训练冻结更多层训练慢到离谱LLM全量前向冻结前层、使用低秩适配、投影头前先缓存文本向量5.1 Loss浮动剧烈、不收敛这是最常见的问题。对比学习本身对batch size敏感如果batch小、温度又高正负样本对的区分信号太弱Loss就会在高位震荡。排查顺序是先把温度降到0.07附近看是否稳定若仍不稳定检查图像塔和文本塔的梯度scale是否差了几个数量级。LLM侧梯度很容易异常偏大建议给文本塔单独设置更小的学习率或者做梯度裁剪到1.0。5.2 零样本指标涨了但检索任务反而掉点这个现象通常出现在只做了caption改写、但评估时遇到短down query的场景。模型适应了LLM生成的长描述反而对短标签查询不敏感了。解决方案是在训练数据里按比例混入原始短caption不要让改写文本完全覆盖原始分布。我习惯按7:3混——七成改写文本三成原文本这样模型对两种长度的query都健壮。5.3 显存不足与训练速度过慢LLM2CLIP类模型的显存大头在文本塔。实操上我推荐三管齐下第一能冻结的层坚决冻结特别是LLM底部层对最终表征影响小但显存占用大第二使用梯度检查点用一点点计算换显存第三开启混合精度训练。如果文本塔实在太大考虑一个变通方案先用LLM把训练集里的所有文本离线抽成向量缓存起来然后训练过程中文本侧直接取缓存向量图像塔照常训练。这样LLM只在数据准备阶段跑一次训练时文本塔完全不占显存。代价是文本塔不再参与端到端更新但对很多业务场景来说这个妥协很值。5.4 表征坍缩的判断与干预表征坍缩是对比学习最隐蔽的坑特别是当你把LLM的文本表示接入之后。症状是验证集上所有样本的pair相似度都非常接近0.9以上模型看似收敛实则已经退化成一个分不清谁是谁的常数映射。判断方法很简单每N个step抽取一批验证集图文对打印相似度分布。如果分布方差极小或趋近于0/1两极就要立刻干预。常见的干预手段包括调低温度、增大负样本数量、给LLM侧表征加一个随机mask噪声、以及在投影头后加一个dropout。我个人的经验是投影头不要太深两层MLP已经足够过深会加剧坍缩风险。5.5 一些容易被忽略的细节最后分享几个容易被忽略的小点都是我反复踩坑后的结论。一是Caption改写时不要让LLM过度美化。比如原图是办公室一角你改成整洁明亮的现代化办公室桌上有一台笔记本电脑如果图像里其实没有笔记本电脑这个正样本就是脏的。二是多卡训练时要注意BatchNorm的同步问题。如果图像塔用了适当的BatchNorm多卡环境下样本统计量不一致会影响对比学习。建议要么换用LayerNorm要么开启同步BN。三是checkpoint策略。LLM2CLIP这类模型训练时间长建议同时保存图像塔投影头和文本塔投影头两份checkpoint方便后续单独微调一侧。检索场景只需要图像向量时文本塔甚至可以只保留推理时的缓存。我在实际使用中的体会是LLM2CLIP真正教会我的不是LLM是更好的文本塔这一句话而是多模态表征的能力边界并不完全由数据堆砌决定语言先验、训练目标和工程设计的组合拳才是最值得研究的空间。如果你的业务暂时无法承担完整的训练成本至少可以从caption改写这一步开始——那是所有方法里杠杆最高、门槛最低的动作。等哪天算力到位了再把模型结构升级成全套LLM2CLIP方案也不迟。 
长河君 · 2026/10/21 19:35:34 · 阅读 1.2k LLM2CLIP：用LLM替换文本塔，多模态表征能力边界被大幅推开
多模态表征模型这两年几乎是所有检索、多模态大模型、甚至推荐系统绕不开的基础设施。CLIP那套双塔对比学习在很长一段时间里是默认答案但它文本塔太单薄这个毛病也一直被诟病——遇到复杂语义的图文对经常抓瞎。LLM2CLIP这个工作拿了AI顶会AAAI的杰出论文奖一作在分享里反复强调一个词能力边界。这篇博文我会围绕LLM2CLIP把三件事讲透它到底改了什么、它把多模态表征的边界推到哪里、以及这套思路如何迁移到我们自己的业务和项目里。如果你在做多模态检索、图生文、图文表征微调或者单纯想知道换一个更强的文本塔到底能带来多少收益这篇文章值得你花十分钟看完。1. 先搞清楚多模态表征模型卡在哪里了1.1 CLIP做了什么又留下什么坑CLIP的核心方法很多人已经很熟了一个图像编码器、一个文本编码器把图片和对应的文本描述分别映射到同一个向量空间里然后通过对比学习让正样本对的距离近、负样本对的距离远。向量空间一旦建立下游就能做零样本分类、图文双向检索、给多模态大模型当视觉编码器甚至给推荐系统做兴趣向量。这套东西成功的关键在于海量图文对简单对比目标。但它有几个一直被刻意忽略的坑这几年陆续暴露出来。第一个坑就是文本塔的容量。CLIP的文本编码器为了速度和训练稳定性往往做得非常浅——我印象里最典型的结构比图像塔小了一个数量级。这意味着它只擅长捕捉一些扁平的语义比如一只猫、一辆红色汽车。一旦描述变成一只戴蓝色帽子的柴犬坐在公园长椅上旁边有一辆模糊的白色面包车传统文本编码器的向量表征很容易把前半句的信息稀释掉甚至丢掉修饰关系。第二个坑是数据噪声。CLIP训练用的图文对是从互联网海量抓取的一张图片搭配的alt文本可能是美女这种超高噪声的短句也可能是完全不相关的营销文案。模型在这种数据上做对齐学到的往往是粗略的语义浅对齐——知道这张图和猫相关但不知道猫的姿势、颜色、背景、数量这些细粒度信息。第三个坑更底层对比学习本质上只能学模态间的共享信息。图像里有、文本里没写出来的那些细节模型根本没有监督信号去学。这个特性决定了CLIP这类模型的能力天花板——它的边界不是你堆多少数据就能突破的而是训练目标本身画下的。1.2 为什么说LLM是天然的世界知识锚点大语言模型在互联网文本上预训练了那么大的参数量学到了海量的世界知识——概念之间的关联、实体的属性、空间关系的常识、几乎无限的长尾术语。这些东西正好是传统CLIP文本塔最缺的。语言本身就是高度压缩的抽象符号系统一段文本虽然短但它背后承接的知识密度极高。你要理解一张青霉素分子结构图光靠图像特征是识别不出青霉素这个概念的但LLM的文本表征里天然就有这个实体的语义坐标。所以一个很自然的想法出现了既然文本塔是短板那我把CLIP的文本塔直接换成一个LLM让对比学习发生在LLM的文本表征和视觉特征之间。这其实就是LLM2CLIP以及同方向一批工作最朴素的出发点。它们想验证一件事如果语言侧的语义锚点足够强多模态表征的能力边界是不是能往外推一大截。1.3 直接换编码器为什么行不通但问题没那么简单。把文本塔换成LLM不是一行代码改改模型名就能跑起来的。真动手试过的人都知道直接这么做会碰上一堆麻烦。LLM是自回归解码器它训练的目标是预测下一个token输出的是逐位置的隐状态。而CLIP需要的是一个句子级的全局表征。怎么从一堆位置向量里压出一个能代表整句话的向量这就是第一个坎。直接用最后一层的最后一个token效果通常很糟糕因为那个位置向量主要承载的是预测下一个词的信息不是整体的语义摘要。第二个坎是训练目标的冲突。对比学习希望文本表征尽量聚集同类语义、拉开不同语义LLM的语言建模希望每个token的概率分布准确。这两个目标交替优化很容易互相拖累出现语言能力保住了但对齐没学好或者反过来对齐还行但语言表征退化的失衡。第三个坎是工程上的。CLIP的训练要超大batch size对比学习的有效负样本越多效果越好经常是几万级别的batch。而一个7B甚至更大的LLM跑一次前向显存和时间都是传统文本塔的几十倍。这种计算压力在训练阶段是非常现实的阻碍。所以LLM2CLIP这类的核心贡献不只是想到用LLM换掉文本塔而是解决了这三个坎——它把自回归模型、对比学习、视觉塔训练这三件事揉在一起还揉得挺稳。2. LLM2CLIP核心机制它到底改了什么2.1 双塔不拆家只是把文本塔换成了LLM整体架构其实没有想象中复杂。图像这边继续沿用标准的ViT系列编码器输出patch级别特征后通过一个注意力池化压成图像向量文本这边把原来的浅层编码器换成LLM取LLM输出的多层表示做融合得到文本向量。然后两个向量被映射到同一个投影空间在这个空间里做对称的对比损失。为什么要特意强调双塔不拆家因为业界也尝试过把多模态理解做成单塔——例如把所有模态都塞进一个大模型里用一个统一Transformer处理。单塔的好处是模态间交互充分但坏处是检索任务里没法预计算向量索引每来一个query都要跑一次全量模型在线场景成本完全不可接受。双塔的意义在于图文向量可以先分别离线和在线抽好建好向量库线上只做向量近邻检索速度是毫秒级。LLM2CLIP保留了这套范式等于把CLIP的时代红利和LLM的时代红利同时握住了。具体到LLM怎么变成文本塔论文思路里最关键的细节是多层输出融合。直接把最后一层hidden state拉出来做平均池化通常信息损失大。比较稳妥的做法是取最后几层的表示做加权求和或者用一个小型注意力模块把多层隐状态压缩成一个句子向量。权重可以在训练中端到端地学出来。2.2 目标调和next token与对比损失怎么共存这是LLM2CLIP最值得细品的地方。一般人有两种极端做法要么完全冻结LLM只拿它当特征提取器要么全量微调LLM让它同时学语言建模和对比对齐。前一种受限于LLM本身的表征没有专门为了多模态对齐优化过后一种容易灾难性遗忘LLM原有的语言能力被对比目标冲击得七零八落。办法是给LLM保留一条语言能力后门——损失函数里除了对比损失再加一个任务相关的语言建模损失。形式上可以写成一个多任务的加权和# 简化伪代码LLM2CLIP 训练目标 loss contrastive_loss(img_emb, text_emb) lambda * lm_loss(llm_output, text_tokens)这个设计的巧妙之处在于lm_loss监督着LLM不要丢掉文本生成能力而contrastive_loss逼着它的输出表征去对齐图像空间。两条梯度路径互相制衡训练稳定性比单用对比损失好很多。lambda这个权重是调参重点我见过一些复现实验里lambda取0.1左右效果比较稳太大会让对比学习被淹没太小又会退化成我直接拿原始LLM抽特征不就好了。顺便插一句有些人在做这个方向的变体时还加了一个captions蒸馏辅助任务让LLM根据图像生成的caption比原始caption更长、更细节然后拿这个增强后的文本再去和图像做对齐。这其实是在数据层面也把LLM的能力榨干了——后文我会说这招就算不训练LLM2CLIP本身也可以单独拿来给现有CLIP模型续命。2.3 工程取舍显存、冻结与温度控制论文分享里对工程细节讲得比较实在我结合自己操作这类模型的体会展开说。显存控制方面LLM作为文本塔最理想的训练方式是整个塔都微调但显存和计算量太大。实际操作里比较常见的折衷是LLM的大部分层冻结只微调最后的几层、Norm层和一个额外的低秩适配头。图像塔通常是全量微调的因为视觉侧需要主动适应新的文本语义空间冻结图像塔反而会让对齐效果大打折扣。batch size和温度参数是CLIP系模型的两个命门。对比学习非常依赖大批量在LLM2CLIP这种模型上batch size往往比传统CLIP要小一些一部分原因是显存限制一部分原因是LLM的文本表征本身已经很强不需要那么多难负样本就能学到有价值的区分度。温度参数建议跟着训练进度做warmup前期温度高一点让模型先学个大致轮廓后期逐渐降低温度强化细粒度区分。还有一个工程细节很多复现者会忽略LLM的输出向量分布和图像侧的特征分布scale往往不在一个数量级。对比学习对两个塔的向量scale很敏感如果不做向量归一化或者缺少一个可学习的投影头来对齐scale训练很容易震荡。稳妥做法是在双塔输出后都接一个LayerNorm加线性投影确保进入contrastive loss之前的向量分布比较稳定。3. 能力边界的答案什么能力真的被顶开了3.1 被顶开的部分细粒度语义、长尾概念与组合理解多模态表征的能力边界最直观的定义就是什么样的图文语义能被区分开。LLM2CLIP这类工作真正拉开优势的正是之前CLIP无能为力的三类语义。第一类叫细粒度属性绑定。比如一只黄色的狗和一只黑色毛发、黄色眼睛的狗传统CLIP文本塔对颜色和部位的组合表达能力很弱经常出现模型知道有狗不知道毛发颜色的尴尬。LLM的文本表征天然擅长处理多属性组合因为语言模型在下一词预测时已经在大量句子里学会了颜色修饰名词这种组合结构换到多模态对齐里图像特征就能更精准地和这些属性绑定。第二类是长尾概念。CLIP训练数据里狗、猫这种常见概念样本多、学得好比熊犬、沙皮狗和中华田园犬的串串这种长尾概念就断崖式掉点。但LLM在纯文本预训练阶段见过无数长尾词汇它的语义空间里这些概念是有位置的甚至还有邻接关系。把这种先验知识注入图文对齐小样本和零样本的长尾识别能提升不少。第三类是复杂指令和关系的理解。类似不是在跑步的人而是在看别人跑步的人、桌上的第二个马克杯这类需要组合推理的描述传统文本塔经常理解成扁平关键词组合LLM能更好地抓住句法结构带来的限定关系。这在检索任务里特别有价值——用户搜索词往往是自然语言长句而不仅仅是几个标签词。我整理了一个粗略的能力对比表方便你直观感受能力维度传统CLIP文本塔LLM2CLIP文本塔颜色/数量/位置等属性绑定较弱容易混淆明显增强长尾实体与专业术语依赖训练数据覆盖度继承LLM先验知识复杂句法与否定语义常常失效能较好处理多义词和上下文依赖表征单一可根据上下文区分简单标签类检索优秀优秀无明显倒退3.2 没被顶开的部分低级视觉属性与推理天花板论文和一作分享里最清醒的一点是明确指出能力边界没有被推成无限大。有几个方向即便换成LLM文本塔依旧吃力。一个是低级视觉属性的符号化困难。颜色、纹理、光照、模糊度、拍摄角度这些视觉特征文本描述其实很难精确锚定。你说一张偏暗的照片这个暗在语言空间里是模糊的不同人的主观判断不一样模型自然也很难通过对比学习真正学会。这类属性和其说靠换文本塔解决不如靠图像侧的数据增强和辅助分类任务解决。另一个是视觉关系的幻觉问题。LLM具备很强的世界知识但它也会脑补。如果caption里写着一只独角兽站在彩虹上LLM的文本表征非常自然但图像侧根本没有对应视觉模式对比学习就会强行把不存在的视觉特征往这个语义上拽。这种有文本无视觉的偏差在高度想象性描述里会引入噪声。你去看这类模型的错误案例很多是文本侧很自信图像侧很无辜。还有一个是天生的天花板对比表征不是推理引擎。无论LLM多大双塔结构产出的都是一个静态向量。向量里可以编码这是猫在追球但编码不了如果猫追到球接下来会发生什么这种时序推理。任何对比学习方法都没法仅靠表征做到多步推理这是任务的边界不是模型容量的边界。3.3 边界启示别把你的模型瓶颈全归因于数据不够这是整场分享里我印象最深的一句话多模态表征模型的能力边界是由数据、架构和训练目标共同决定的而不是单纯由参数量决定的。以前大家遇到模型效果上不去第一反应就是再多攒点图文对。但LLM2CLIP用实验证明了一个反直觉的结论在同等甚至更少量的训练数据下只要文本塔换成LLM并配上合适的训练目标很多之前数据不够的任务效果反而能明显提升。因为语言侧的先验知识弥补了图文对里缺失的语义监督。当然这也带来一个新的研究问题图文对数据的质量比数量更重要。如果caption本身是从我的产品里自动生成的充斥着糟糕的模板和废话那就算LLM编码器再强它也没有可以对齐的语义对象。4. 实操把LLM2CLIP的方法迁移到自己的业务4.1 立省算力的第一杠杆先别重新训练先用LLM改写caption如果你没有几十张显卡的预算来完整复现LLM2CLIP最划算的一步是用现成的LLM离线把训练集里的caption全部改写一遍再用原始的CLIP目标微调当前模型。这个思路的底层逻辑是LLM2CLIP的优势有很大一部分来自语义标注的密度提升。原始互联网图文对里大多是美女、汽车这种贫瘠标签而LLM能把它扩写成一个几十词的描述句相当于在不增加图像数据的前提下凭空增加了大量稠密监督信号。我举个例子。原始alt文本可能是沙滩上的狗用LLM改写后可以是一只金毛猎犬在黄昏的沙滩上奔跑嘴里叼着一根木棍 远处能看到浅蓝色的海浪整体画面偏暖色调模型拿后面这种caption去和图像做对比能学到的绑定关系多得多。我实测下来仅做这一步caption改写用CLIP目标微调在一些垂直领域图文检索的recall10上就能提升五六个点这是性价比极高的杠杆。提示caption改写的时候让LLM坚持只描述图像里确实可见的内容不要强行脑补。不然会引入和原图不一致的细节反而增加训练噪声。我自己第一次做的时候让LLM自由发挥结果生成了一堆可能存在的背景故事模型就越训越歪。4.2 低成本延展在已有表征模型上叠加LLM语义修正第二个梯度是给现有CLIP模型加一个语义侧修正器不一定重新训练塔。具体做法可以是在CLIP输出的文本表征之外单独用LLM抽一个文本表征。检索/分类时把两个表征拼接或者做一个浅层融合网络让模型同时看到CLIP语义和LLM语义两种视角。这本质上是一种模型集成缺点是线上要维护两个文本编码器推理成本高。但因为两个塔的语义互补性很强在很多任务里效果能接近完整训练的LLM2CLIP同时又不需要动训练流程。如果你做的是视频理解或者多帧图像检索这个方法尤其好用——视频通常有一句完整的旁白或描述这种复杂句恰恰是CLIP文本塔的弱项而LLM表征能补救不少。4.3 从零复现LLM2CLIP的训练要点如果条件允许想从零训练一个LLM2CLIP我把关键步骤和参数建议整理成一套可复现的流程。数据准备阶段图文对清洗去掉纯图片、无文本、明显广告的样本用中等规模LLM离线改写caption统一成实体属性场景关系的描述结构构造难负样本尤其是语义相似但实体不同的文本对比如白色贵宾犬和白色比熊犬提升区分难度。模型配置阶段图像塔用ViT-L或者更大输出维度统一到768或1024文本塔用LLM的最后六层隐状态加权池化接一层LayerNorm和线性投影损失函数对比损失语言建模损失lambda取0.1附近。训练超参数方面贴一个我试下来还算稳妥的配置模板# 可参考的训练配置 batch_size: 2048 # 受显存限制比传统CLIP小 learning_rate: 1e-4 # 文本塔可低至 1e-5 temperature: 0.07 temperature_warmup_steps: 2000 lambda_lm: 0.1 # 语言建模损失的权重 image_encoder_lr_scale: 2.0 text_encoder_freeze_layers: 0-20 # 冻结LLM前20层 text_encoder_train_layers: 21-24 projection_dim: 1024训练阶段前几步建议只训练投影头和图像塔LLM全冻结让两个塔先在嵌入空间里接上头训练稳定后逐步解冻LLM尾部层和低秩适配模块温度参数按warmup策略走到预设值后再开始降学习率。4.4 评估到底该看什么指标很多人在评估多模态表征时只盯着一个RecallK这其实不够。LLM2CLIP这类模型的能力提升是分布式的单一指标很容易掩盖问题。我建议至少看三组指标图文双向检索的Recall1/5/10这是最基础的对齐质量Zero-shot分类准确率尤其在长尾类别上的分层准确率看LLM先验是否真的起作用细粒度Pair区分难度构造一些只有微小差异的正负样本对比如左边是穿蓝衣服的人右边是穿绿衣服的人看模型能不能正确排序。特别是第三个指标比普通Recall更能反映多模态表征的语义分辨率。你不想看到的结果是模型对所有人衣服的样本都拉得很近分不清衣服颜色。我在评估里吃过这个亏早期只看全局Recall导致模型上线后被细粒度任务反复打脸。5. 常见问题与排查实录真动手复现这类模型坑不少。我把实际调参和训练中容易遇到的一类问题整理成速查表按重要性排序症状可能原因排查方向训练Loss持续震荡不降双塔学习率失衡、温度不合适、batch太小检查两塔梯度尺度尝试分开设学习率表征坍缩所有样本相似度趋同对比损失权重大、投影头过深、负样本不足增加难负样本降低投影头复杂度Zero-shot涨了但检索掉点训练数据分布和检索分布差异太大检查评估集和训练集的语义分布重叠显存OOMLLM批次过大、梯度检查点未开梯度检查点分块训练冻结更多层训练慢到离谱LLM全量前向冻结前层、使用低秩适配、投影头前先缓存文本向量5.1 Loss浮动剧烈、不收敛这是最常见的问题。对比学习本身对batch size敏感如果batch小、温度又高正负样本对的区分信号太弱Loss就会在高位震荡。排查顺序是先把温度降到0.07附近看是否稳定若仍不稳定检查图像塔和文本塔的梯度scale是否差了几个数量级。LLM侧梯度很容易异常偏大建议给文本塔单独设置更小的学习率或者做梯度裁剪到1.0。5.2 零样本指标涨了但检索任务反而掉点这个现象通常出现在只做了caption改写、但评估时遇到短down query的场景。模型适应了LLM生成的长描述反而对短标签查询不敏感了。解决方案是在训练数据里按比例混入原始短caption不要让改写文本完全覆盖原始分布。我习惯按7:3混——七成改写文本三成原文本这样模型对两种长度的query都健壮。5.3 显存不足与训练速度过慢LLM2CLIP类模型的显存大头在文本塔。实操上我推荐三管齐下第一能冻结的层坚决冻结特别是LLM底部层对最终表征影响小但显存占用大第二使用梯度检查点用一点点计算换显存第三开启混合精度训练。如果文本塔实在太大考虑一个变通方案先用LLM把训练集里的所有文本离线抽成向量缓存起来然后训练过程中文本侧直接取缓存向量图像塔照常训练。这样LLM只在数据准备阶段跑一次训练时文本塔完全不占显存。代价是文本塔不再参与端到端更新但对很多业务场景来说这个妥协很值。5.4 表征坍缩的判断与干预表征坍缩是对比学习最隐蔽的坑特别是当你把LLM的文本表示接入之后。症状是验证集上所有样本的pair相似度都非常接近0.9以上模型看似收敛实则已经退化成一个分不清谁是谁的常数映射。判断方法很简单每N个step抽取一批验证集图文对打印相似度分布。如果分布方差极小或趋近于0/1两极就要立刻干预。常见的干预手段包括调低温度、增大负样本数量、给LLM侧表征加一个随机mask噪声、以及在投影头后加一个dropout。我个人的经验是投影头不要太深两层MLP已经足够过深会加剧坍缩风险。5.5 一些容易被忽略的细节最后分享几个容易被忽略的小点都是我反复踩坑后的结论。一是Caption改写时不要让LLM过度美化。比如原图是办公室一角你改成整洁明亮的现代化办公室桌上有一台笔记本电脑如果图像里其实没有笔记本电脑这个正样本就是脏的。二是多卡训练时要注意BatchNorm的同步问题。如果图像塔用了适当的BatchNorm多卡环境下样本统计量不一致会影响对比学习。建议要么换用LayerNorm要么开启同步BN。三是checkpoint策略。LLM2CLIP这类模型训练时间长建议同时保存图像塔投影头和文本塔投影头两份checkpoint方便后续单独微调一侧。检索场景只需要图像向量时文本塔甚至可以只保留推理时的缓存。我在实际使用中的体会是LLM2CLIP真正教会我的不是LLM是更好的文本塔这一句话而是多模态表征的能力边界并不完全由数据堆砌决定语言先验、训练目标和工程设计的组合拳才是最值得研究的空间。如果你的业务暂时无法承担完整的训练成本至少可以从caption改写这一步开始——那是所有方法里杠杆最高、门槛最低的动作。等哪天算力到位了再把模型结构升级成全套LLM2CLIP方案也不迟。