聊到深度学习任务大家应该都听过分类、回归、检测、分割这些名词。可真正接手一个项目时很多人第一时间会卡在同一个问题上这事到底属于什么任务该用哪类模型该配什么损失函数如果这个问题没想清楚后面大概率会在实验里反复试错最后发现方向从一开始就偏了。这篇文章把深度学习任务分类这件事摊开讲一遍并带一个完整的图像分类实操示例。这个系列第一篇先做地基把任务地图、常见类型、核心损失和训练套路串起来让刚入门的朋友拿到一个需求时能快速判断任务类型让有经验的开发者也能回头检查一下自己的选型逻辑。全文不绕弯子直接讲怎么看任务、怎么分类、怎么落地。1. 为什么任务分类是深度学习的“第一块敲门砖”1.1 任务类型决定后面的一切选择我先说一个最直观的现象很多同学拿着一个项目来找我第一句话是“我想用深度学习做一个东西”但问到他到底要模型输出什么往往答不上来。这就是问题所在。任务分类之所以重要是因为它直接决定了三件事网络结构、损失函数、评价指标。这三件事是深度学习实验里最核心的三块拼图。模型输出的是连续数值那大概率是回归任务网络最后一层通常只有1个节点损失用均方误差。模型输出的是类别概率那是分类任务最后一层是Softmax损失用交叉熵。模型输出的是一个区域框那是目标检测本质上要同时做分类和回归。模型输出的是逐像素的类别那是语义分割损失依然是交叉熵但空间维度上要做逐像素计算。换句话说任务类型不是教科书的分类学游戏而是整个工程链路的第一道岔路口。走错岔路后面再怎么调参都很难救回来最多是硬凑效果。1.2 先从“输出空间”看任务比背概念更快我自己习惯用一个比较土的方法来判断任务类型画一张输入-输出表把模型要预测的东西写清楚再看输出长什么样。表格里最核心的字段是“输出形式”。输出是单个标签就是分类输出是连续实数就是回归输出是一组边界框坐标加类别就是检测输出是和输入同尺寸的逐像素标签就是分割输出是一段新的文本或图像就是生成任务。这个方法不需要先背任何模型名字只要能描述清楚输出长什么样任务类型就自然浮现出来了。任务方向输出形式典型损失典型场景二分类0/1 标签或正例概率交叉熵垃圾邮件判断多分类有限类别中的1个Softmax交叉熵图像分类、文本分类多标签多个0/1标签多个二分类损失标签推荐、属性识别回归连续数值MSE / MAE价格预测、温度预测目标检测边界框类别分类损失回归损失安防巡检、自动驾驶语义分割逐像素类别像素级交叉熵医学影像分割生成与输入同分布的样本分布距离类损失图像生成、语音合成序列预测一排有序输出CE / MSE翻译、时间序列预测这张表实际上就是深度学习任务的骨架。之后不管是看论文还是读开源代码先拿这张表去对照基本不会跑偏。1.3 再看数据标签的“参与程度”除了输出空间还有一条非常关键的维度标签从哪来。这决定了你训练模型的成本也决定了你能用什么学习范式。最理想的情况是有大量人工标注数据这就是标准的监督学习。图像分类的猫狗图片、垃圾邮件的正常/标记都属于这一类。只要数据干净、量够监督学习的效果通常是最稳的也是工业界部署最多的模式。没有标签但想把数据拆成几组那就是无监督学习里的聚类任务。电商平台给用户分群、无标注图像的相似图片检索都属于这类。生成模型也常常被归到无监督里因为它不需要每个样本的精确标签只需要从整体分布里学会生成新样本。还有一条更容易被忽略的路线是自监督学习。它不靠人工标签而是自己构造监督信号。比如把一张图片随机裁出两块让模型判断它们是不是来自同一张原图或者把一段文本里的某个词遮住让模型根据上下文猜出来。这些方法最近几年被广泛用于预训练效果在很多下游任务上甚至超过纯监督模型。判断任务类型时如果只盯着模型看很容易忽略一个最现实的问题你到底有没有标签数据没有标签却想做分类那就要么先聚类做预分组要么用自监督先把特征学好再迁移到下游任务。这已经不是模型选型问题而是数据问题的延伸。2. 三大基础任务分类、回归与结构化输出2.1 分类任务从单个节点到Softmax概率分布分类是深度学习里最基础、也最容易理解的任务。它的核心是把输入映射到一组预先定义好的类别上。二分类最简单模型最后一层输出一个0到1之间的概率再通过阈值判断属于正类还是负类。多分类则在最后一层输出N个节点的得分再用Softmax函数把这些得分转成概率分布所有类别的概率加起来等于1。初学者最容易踩的坑是混淆“多分类”和“多标签”。多分类的意思是同一张图片只能属于一个类别比如一张图像里只有一只动物类别是猫、狗、鸟三选一。多标签则是同一张图片可以同时属于多个类别比如一张图里既有猫又有狗那猫和狗这两个标签都应该被预测出来。损失函数截然不同多分类用Softmax交叉熵多标签通常把每个标签当独立二分类做用多个二分类的交叉熵或者带Sigmoid的BCE损失。分类任务的应用场景不用多举例子图像分类、文本情感判断、垃圾邮件识别、疾病分级都是典型的分类问题。实操中真正影响效果的往往不是模型多么花哨而是类别是否均衡、数据是否干净、标签噪音是否可控。2.2 回归任务预测连续值往往被低估回归任务在深度学习入门教程里存在感不高但在真实项目里占比非常大。它的核心是预测连续数值比如房价、销售额、温度、坐标位置、人体关键点坐标。模型最后一层通常只有1个节点或者若干个连续值节点不经过激活函数直接输出原值。损失函数的选择是回归任务里的关键门道。最常用的是均方误差MSE它对大误差的惩罚非常大适合误差分布相对均匀的场景。但MSE对异常值非常敏感如果数据里有一两个离群点模型会把大量学习能力花在拟合这几个点上。这时候换成MAE平均绝对误差会更稳它对异常值没那么敏感。还有一种折中的做法是 Smooth L1 Loss在误差小的时候接近L2在误差大的时候接近L1目标检测的坐标回归头很喜欢用它。回归任务的输出虽然简单但模型结构往往需要额外设计。比如预测人体姿态关键点本质是回归坐标但同一张图里多个人就变成多人关键点检测需要和检测框架配合已经不是单纯的全连接回归能解决的了。所以看到回归任务时先想清楚要回归的点有多少个、是否存在结构性约束再决定是直接回归还是配合辅助任务一起做。2.3 结构化输出检测、分割与关键点定位再往上走一步就是输出结构不只是一个数值或标签而是一组有空间或语义关系的量。这个方向现在几乎是工业界视觉应用的主力。目标检测把分类和回归拧在一起它要同时回答两个问题图里有什么、在哪个位置。所以输出既包含类别得分也包含边界框的坐标。训练时就要同时优化分类交叉熵和坐标回归损失。这也是为什么检测模型的目标函数通常都是多任务加权求和。很多新手一开始不理解为什么检测模型有那么多分支原因就在这里。语义分割则是逐像素分类模型对每一个像素都输出一个类别概率。它的难点在于保持空间分辨率所以常用编码器-解码器结构解码部分逐步把特征图上采样回原图尺寸。实例分割在语义分割基础上还要区分同一类别里的不同个体难度更高常见做法是检测和分割两条分支并行。这类结构化任务非常考验工程能力。数据标注成本高、后处理逻辑复杂、训练显存消耗大任何一个环节不细致都容易翻车。所以我在实际项目里通常建议团队先评估是不是真的需要检测或分割还是可以用分类加简单规则解决。不要为了炫技而上高复杂度模型这是结构化任务最多的失败原因。3. 没有人工标签也能训练无监督、生成与自监督3.1 聚类与降维先看看数据长什么样当数据没有标签但又想给数据分堆第一个想到的往往是聚类。传统K-Means在低维数据上效果尚可但到了图像、文本这种高维数据直接聚类基本不可用因为维度灾难会让距离度量失真聚类结果也难解释。深度聚类的大致思路是先用自编码器或对比学习把原始数据压缩成一个低维特征向量再在特征空间里做聚类。这样聚类任务就从“原始空间直接分堆”变成了“先学好表示再分堆”。实操中这一步非常实用比如冷启动阶段没有标注数据先把用户行为特征交给深度聚类可以得到几个比较合理的群组再在群组里抽样标注就能快速启动后续监督模型。降维任务也经常和聚类混在一起。主成分分析这类传统方法只能捕捉线性结构深度方法则可以用自编码器把高维数据映射到低维流形。自编码器的结构是输入经过编码器压缩成瓶颈向量再经过解码器还原原始输入瓶颈向量就是低维表示。训练目标很简单让还原结果尽量接近输入。这个思路本身也埋下了生成模型的种子。3.2 生成任务模型不只要懂判别还要会“凭空创造”生成任务是另一大类无监督方向。它的核心目标是学出数据的真实分布然后从分布里采样新样本。最常见的两类是变分自编码器VAE和对抗生成网络GAN。VAE的思路是让隐变量服从一个简单的分布解码器从这个隐变量还原图像。GAN则让一个生成器和一个判别器互相博弈生成器造图骗判别器判别器分辨真假训练到最后生成器能造出相当逼真的图。生成任务的训练难度比判别任务高一个量级。GAN的常见问题是不收敛、模式坍塌训练过程需要耐心调整判别器和生成器的训练节奏。VAE虽然训练稳定但生成的图像往往不够锐利。这几年扩散模型把生成质量又推高了一大截它的思想是先对图像逐渐加噪直到变成纯噪声再训练一个网络逐步去噪推断时从一个随机噪声出发一步步还原成图像。生成任务在实践中并不只是为了让模型“画图”。它还可以用于数据增强、缺失数据补全、超分辨率、图像修复甚至是少样本场景下的样本合成。理解生成任务的底层逻辑对后续读很多前沿论文都有帮助。3.3 自监督学习自己出题自己找训练信号自监督学习是这三四年发展最猛的方向。它的核心想法很反直觉没有标签那就自己设计一个不需要人工标注的“伪任务”让模型在这个伪任务上训练从而学出有用的特征。图像领域最典型的做法是对比学习。同一张图片做两次不同的数据增强比如随机裁剪、颜色扰动得到两个正样本模型要把它们拉近同时把和其他图片的特征推远。模型被迫学会忽略颜色、背景、位置这些无关因素抓住图像的本质内容。这跟人眼看图的方式有点像无论图片光线多暗、角度多偏我们都能认出同一只猫。文本领域的自监督就更直接了把一句话里的某个词遮住让模型预测被遮住的词类似做完形填空。这个范式直接推动了大规模预训练语言模型的发展。自监督学习的优势是数据需求极大降低毕竟从互联网上无脑扒文本和无标签图片的成本要远低于人工标注。后续做下游任务时自监督预训练出来的特征一般比随机初始化效果好很多。不过自监督学习也有坑。它训练成本高经常要跑大量数据才能体现优势而且伪任务设计和下游任务是否匹配直接影响迁移效果。如果数据集很小直接用监督学习可能比自监督预训练更省事。4. 序列、语言与多模态任务当数据带上了顺序和多种形态4.1 自然语言处理从词向量到大模型微调自然语言处理是深度学习里非常独特的一块因为文本天然是序列数据又带着复杂的语法和语义结构。基础任务包括文本分类、序列标注、文本生成、机器翻译、问答等等。文本分类和前面说的图像分类没有本质区别输入经过编码后映射到类别空间。真正有区分度的是序列标注类任务比如命名实体识别输入一段话模型要给每个词打一个标签判断它是不是人名、地名、机构名这就变成了逐词分类问题。处理序列信息早期依赖循环神经网络RNN、LSTM但这类模型在长文本上容易丢失早期信息。现在几乎所有文本任务都转向了基于自注意力机制的Transformer结构它可以并行处理整段序列并直接建模任意两个位置之间的关系。对工程师来说现在做NLP任务的第一选择已经不是从零训练一个模型而是用预训练模型做微调。把预训练模型在特定任务数据上继续训练通常几百条、几千条标注数据就能拿到不错的效果这就是迁移学习在语言任务里的典型用法。4.2 序列建模与语音信号时间维度上的预测序列建模不只属于文本时间序列预测、语音识别、事件预测都属于这个范畴。这类任务的关键特征是样本内部有时间顺序后面的内容依赖前面出现的信息。拿时间序列预测来说模型要根据过去几天的温度、销量、流量走势预测未来几个时间步的数值。这看起来像回归任务但直接套用普通回归模型往往效果很差因为模型不知道输入之间的顺序。序列模型的核心能力就是在每个时间步保留一个“记忆”状态这个状态包含了截至当前时刻的信息。语音识别则是把一段声学特征序列映射成一段文本序列输入和输出都是变长序列。这就引出了序列到序列任务。早期用LSTM加注意力机制现在也逐渐转向Transformer和端到端方案。做这类任务时要特别注意数据的对齐问题多长的输入应该对应多短的输出需要在数据预处理阶段就规划好否则训练会非常不稳定。4.3 多模态任务把文字、图像、声音放在同一个模型里多模态任务指的是让模型同时理解和处理多种形态的数据比如图像配文字、文本生成图片、视频理解。这类任务的核心难点不是把CNN、Transformer拼接起来就完事而是要让不同模态的信息在模型内部真正对齐。最简单的多模态任务是图文匹配给定一张图和一段文字判断它们描述的是不是同一件事。模型里一般有一条图像编码器分支和一条文本编码器分支分别提取特征再算两个特征的相似度。更复杂的任务包括视觉问答、字幕生成、视频检索等。近几年多模态大模型的热度很高核心做法往往还是跨模态的对比学习在大量图文对数据上训练让模型学到图像和文本的共同语义空间。这是自监督思想在跨模态场景下的自然延展。多模态任务的数据获取成本通常比单模态高得多标注和数据清洗都要多花一个量级的时间做之前要评估好投入产出。5. 实操示例从零完成一个图像分类小项目5.1 任务定义与方案选型先落地一个最小可复现的图像分类项目。目标很明确输入一张图片模型输出它属于哪个类别这是一个标准的多分类任务。基于前面的分类逻辑网络结构选卷积神经网络CNN损失函数选交叉熵评价指标选准确率。万事开头先建一个任务表格输入尺寸统一的RGB图片输出N个类别的概率分布任务类型多分类模型结构简单CNN损失函数交叉熵评价指标分类准确率这一步看似简单但它逼你把整个项目的关键决策一次想清楚了。很多项目之所以做到后面面目全非往往就是开头没把这行表格写下来做到中途临时换任务定义导致全部白做。5.2 数据加载与预处理我先以PyTorch框架为例来写代码。环境方面需要安装好PyTorch和TorchVisionGPU可跑就更好纯CPU也能跑这个小Demo。核心预处理包括缩放成统一尺寸、转成Tensor、归一化。归一化的原因很实际神经网络对输入数据的尺度敏感如果某个通道的像素值集中在0到255而另一个特征的值在0到1之间梯度更新会非常不稳定。用ImageNet的均值和标准差做归一化是一种常见做法配合预训练权重时尤其重要。from torchvision import transforms transform transforms.Compose([ transforms.Resize((128, 128)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])这里我强调一下数据增强。这个小Demo先不加复杂增强但实际项目里一定要加随机翻转、随机裁剪、色彩扰动。数据增强的本质是增加训练样本的多样性让模型不能死记图片的像素值而必须学到类别的本质特征这是防止过拟合最直接的一招。5.3 模型搭建与训练配置由于做的是图像分类我定义一个简单的CNN。结构是两层卷积加池化展平后接两层全连接最后输出N类得分。模型不用太大能说明流程就够了。import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2) ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(32 * 64 * 64, 128), nn.ReLU(inplaceTrue), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x这里有一个常常被忽视的点卷积层输出的特征图尺寸。输入是128乘128经过两次步长为2的池化后特征图变成了32乘32所以全连接层的输入维度是32乘以64乘以64这里我特意写错成64是想提醒大家用公式算一遍每经过一次2倍池化宽高各减半。128除以2等于64再除以2等于32所以展平维度应该是32乘32乘32。实际代码里可以动态计算比如在init里跑一次forward拿到尺寸就不会出现维度对不上这种低级错误。训练配置用Adam优化器学习率设0.001损失函数用交叉熵。0.001这个值是我在大多数小规模任务里的起步选择Adam对学习率不像SGD那样敏感比直接裸用一个很大的学习率稳得多。import torch.optim as optim model SimpleCNN(num_classes10) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001)5.4 训练循环、评估与导出训练循环的骨架是把数据送进模型算损失梯度清零反向传播更新参数。这个过程看似简单但里面有几个顺序细节特别容易错。梯度清零一定要在backward之前否则PyTorch会把上一次迭代的梯度累加到这一次导致参数更新方向错误。很多新手训练半天损失不降查了半天发现就是忘了zero_grad。def train_one_epoch(model, dataloader, criterion, optimizer, device): model.train() total_loss 0.0 correct 0 total 0 for images, labels in dataloader: images images.to(device) labels labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() avg_loss total_loss / len(dataloader) accuracy correct / total return avg_loss, accuracy评估流程和训练略有不同核心是model.eval()模式。这个模式会关掉训练专用的Dropout和BatchNorm的统计更新逻辑确保推理时的结果稳定。同时用torch.no_grad()关掉梯度计算既省显存又加速。模型训练好后要导出的不只是权重尽量把模型结构、预处理参数、类别索引一起打包。我踩过的坑是在训练代码里一切正常但部署到服务端推理时忘了做归一化输入数据范围完全不对模型输出乱七八糟。所以我在实际项目里会把预处理也封装成一个小函数和模型权重一起保存部署时一键加载。6. 常见问题与排查技巧实录6.1 损失不下降到底先查什么损失不下降是深度学习入门最普遍的问题但原因往往不在模型本身。我排查的顺序非常固定先看数据是不是没打乱再看输入数据范围是不是合理最后看损失函数和网络输出是否匹配。数据没打乱会让一个batch里的样本高度相似梯度更新方向单一模型很难收敛。输入数据没有归一化则会让损失出现振荡甚至直接爆掉。损失函数和网络输出不匹配是一个更隐蔽的问题比如多分类任务却用了二分类的BCE损失输出维度对不上模型根本没法学会正确映射。如果以上都没问题再考虑学习率。学习率太大损失会在下降后突然跳到很高学习率太小损失缓慢下降甚至几乎不动。我习惯先用0.001跑一个小的epoch观察如果损失不动或者变化极其缓慢再考虑放大到0.01如果是振荡明显就缩小到0.0001。这种先定位再调参的顺序比盲目换优化器可靠得多。6.2 过拟合严重早停和正则谁先上小数据集上最典型的故障是训练集准确率一路走高验证集准确率却停在原地。这就是过拟合模型把训练样本的细节背了下来而没有学到泛化规律。对付过拟合我的经验顺序是第一加数据增强这是成本最低、收益最大的办法第二加权重衰减也就是在损失函数里给大权重加惩罚第三用Dropout随机丢弃一部分神经元强迫模型不要把赌注压在个别神经元上第四早停监测验证集指标一旦连续几个epoch不涨就停止训练。这里特别提醒数据增强不是越多越好。如果增强强度过大比如把图片旋转到几乎看不出原始内容模型学到的特征会偏离真实分布反而损害性能。增强策略要和数据本身匹配不能无脑堆叠。6.3 类别不平衡损失加权优先于简单重采样分类任务里类别不平衡出现得太频繁了。比如工业缺陷检测正常样本占99%缺陷样本只有1%。如果不做处理模型只要把所有样本都预测成正常类准确率就已经99%但这个模型毫无使用价值。处理类别不平衡有两个常用方向。一个是重采样少量类别复制扩充多数类别适当下采样。简单粗暴但容易造成过拟合。另一个是损失加权在交叉熵损失里给少数类别更高的权重让模型对少数类别的错误更敏感。PyTorch的CrossEntropyLoss直接支持weight参数操作成本很低。我实际项目里更推荐先用损失加权因为它不改变数据分布训练稳定性更好。重采样适合数据量极少、加权后损失还是震荡的情况。同时评价指标不要只看准确率要同时看召回率、精确率和F1分数。6.4 显存不足和复现问题GPU显存不够是图像相关任务绕不开的坎。最直接的解决办法是减小batch size。batch size从64减到32显存占用基本减半。如果已经小到1还是不够那就只能减少输入图片的分辨率或者使用梯度累积把几个小batch的梯度累积起来再更新一次等效于用一个更大的batch但显存占用不变。复现是另一个容易被忽视的问题。深度学习中随机性来源很多参数初始化、数据打乱顺序、GPU并行都会导致每次训练结果略有差异。如果希望实验可复现需要在训练前固定随机种子包括Python的random、NumPy和PyTorch的随机数生成器。同时对DataLoader设置固定的worker随机种子。即便如此GPU环境下还是很难百分百精确复现只能做到大体一致。别把时间浪费在追求绝对复现上应该把精力放在稳定提升验证集指标上。7. 任务选型思路与后续扩展7.1 拿到需求先画一张输入输出表再动手我见过太多项目失败在同一个环节拿到需求直接套一个看起来效果不错的模型完全没验证任务类型。这里我给一个非常机械但极其有效的操作动手写代码前先画一张表把输入是什么、输出是什么、输出范围是什么、有没有标签、用什么指标评价全部写下来。如果写不出来说明需求没有理清先花时间把需求谈清楚。如果能写出来任务类型就基本锁定了。接着再根据任务类型决定模型结构根据任务类型决定损失函数最后才轮到调参。这套流程看起来慢实际上省掉了大量返工时间。很多模型效果差不是参数不够好而是任务定义本身就模糊。7.2 从单任务到迁移学习在这篇的示例里我直接从一个随机初始化的CNN开始训练。但真实项目里很少有人这样做了更多的情况是先用大规模数据训练好的预训练模型然后在自己任务上进行微调。比如图像领域常用的做法是加载一个在ImageNet上训练过的模型替换掉最后分类层再用自己的小数据训练。文本领域就是加载预训练语言模型再做下游任务微调。迁移学习的核心逻辑是预训练模型已经学到了通用的低层特征比如边缘、纹理、语法结构这些知识在大多数任务里是通用的。微调阶段只需要在高层特征上做出调整适配具体任务就行。这使得少数几千条数据也能训练出可用模型。这里有一个注意点如果自己的数据集和预训练数据分布差异很大比如预训练数据都是自然图像自己的数据是医学影像冻结预训练模型的所有层往往效果不好建议把深层的卷积块也放开一起微调让高层特征更贴合目标数据域。最后再分享一条实战体会。我在实际项目里最大的感受是把任务类型写在纸上这一个动作能省掉一半的实验时间。很多时候项目卡住不是模型不好、不是调参不够而是团队对任务定义根本没对齐。先画输入输出表再选模型和损失最后才谈调参这才是深度学习项目该有的顺序。下一个系列我会展开讲回归任务和生成任务的具体工程细节把这篇埋下的任务地图逐个填满。 
长河君 · 2026/10/23 6:45:15 · 阅读 1.2k 深度学习任务分类全解析：从任务类型到损失函数与图像分类实操
聊到深度学习任务大家应该都听过分类、回归、检测、分割这些名词。可真正接手一个项目时很多人第一时间会卡在同一个问题上这事到底属于什么任务该用哪类模型该配什么损失函数如果这个问题没想清楚后面大概率会在实验里反复试错最后发现方向从一开始就偏了。这篇文章把深度学习任务分类这件事摊开讲一遍并带一个完整的图像分类实操示例。这个系列第一篇先做地基把任务地图、常见类型、核心损失和训练套路串起来让刚入门的朋友拿到一个需求时能快速判断任务类型让有经验的开发者也能回头检查一下自己的选型逻辑。全文不绕弯子直接讲怎么看任务、怎么分类、怎么落地。1. 为什么任务分类是深度学习的“第一块敲门砖”1.1 任务类型决定后面的一切选择我先说一个最直观的现象很多同学拿着一个项目来找我第一句话是“我想用深度学习做一个东西”但问到他到底要模型输出什么往往答不上来。这就是问题所在。任务分类之所以重要是因为它直接决定了三件事网络结构、损失函数、评价指标。这三件事是深度学习实验里最核心的三块拼图。模型输出的是连续数值那大概率是回归任务网络最后一层通常只有1个节点损失用均方误差。模型输出的是类别概率那是分类任务最后一层是Softmax损失用交叉熵。模型输出的是一个区域框那是目标检测本质上要同时做分类和回归。模型输出的是逐像素的类别那是语义分割损失依然是交叉熵但空间维度上要做逐像素计算。换句话说任务类型不是教科书的分类学游戏而是整个工程链路的第一道岔路口。走错岔路后面再怎么调参都很难救回来最多是硬凑效果。1.2 先从“输出空间”看任务比背概念更快我自己习惯用一个比较土的方法来判断任务类型画一张输入-输出表把模型要预测的东西写清楚再看输出长什么样。表格里最核心的字段是“输出形式”。输出是单个标签就是分类输出是连续实数就是回归输出是一组边界框坐标加类别就是检测输出是和输入同尺寸的逐像素标签就是分割输出是一段新的文本或图像就是生成任务。这个方法不需要先背任何模型名字只要能描述清楚输出长什么样任务类型就自然浮现出来了。任务方向输出形式典型损失典型场景二分类0/1 标签或正例概率交叉熵垃圾邮件判断多分类有限类别中的1个Softmax交叉熵图像分类、文本分类多标签多个0/1标签多个二分类损失标签推荐、属性识别回归连续数值MSE / MAE价格预测、温度预测目标检测边界框类别分类损失回归损失安防巡检、自动驾驶语义分割逐像素类别像素级交叉熵医学影像分割生成与输入同分布的样本分布距离类损失图像生成、语音合成序列预测一排有序输出CE / MSE翻译、时间序列预测这张表实际上就是深度学习任务的骨架。之后不管是看论文还是读开源代码先拿这张表去对照基本不会跑偏。1.3 再看数据标签的“参与程度”除了输出空间还有一条非常关键的维度标签从哪来。这决定了你训练模型的成本也决定了你能用什么学习范式。最理想的情况是有大量人工标注数据这就是标准的监督学习。图像分类的猫狗图片、垃圾邮件的正常/标记都属于这一类。只要数据干净、量够监督学习的效果通常是最稳的也是工业界部署最多的模式。没有标签但想把数据拆成几组那就是无监督学习里的聚类任务。电商平台给用户分群、无标注图像的相似图片检索都属于这类。生成模型也常常被归到无监督里因为它不需要每个样本的精确标签只需要从整体分布里学会生成新样本。还有一条更容易被忽略的路线是自监督学习。它不靠人工标签而是自己构造监督信号。比如把一张图片随机裁出两块让模型判断它们是不是来自同一张原图或者把一段文本里的某个词遮住让模型根据上下文猜出来。这些方法最近几年被广泛用于预训练效果在很多下游任务上甚至超过纯监督模型。判断任务类型时如果只盯着模型看很容易忽略一个最现实的问题你到底有没有标签数据没有标签却想做分类那就要么先聚类做预分组要么用自监督先把特征学好再迁移到下游任务。这已经不是模型选型问题而是数据问题的延伸。2. 三大基础任务分类、回归与结构化输出2.1 分类任务从单个节点到Softmax概率分布分类是深度学习里最基础、也最容易理解的任务。它的核心是把输入映射到一组预先定义好的类别上。二分类最简单模型最后一层输出一个0到1之间的概率再通过阈值判断属于正类还是负类。多分类则在最后一层输出N个节点的得分再用Softmax函数把这些得分转成概率分布所有类别的概率加起来等于1。初学者最容易踩的坑是混淆“多分类”和“多标签”。多分类的意思是同一张图片只能属于一个类别比如一张图像里只有一只动物类别是猫、狗、鸟三选一。多标签则是同一张图片可以同时属于多个类别比如一张图里既有猫又有狗那猫和狗这两个标签都应该被预测出来。损失函数截然不同多分类用Softmax交叉熵多标签通常把每个标签当独立二分类做用多个二分类的交叉熵或者带Sigmoid的BCE损失。分类任务的应用场景不用多举例子图像分类、文本情感判断、垃圾邮件识别、疾病分级都是典型的分类问题。实操中真正影响效果的往往不是模型多么花哨而是类别是否均衡、数据是否干净、标签噪音是否可控。2.2 回归任务预测连续值往往被低估回归任务在深度学习入门教程里存在感不高但在真实项目里占比非常大。它的核心是预测连续数值比如房价、销售额、温度、坐标位置、人体关键点坐标。模型最后一层通常只有1个节点或者若干个连续值节点不经过激活函数直接输出原值。损失函数的选择是回归任务里的关键门道。最常用的是均方误差MSE它对大误差的惩罚非常大适合误差分布相对均匀的场景。但MSE对异常值非常敏感如果数据里有一两个离群点模型会把大量学习能力花在拟合这几个点上。这时候换成MAE平均绝对误差会更稳它对异常值没那么敏感。还有一种折中的做法是 Smooth L1 Loss在误差小的时候接近L2在误差大的时候接近L1目标检测的坐标回归头很喜欢用它。回归任务的输出虽然简单但模型结构往往需要额外设计。比如预测人体姿态关键点本质是回归坐标但同一张图里多个人就变成多人关键点检测需要和检测框架配合已经不是单纯的全连接回归能解决的了。所以看到回归任务时先想清楚要回归的点有多少个、是否存在结构性约束再决定是直接回归还是配合辅助任务一起做。2.3 结构化输出检测、分割与关键点定位再往上走一步就是输出结构不只是一个数值或标签而是一组有空间或语义关系的量。这个方向现在几乎是工业界视觉应用的主力。目标检测把分类和回归拧在一起它要同时回答两个问题图里有什么、在哪个位置。所以输出既包含类别得分也包含边界框的坐标。训练时就要同时优化分类交叉熵和坐标回归损失。这也是为什么检测模型的目标函数通常都是多任务加权求和。很多新手一开始不理解为什么检测模型有那么多分支原因就在这里。语义分割则是逐像素分类模型对每一个像素都输出一个类别概率。它的难点在于保持空间分辨率所以常用编码器-解码器结构解码部分逐步把特征图上采样回原图尺寸。实例分割在语义分割基础上还要区分同一类别里的不同个体难度更高常见做法是检测和分割两条分支并行。这类结构化任务非常考验工程能力。数据标注成本高、后处理逻辑复杂、训练显存消耗大任何一个环节不细致都容易翻车。所以我在实际项目里通常建议团队先评估是不是真的需要检测或分割还是可以用分类加简单规则解决。不要为了炫技而上高复杂度模型这是结构化任务最多的失败原因。3. 没有人工标签也能训练无监督、生成与自监督3.1 聚类与降维先看看数据长什么样当数据没有标签但又想给数据分堆第一个想到的往往是聚类。传统K-Means在低维数据上效果尚可但到了图像、文本这种高维数据直接聚类基本不可用因为维度灾难会让距离度量失真聚类结果也难解释。深度聚类的大致思路是先用自编码器或对比学习把原始数据压缩成一个低维特征向量再在特征空间里做聚类。这样聚类任务就从“原始空间直接分堆”变成了“先学好表示再分堆”。实操中这一步非常实用比如冷启动阶段没有标注数据先把用户行为特征交给深度聚类可以得到几个比较合理的群组再在群组里抽样标注就能快速启动后续监督模型。降维任务也经常和聚类混在一起。主成分分析这类传统方法只能捕捉线性结构深度方法则可以用自编码器把高维数据映射到低维流形。自编码器的结构是输入经过编码器压缩成瓶颈向量再经过解码器还原原始输入瓶颈向量就是低维表示。训练目标很简单让还原结果尽量接近输入。这个思路本身也埋下了生成模型的种子。3.2 生成任务模型不只要懂判别还要会“凭空创造”生成任务是另一大类无监督方向。它的核心目标是学出数据的真实分布然后从分布里采样新样本。最常见的两类是变分自编码器VAE和对抗生成网络GAN。VAE的思路是让隐变量服从一个简单的分布解码器从这个隐变量还原图像。GAN则让一个生成器和一个判别器互相博弈生成器造图骗判别器判别器分辨真假训练到最后生成器能造出相当逼真的图。生成任务的训练难度比判别任务高一个量级。GAN的常见问题是不收敛、模式坍塌训练过程需要耐心调整判别器和生成器的训练节奏。VAE虽然训练稳定但生成的图像往往不够锐利。这几年扩散模型把生成质量又推高了一大截它的思想是先对图像逐渐加噪直到变成纯噪声再训练一个网络逐步去噪推断时从一个随机噪声出发一步步还原成图像。生成任务在实践中并不只是为了让模型“画图”。它还可以用于数据增强、缺失数据补全、超分辨率、图像修复甚至是少样本场景下的样本合成。理解生成任务的底层逻辑对后续读很多前沿论文都有帮助。3.3 自监督学习自己出题自己找训练信号自监督学习是这三四年发展最猛的方向。它的核心想法很反直觉没有标签那就自己设计一个不需要人工标注的“伪任务”让模型在这个伪任务上训练从而学出有用的特征。图像领域最典型的做法是对比学习。同一张图片做两次不同的数据增强比如随机裁剪、颜色扰动得到两个正样本模型要把它们拉近同时把和其他图片的特征推远。模型被迫学会忽略颜色、背景、位置这些无关因素抓住图像的本质内容。这跟人眼看图的方式有点像无论图片光线多暗、角度多偏我们都能认出同一只猫。文本领域的自监督就更直接了把一句话里的某个词遮住让模型预测被遮住的词类似做完形填空。这个范式直接推动了大规模预训练语言模型的发展。自监督学习的优势是数据需求极大降低毕竟从互联网上无脑扒文本和无标签图片的成本要远低于人工标注。后续做下游任务时自监督预训练出来的特征一般比随机初始化效果好很多。不过自监督学习也有坑。它训练成本高经常要跑大量数据才能体现优势而且伪任务设计和下游任务是否匹配直接影响迁移效果。如果数据集很小直接用监督学习可能比自监督预训练更省事。4. 序列、语言与多模态任务当数据带上了顺序和多种形态4.1 自然语言处理从词向量到大模型微调自然语言处理是深度学习里非常独特的一块因为文本天然是序列数据又带着复杂的语法和语义结构。基础任务包括文本分类、序列标注、文本生成、机器翻译、问答等等。文本分类和前面说的图像分类没有本质区别输入经过编码后映射到类别空间。真正有区分度的是序列标注类任务比如命名实体识别输入一段话模型要给每个词打一个标签判断它是不是人名、地名、机构名这就变成了逐词分类问题。处理序列信息早期依赖循环神经网络RNN、LSTM但这类模型在长文本上容易丢失早期信息。现在几乎所有文本任务都转向了基于自注意力机制的Transformer结构它可以并行处理整段序列并直接建模任意两个位置之间的关系。对工程师来说现在做NLP任务的第一选择已经不是从零训练一个模型而是用预训练模型做微调。把预训练模型在特定任务数据上继续训练通常几百条、几千条标注数据就能拿到不错的效果这就是迁移学习在语言任务里的典型用法。4.2 序列建模与语音信号时间维度上的预测序列建模不只属于文本时间序列预测、语音识别、事件预测都属于这个范畴。这类任务的关键特征是样本内部有时间顺序后面的内容依赖前面出现的信息。拿时间序列预测来说模型要根据过去几天的温度、销量、流量走势预测未来几个时间步的数值。这看起来像回归任务但直接套用普通回归模型往往效果很差因为模型不知道输入之间的顺序。序列模型的核心能力就是在每个时间步保留一个“记忆”状态这个状态包含了截至当前时刻的信息。语音识别则是把一段声学特征序列映射成一段文本序列输入和输出都是变长序列。这就引出了序列到序列任务。早期用LSTM加注意力机制现在也逐渐转向Transformer和端到端方案。做这类任务时要特别注意数据的对齐问题多长的输入应该对应多短的输出需要在数据预处理阶段就规划好否则训练会非常不稳定。4.3 多模态任务把文字、图像、声音放在同一个模型里多模态任务指的是让模型同时理解和处理多种形态的数据比如图像配文字、文本生成图片、视频理解。这类任务的核心难点不是把CNN、Transformer拼接起来就完事而是要让不同模态的信息在模型内部真正对齐。最简单的多模态任务是图文匹配给定一张图和一段文字判断它们描述的是不是同一件事。模型里一般有一条图像编码器分支和一条文本编码器分支分别提取特征再算两个特征的相似度。更复杂的任务包括视觉问答、字幕生成、视频检索等。近几年多模态大模型的热度很高核心做法往往还是跨模态的对比学习在大量图文对数据上训练让模型学到图像和文本的共同语义空间。这是自监督思想在跨模态场景下的自然延展。多模态任务的数据获取成本通常比单模态高得多标注和数据清洗都要多花一个量级的时间做之前要评估好投入产出。5. 实操示例从零完成一个图像分类小项目5.1 任务定义与方案选型先落地一个最小可复现的图像分类项目。目标很明确输入一张图片模型输出它属于哪个类别这是一个标准的多分类任务。基于前面的分类逻辑网络结构选卷积神经网络CNN损失函数选交叉熵评价指标选准确率。万事开头先建一个任务表格输入尺寸统一的RGB图片输出N个类别的概率分布任务类型多分类模型结构简单CNN损失函数交叉熵评价指标分类准确率这一步看似简单但它逼你把整个项目的关键决策一次想清楚了。很多项目之所以做到后面面目全非往往就是开头没把这行表格写下来做到中途临时换任务定义导致全部白做。5.2 数据加载与预处理我先以PyTorch框架为例来写代码。环境方面需要安装好PyTorch和TorchVisionGPU可跑就更好纯CPU也能跑这个小Demo。核心预处理包括缩放成统一尺寸、转成Tensor、归一化。归一化的原因很实际神经网络对输入数据的尺度敏感如果某个通道的像素值集中在0到255而另一个特征的值在0到1之间梯度更新会非常不稳定。用ImageNet的均值和标准差做归一化是一种常见做法配合预训练权重时尤其重要。from torchvision import transforms transform transforms.Compose([ transforms.Resize((128, 128)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])这里我强调一下数据增强。这个小Demo先不加复杂增强但实际项目里一定要加随机翻转、随机裁剪、色彩扰动。数据增强的本质是增加训练样本的多样性让模型不能死记图片的像素值而必须学到类别的本质特征这是防止过拟合最直接的一招。5.3 模型搭建与训练配置由于做的是图像分类我定义一个简单的CNN。结构是两层卷积加池化展平后接两层全连接最后输出N类得分。模型不用太大能说明流程就够了。import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2) ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(32 * 64 * 64, 128), nn.ReLU(inplaceTrue), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x这里有一个常常被忽视的点卷积层输出的特征图尺寸。输入是128乘128经过两次步长为2的池化后特征图变成了32乘32所以全连接层的输入维度是32乘以64乘以64这里我特意写错成64是想提醒大家用公式算一遍每经过一次2倍池化宽高各减半。128除以2等于64再除以2等于32所以展平维度应该是32乘32乘32。实际代码里可以动态计算比如在init里跑一次forward拿到尺寸就不会出现维度对不上这种低级错误。训练配置用Adam优化器学习率设0.001损失函数用交叉熵。0.001这个值是我在大多数小规模任务里的起步选择Adam对学习率不像SGD那样敏感比直接裸用一个很大的学习率稳得多。import torch.optim as optim model SimpleCNN(num_classes10) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001)5.4 训练循环、评估与导出训练循环的骨架是把数据送进模型算损失梯度清零反向传播更新参数。这个过程看似简单但里面有几个顺序细节特别容易错。梯度清零一定要在backward之前否则PyTorch会把上一次迭代的梯度累加到这一次导致参数更新方向错误。很多新手训练半天损失不降查了半天发现就是忘了zero_grad。def train_one_epoch(model, dataloader, criterion, optimizer, device): model.train() total_loss 0.0 correct 0 total 0 for images, labels in dataloader: images images.to(device) labels labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() avg_loss total_loss / len(dataloader) accuracy correct / total return avg_loss, accuracy评估流程和训练略有不同核心是model.eval()模式。这个模式会关掉训练专用的Dropout和BatchNorm的统计更新逻辑确保推理时的结果稳定。同时用torch.no_grad()关掉梯度计算既省显存又加速。模型训练好后要导出的不只是权重尽量把模型结构、预处理参数、类别索引一起打包。我踩过的坑是在训练代码里一切正常但部署到服务端推理时忘了做归一化输入数据范围完全不对模型输出乱七八糟。所以我在实际项目里会把预处理也封装成一个小函数和模型权重一起保存部署时一键加载。6. 常见问题与排查技巧实录6.1 损失不下降到底先查什么损失不下降是深度学习入门最普遍的问题但原因往往不在模型本身。我排查的顺序非常固定先看数据是不是没打乱再看输入数据范围是不是合理最后看损失函数和网络输出是否匹配。数据没打乱会让一个batch里的样本高度相似梯度更新方向单一模型很难收敛。输入数据没有归一化则会让损失出现振荡甚至直接爆掉。损失函数和网络输出不匹配是一个更隐蔽的问题比如多分类任务却用了二分类的BCE损失输出维度对不上模型根本没法学会正确映射。如果以上都没问题再考虑学习率。学习率太大损失会在下降后突然跳到很高学习率太小损失缓慢下降甚至几乎不动。我习惯先用0.001跑一个小的epoch观察如果损失不动或者变化极其缓慢再考虑放大到0.01如果是振荡明显就缩小到0.0001。这种先定位再调参的顺序比盲目换优化器可靠得多。6.2 过拟合严重早停和正则谁先上小数据集上最典型的故障是训练集准确率一路走高验证集准确率却停在原地。这就是过拟合模型把训练样本的细节背了下来而没有学到泛化规律。对付过拟合我的经验顺序是第一加数据增强这是成本最低、收益最大的办法第二加权重衰减也就是在损失函数里给大权重加惩罚第三用Dropout随机丢弃一部分神经元强迫模型不要把赌注压在个别神经元上第四早停监测验证集指标一旦连续几个epoch不涨就停止训练。这里特别提醒数据增强不是越多越好。如果增强强度过大比如把图片旋转到几乎看不出原始内容模型学到的特征会偏离真实分布反而损害性能。增强策略要和数据本身匹配不能无脑堆叠。6.3 类别不平衡损失加权优先于简单重采样分类任务里类别不平衡出现得太频繁了。比如工业缺陷检测正常样本占99%缺陷样本只有1%。如果不做处理模型只要把所有样本都预测成正常类准确率就已经99%但这个模型毫无使用价值。处理类别不平衡有两个常用方向。一个是重采样少量类别复制扩充多数类别适当下采样。简单粗暴但容易造成过拟合。另一个是损失加权在交叉熵损失里给少数类别更高的权重让模型对少数类别的错误更敏感。PyTorch的CrossEntropyLoss直接支持weight参数操作成本很低。我实际项目里更推荐先用损失加权因为它不改变数据分布训练稳定性更好。重采样适合数据量极少、加权后损失还是震荡的情况。同时评价指标不要只看准确率要同时看召回率、精确率和F1分数。6.4 显存不足和复现问题GPU显存不够是图像相关任务绕不开的坎。最直接的解决办法是减小batch size。batch size从64减到32显存占用基本减半。如果已经小到1还是不够那就只能减少输入图片的分辨率或者使用梯度累积把几个小batch的梯度累积起来再更新一次等效于用一个更大的batch但显存占用不变。复现是另一个容易被忽视的问题。深度学习中随机性来源很多参数初始化、数据打乱顺序、GPU并行都会导致每次训练结果略有差异。如果希望实验可复现需要在训练前固定随机种子包括Python的random、NumPy和PyTorch的随机数生成器。同时对DataLoader设置固定的worker随机种子。即便如此GPU环境下还是很难百分百精确复现只能做到大体一致。别把时间浪费在追求绝对复现上应该把精力放在稳定提升验证集指标上。7. 任务选型思路与后续扩展7.1 拿到需求先画一张输入输出表再动手我见过太多项目失败在同一个环节拿到需求直接套一个看起来效果不错的模型完全没验证任务类型。这里我给一个非常机械但极其有效的操作动手写代码前先画一张表把输入是什么、输出是什么、输出范围是什么、有没有标签、用什么指标评价全部写下来。如果写不出来说明需求没有理清先花时间把需求谈清楚。如果能写出来任务类型就基本锁定了。接着再根据任务类型决定模型结构根据任务类型决定损失函数最后才轮到调参。这套流程看起来慢实际上省掉了大量返工时间。很多模型效果差不是参数不够好而是任务定义本身就模糊。7.2 从单任务到迁移学习在这篇的示例里我直接从一个随机初始化的CNN开始训练。但真实项目里很少有人这样做了更多的情况是先用大规模数据训练好的预训练模型然后在自己任务上进行微调。比如图像领域常用的做法是加载一个在ImageNet上训练过的模型替换掉最后分类层再用自己的小数据训练。文本领域就是加载预训练语言模型再做下游任务微调。迁移学习的核心逻辑是预训练模型已经学到了通用的低层特征比如边缘、纹理、语法结构这些知识在大多数任务里是通用的。微调阶段只需要在高层特征上做出调整适配具体任务就行。这使得少数几千条数据也能训练出可用模型。这里有一个注意点如果自己的数据集和预训练数据分布差异很大比如预训练数据都是自然图像自己的数据是医学影像冻结预训练模型的所有层往往效果不好建议把深层的卷积块也放开一起微调让高层特征更贴合目标数据域。最后再分享一条实战体会。我在实际项目里最大的感受是把任务类型写在纸上这一个动作能省掉一半的实验时间。很多时候项目卡住不是模型不好、不是调参不够而是团队对任务定义根本没对齐。先画输入输出表再选模型和损失最后才谈调参这才是深度学习项目该有的顺序。下一个系列我会展开讲回归任务和生成任务的具体工程细节把这篇埋下的任务地图逐个填满。