1. 从零上手华为云 ModelArts一个后端开发的模型训练部署实录作为一个写了七八年后端代码的人我对“模型训练”这四个字的感情一直很复杂。业务侧隔三差五就提需求说这个分类能不能用AI做一下那个图片识别能不能自动化我每次都得硬着头皮去翻文档、配环境、调依赖光是CUDA版本和PyTorch版本对不上就能耗掉一整个下午。后来团队开始把训练任务往华为云ModelArts上迁我一开始是抗拒的觉得又是一套新的平台要学但真正用下来发现它把“环境配置”这件最烦人的事给兜住了我只需要关心数据和模型本身。这篇笔记就是我这段时间用ModelArts做模型训练与部署的完整记录。从数据怎么传上去、预训练模型怎么选、训练参数怎么配到模型怎么部署成一个能对外提供服务的在线接口我会把每一步的操作意图和踩过的坑都写清楚。如果你也是后端或者运维出身想快速把AI能力接进自己的业务里又不想被环境问题拖住那这篇内容应该能帮你省下不少时间。核心关键词就几个华为云、ModelArts、模型训练、模型部署我会围绕这四个词把整条链路讲透。2. 为什么我最终选了ModelArts而不是自己搭环境2.1 自建训练环境的三个致命痛点在迁到ModelArts之前我们试过在本地服务器上自己搭训练环境。当时买了一台带两张显卡的机器装驱动、装CUDA、装cuDNN、装PyTorch一套流程走下来花了整整两天。这还不是最要命的最要命的是版本兼容问题。显卡驱动版本、CUDA版本、PyTorch版本、Python版本这四个东西之间有一个对不上训练脚本就跑不起来报错信息还特别隐晦有时候是“CUDA out of memory”有时候是“undefined symbol”查半天才发现是版本问题。第二个痛点是资源利用率。训练任务不是每时每刻都在跑但机器得一直开着电费和折旧都是成本。而且一旦遇到大模型或者大数据集单机显存不够想扩就得再买卡采购流程走下来项目周期都过了。第三个痛点是环境复现。我在本地调通了换一台机器又得重新配一遍团队里每个人环境都不一样经常出现“我这边能跑你那边报错”的情况。这种问题在协作场景下特别消耗精力。2.2 ModelArts到底帮我省掉了什么ModelArts最直接的价值就是把上面三个痛点全接过去了。它提供的是开箱即用的训练环境你选好框架和版本平台自动帮你把驱动、CUDA、Python依赖全部配好你只需要上传代码和数据点一下开始训练就行。资源方面是按需计费训练的时候用不训练的时候释放不用养机器。环境复现也简单同一个镜像版本谁跑结果都一样。我特别喜欢它的一点是支持多种预训练模型直接加载。比如做图像分类可以直接用ResNet的预训练权重做中文文本分类可以用RoBERTa的中文预训练模型不用自己从头训。这对小团队来说太重要了从头训一个模型动辄需要几十张卡跑好几天用预训练模型微调一张卡几个小时就能出结果。提示ModelArts的预训练模型库覆盖了CV和NLP的主流模型选模型的时候先看你的任务类型图像分类选ResNet或EfficientNet目标检测选YOLO系列中文文本分类选RoBERTa语音合成可以看MeloTTS这类模型。2.3 什么场景适合用ModelArts不是所有场景都适合上云训练。我的判断标准是这样的如果你只是跑一个很小的demo数据量几百条本地CPU都能跑那没必要上云。但如果你遇到下面几种情况ModelArts就很合适数据量在GB级别以上本地机器跑一次要几个小时甚至几天需要GPU加速但本地没有显卡或者显卡不够需要频繁调整超参数做实验想快速对比不同配置的效果训练好的模型需要部署成在线服务给业务系统调用。我们团队现在的做法是小实验在本地用CPU跑确认思路没问题之后把数据和代码传到ModelArts上用GPU做正式训练训练完直接部署成在线服务业务侧通过API调用。整条链路是通的不用在环境上反复折腾。3. 数据准备与上传从本地到华为云OBS3.1 数据该怎么组织才不容易出错ModelArts训练时数据一般放在对象存储OBS里训练任务启动时会把OBS路径挂载到容器的某个目录下。所以第一步是把本地数据传到OBS。但在传之前数据的目录结构得先理清楚不然训练脚本里的路径会写得很乱。我习惯的目录结构是这样的根目录下分train和val两个文件夹每个文件夹里按类别分子文件夹图片放在对应的类别文件夹里。比如做一个猫狗分类结构就是train/cat/、train/dog/、val/cat/、val/dog/。这种结构的好处是用PyTorch的ImageFolder可以直接读取不用自己写数据加载逻辑。如果是文本数据我一般会整理成一个CSV或者JSON Lines文件每行包含文本内容和标签。CSV的话列名用text和labelJSON Lines每行是一个{text: ..., label: ...}的对象。这样在训练脚本里用pandas读进来就能用。注意数据上传前一定要检查有没有损坏文件。我遇到过一次训练跑到一半报错查了半天发现是某张图片文件大小为0读取的时候直接抛异常。后来我养成了习惯上传前先用脚本扫一遍把大小为0或者格式不对的文件挑出来。3.2 通过OBS Browser上传数据的实操步骤华为云提供了OBS Browser这个客户端工具图形化界面拖拽上传对不熟悉命令行的人很友好。下载安装后用华为云账号的AK/SK登录就能看到自己账号下的桶列表。创建桶的时候有几个参数要注意。区域选择离你近的比如你在华东就选华东区域的桶上传下载速度会快一些。存储类别选标准存储除非是归档数据才选低频或者归档。桶策略保持私有不要开公共读训练数据可能包含敏感信息。上传的时候如果数据量大建议先打包成zip再传传完在OBS里解压。直接传几万个小文件速度会很慢因为每个文件都要建立一次连接。打包成一个zip传上去之后再解压效率高很多。解压可以用OBS控制台里的“解压”功能也可以起一个ModelArts的notebook用命令行解压。3.3 用命令行工具批量上传的技巧如果你习惯用命令行obsutil是个好选择。安装配置好之后用obsutil cp命令就能上传。比如把本地data目录传到桶里的datasets目录下obsutil cp -r ./data obs://my-bucket/datasets/ -flat-flat参数表示不保留本地目录结构直接把文件铺平传到目标目录。如果希望保留目录结构去掉这个参数就行。上传大文件的时候可以加-p参数显示进度加-u参数开启断点续传网络不稳定的时候很有用。我一般会写一个简单的shell脚本把数据打包、上传、解压三步串起来每次更新数据跑一下脚本就行不用手动操作。4. 训练任务配置从预训练模型到超参数调优4.1 创建训练作业时的关键选项在ModelArts控制台创建训练作业有几个选项需要仔细选。第一个是算法来源可以选“预置算法”或者“自定义脚本”。预置算法是平台已经封装好的选好模型和数据集就能直接训适合快速验证。自定义脚本就是上传自己的训练代码灵活性更高。我一般用自定义脚本因为业务逻辑往往需要定制。第二个是环境镜像。ModelArts提供了很多预置镜像比如PyTorch 1.8、TensorFlow 2.1等等。选镜像的时候要注意镜像里的CUDA版本和你要用的预训练模型是否兼容。比如有些预训练模型是在CUDA 10.2下训的你选CUDA 11的镜像可能加载权重会报错。不确定的话选一个主流版本比如PyTorch 1.8 CUDA 10.2兼容性比较好。第三个是资源规格。ModelArts提供了多种规格从单卡到多卡都有。选规格的时候看两个指标显存和CPU核数。显存决定了你能跑多大的batch size和多大的模型CPU核数影响数据加载速度。如果数据加载是瓶颈可以选CPU核数多一点的规格或者把数据预处理好存成二进制格式减少读取开销。4.2 预训练模型的选择与加载用预训练模型微调是性价比最高的做法。以图像分类为例ResNet系列是最常用的。ResNet-50在ImageNet上预训练过的权重拿来微调自己的分类任务通常几百张图就能有不错的效果。加载方式很简单用torchvision的models模块import torchvision.models as models import torch.nn as nn model models.resnet50(pretrainedTrue) num_features model.fc.in_features model.fc nn.Linear(num_features, num_classes)这里把最后一层全连接层替换成自己任务的类别数其他层的权重用预训练的。训练的时候可以冻结前面的层只训最后一层也可以全部微调。数据量少的时候建议冻结数据量大的时候全部微调效果更好。中文文本任务的话RoBERTa的中文预训练模型是个好选择。用transformers库加载from transformers import RobertaForSequenceClassification, RobertaTokenizer model RobertaForSequenceClassification.from_pretrained( hfl/chinese-roberta-wwm-ext, num_labelsnum_classes ) tokenizer RobertaTokenizer.from_pretrained(hfl/chinese-roberta-wwm-ext)这个模型在中文语料上预训练过对中文语义的理解比直接用多语言模型好很多。微调的时候学习率要设小一点一般2e-5到5e-5之间太大了容易把预训练学到的知识冲掉。4.3 超参数设置的经验值超参数没有绝对的标准但有一些经验值可以参考。学习率方面从头训一般用0.01到0.1微调用1e-5到1e-4。batch size看显存8GB显存跑ResNet-50大概能到32跑RoBERTa大概能到16。epoch数看数据量数据少就多跑几轮数据多就少跑几轮一般10到50之间。优化器我常用AdamW它对Transformer类模型比较友好。图像任务用SGD加动量也行有时候泛化性能更好。学习率调度用余弦退火或者线性衰减比固定学习率效果好。提示训练过程中如果loss变成nan先检查学习率是不是太大了调小一个数量级试试。如果还不行检查数据里有没有异常值比如图片全黑或者文本里有特殊字符。梯度裁剪也能缓解这个问题把梯度范数限制在1.0以内。5. 训练过程监控与常见问题排查5.1 在ModelArts控制台看训练日志训练作业启动后可以在控制台看到实时日志。日志里会打印每个epoch的loss和accuracy还有学习率的变化。我一般会关注几个点loss是不是在稳定下降如果震荡很厉害说明学习率太大accuracy是不是在提升如果一直不涨说明模型没学到东西显存占用是不是稳定如果一直涨可能是内存泄漏。除了看日志ModelArts还支持TensorBoard。在训练脚本里加上TensorBoard的SummaryWriter把loss和accuracy写进去训练启动后在控制台点开TensorBoard就能看到曲线图。可视化比看数字直观很多尤其是对比不同实验的时候。5.2 训练报nan的排查思路训练报nan是最常见的问题之一。我的排查顺序是这样的先看学习率把学习率除以10再跑一次如果好了就是学习率的问题。如果还不行看数据用脚本检查输入数据有没有nan或者inf图片的话检查像素值范围是不是在0到255之间文本的话检查有没有空字符串。再不行就看模型有些模型在特定输入下会输出nan比如除零操作可以在代码里加一些保护。还有一个容易被忽略的原因是混合精度训练。用AMP的时候如果loss scale设置不当梯度会溢出变成nan。解决办法是调小初始loss scale或者关掉混合精度先跑通再说。5.3 显存不够用的几种解法显存不够的报错是“CUDA out of memory”。解法有几个减小batch size是最直接的但太小了训练不稳定用梯度累积把多个小batch的梯度攒起来再更新等效于大batch用混合精度FP16比FP32省一半显存用梯度检查点牺牲一点速度换显存。我一般先试减小batch size如果效果下降明显再试梯度累积。如果这些都不行那就得换更大显存的规格。ModelArts上可以随时调整资源规格不用重新配环境这点比本地方便很多。6. 模型部署从训练产物到在线服务6.1 模型导出的格式选择训练完之后模型需要导出成可以部署的格式。PyTorch一般导出成pt或者pth文件里面保存模型结构和权重。如果要用ModelArts的在线服务推荐导出成ONNX格式兼容性更好推理速度也更快。导出ONNX的代码大概是这样import torch.onnx dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}} )dynamic_axes参数让batch size可以动态变化部署的时候可以一次处理多条请求。6.2 创建在线服务的步骤在ModelArts控制台选择“部署上线”-“在线服务”创建服务。需要选模型来源可以是从训练作业导入也可以自己上传模型文件。然后选推理框架PyTorch模型选PyTorchONNX模型选ONNX Runtime。再选资源规格推理一般比训练需要的资源少CPU规格有时候就够了除非是实时性要求很高的场景才用GPU。服务创建后会有一个API地址业务系统通过HTTP请求调用。请求体一般是JSON格式图片的话可以传base64编码文本直接传字符串。返回也是JSON包含预测结果和置信度。6.3 部署后的性能调优部署完之后如果发现推理速度慢可以从几个方面调优。一是模型量化把FP32转成INT8速度能提升两三倍精度损失一般在一个点以内。二是批处理把多个请求攒成一个batch一起推理吞吐量能提升很多。三是模型剪枝把不重要的权重去掉减小模型体积。注意量化之后一定要重新评估精度有些模型对量化比较敏感精度掉得厉害就不能用。批处理要注意延迟和吞吐的权衡batch越大吞吐越高但单条延迟也越大。7. 几个我踩过的坑和对应的解法7.1 数据路径写死导致换环境就报错一开始我在训练脚本里写死了本地路径比如/home/user/data/train传到ModelArts上跑就找不到文件。后来改成从环境变量或者命令行参数读取数据路径训练作业配置里指定路径脚本里用argparse接收。这样同一份代码在本地和云上都能跑。7.2 忘记设置随机种子导致结果不可复现有一次调参调了半天发现每次跑的结果都不一样以为是模型的问题后来发现是没设随机种子。PyTorch里要设好几个地方的种子import torch import numpy as np import random torch.manual_seed(42) torch.cuda.manual_seed_all(42) np.random.seed(42) random.seed(42) torch.backends.cudnn.deterministic True设完之后结果就稳定了调参才有意义。7.3 部署服务冷启动太慢在线服务刚创建或者长时间没请求的时候第一次调用会特别慢因为要加载模型。解决办法是设置最小实例数保持至少一个实例常驻这样就没有冷启动问题。代价是费用会高一些但対于线上服务来说稳定性比省钱重要。8. 一些让训练更顺手的实用技巧8.1 用Notebook做前期探索ModelArts的Notebook功能很适合做前期探索。创建一个Notebook实例选好GPU规格就可以在浏览器里写代码、跑实验。数据可以直接从OBS挂载进来不用下载到本地。我一般会在Notebook里先把数据看一遍确认格式没问题再写训练脚本。Notebook里调试比在训练作业里调试方便很多因为可以交互式地看中间结果。8.2 用自动超参搜索省调参时间ModelArts支持自动超参搜索你给定学习率、batch size等参数的搜索范围平台会自动跑多组实验找出效果最好的组合。这个功能对不熟悉调参的人很有用虽然会多花一些计算资源但比手动试快很多。我一般会在项目初期用一次找到大致范围之后再手动微调。8.3 训练完记得释放资源训练作业跑完之后如果不部署记得把Notebook实例和训练作业关掉不然会一直计费。我设了一个提醒每天下班前检查一遍有没有忘记关的实例。ModelArts控制台有资源监控页面能看到当前有哪些实例在运行一目了然。9. 关于模型部署的一些延伸思考模型部署不是终点而是一个新的起点。上线之后要持续监控服务的调用量、延迟、错误率发现异常及时处理。如果调用量增长很快要考虑扩容如果延迟变高要排查是模型问题还是网络问题。另外模型不是一成不变的业务数据在变模型也需要定期用新数据重新训练保持效果。我现在的工作流是数据更新后用Notebook做数据探索和脚本调试然后在ModelArts上跑训练作业训练完导出ONNX模型部署成在线服务业务侧通过API调用。整条链路跑通之后每次迭代只需要更新数据和重跑训练其他环节都是自动化的。这套流程帮我们把模型迭代周期从两周缩短到了两三天效率提升还是很明显的。最后分享一个小技巧如果你在本地已经有一台带显卡的机器想把它和ModelArts结合起来用可以把本地机器作为开发环境训练任务提交到ModelArts上跑。这样既保留了本地开发的灵活性又利用了云上的弹性资源。具体做法是在本地装ModelArts的SDK用命令行提交训练作业代码和数据从本地传到OBS训练完再把模型下载回来。这种方式适合需要频繁调试的场景。 
长河君 · 2026/10/26 6:15:02 · 阅读 1.2k 华为云ModelArts模型训练与部署实战：后端开发者的AI落地指南
1. 从零上手华为云 ModelArts一个后端开发的模型训练部署实录作为一个写了七八年后端代码的人我对“模型训练”这四个字的感情一直很复杂。业务侧隔三差五就提需求说这个分类能不能用AI做一下那个图片识别能不能自动化我每次都得硬着头皮去翻文档、配环境、调依赖光是CUDA版本和PyTorch版本对不上就能耗掉一整个下午。后来团队开始把训练任务往华为云ModelArts上迁我一开始是抗拒的觉得又是一套新的平台要学但真正用下来发现它把“环境配置”这件最烦人的事给兜住了我只需要关心数据和模型本身。这篇笔记就是我这段时间用ModelArts做模型训练与部署的完整记录。从数据怎么传上去、预训练模型怎么选、训练参数怎么配到模型怎么部署成一个能对外提供服务的在线接口我会把每一步的操作意图和踩过的坑都写清楚。如果你也是后端或者运维出身想快速把AI能力接进自己的业务里又不想被环境问题拖住那这篇内容应该能帮你省下不少时间。核心关键词就几个华为云、ModelArts、模型训练、模型部署我会围绕这四个词把整条链路讲透。2. 为什么我最终选了ModelArts而不是自己搭环境2.1 自建训练环境的三个致命痛点在迁到ModelArts之前我们试过在本地服务器上自己搭训练环境。当时买了一台带两张显卡的机器装驱动、装CUDA、装cuDNN、装PyTorch一套流程走下来花了整整两天。这还不是最要命的最要命的是版本兼容问题。显卡驱动版本、CUDA版本、PyTorch版本、Python版本这四个东西之间有一个对不上训练脚本就跑不起来报错信息还特别隐晦有时候是“CUDA out of memory”有时候是“undefined symbol”查半天才发现是版本问题。第二个痛点是资源利用率。训练任务不是每时每刻都在跑但机器得一直开着电费和折旧都是成本。而且一旦遇到大模型或者大数据集单机显存不够想扩就得再买卡采购流程走下来项目周期都过了。第三个痛点是环境复现。我在本地调通了换一台机器又得重新配一遍团队里每个人环境都不一样经常出现“我这边能跑你那边报错”的情况。这种问题在协作场景下特别消耗精力。2.2 ModelArts到底帮我省掉了什么ModelArts最直接的价值就是把上面三个痛点全接过去了。它提供的是开箱即用的训练环境你选好框架和版本平台自动帮你把驱动、CUDA、Python依赖全部配好你只需要上传代码和数据点一下开始训练就行。资源方面是按需计费训练的时候用不训练的时候释放不用养机器。环境复现也简单同一个镜像版本谁跑结果都一样。我特别喜欢它的一点是支持多种预训练模型直接加载。比如做图像分类可以直接用ResNet的预训练权重做中文文本分类可以用RoBERTa的中文预训练模型不用自己从头训。这对小团队来说太重要了从头训一个模型动辄需要几十张卡跑好几天用预训练模型微调一张卡几个小时就能出结果。提示ModelArts的预训练模型库覆盖了CV和NLP的主流模型选模型的时候先看你的任务类型图像分类选ResNet或EfficientNet目标检测选YOLO系列中文文本分类选RoBERTa语音合成可以看MeloTTS这类模型。2.3 什么场景适合用ModelArts不是所有场景都适合上云训练。我的判断标准是这样的如果你只是跑一个很小的demo数据量几百条本地CPU都能跑那没必要上云。但如果你遇到下面几种情况ModelArts就很合适数据量在GB级别以上本地机器跑一次要几个小时甚至几天需要GPU加速但本地没有显卡或者显卡不够需要频繁调整超参数做实验想快速对比不同配置的效果训练好的模型需要部署成在线服务给业务系统调用。我们团队现在的做法是小实验在本地用CPU跑确认思路没问题之后把数据和代码传到ModelArts上用GPU做正式训练训练完直接部署成在线服务业务侧通过API调用。整条链路是通的不用在环境上反复折腾。3. 数据准备与上传从本地到华为云OBS3.1 数据该怎么组织才不容易出错ModelArts训练时数据一般放在对象存储OBS里训练任务启动时会把OBS路径挂载到容器的某个目录下。所以第一步是把本地数据传到OBS。但在传之前数据的目录结构得先理清楚不然训练脚本里的路径会写得很乱。我习惯的目录结构是这样的根目录下分train和val两个文件夹每个文件夹里按类别分子文件夹图片放在对应的类别文件夹里。比如做一个猫狗分类结构就是train/cat/、train/dog/、val/cat/、val/dog/。这种结构的好处是用PyTorch的ImageFolder可以直接读取不用自己写数据加载逻辑。如果是文本数据我一般会整理成一个CSV或者JSON Lines文件每行包含文本内容和标签。CSV的话列名用text和labelJSON Lines每行是一个{text: ..., label: ...}的对象。这样在训练脚本里用pandas读进来就能用。注意数据上传前一定要检查有没有损坏文件。我遇到过一次训练跑到一半报错查了半天发现是某张图片文件大小为0读取的时候直接抛异常。后来我养成了习惯上传前先用脚本扫一遍把大小为0或者格式不对的文件挑出来。3.2 通过OBS Browser上传数据的实操步骤华为云提供了OBS Browser这个客户端工具图形化界面拖拽上传对不熟悉命令行的人很友好。下载安装后用华为云账号的AK/SK登录就能看到自己账号下的桶列表。创建桶的时候有几个参数要注意。区域选择离你近的比如你在华东就选华东区域的桶上传下载速度会快一些。存储类别选标准存储除非是归档数据才选低频或者归档。桶策略保持私有不要开公共读训练数据可能包含敏感信息。上传的时候如果数据量大建议先打包成zip再传传完在OBS里解压。直接传几万个小文件速度会很慢因为每个文件都要建立一次连接。打包成一个zip传上去之后再解压效率高很多。解压可以用OBS控制台里的“解压”功能也可以起一个ModelArts的notebook用命令行解压。3.3 用命令行工具批量上传的技巧如果你习惯用命令行obsutil是个好选择。安装配置好之后用obsutil cp命令就能上传。比如把本地data目录传到桶里的datasets目录下obsutil cp -r ./data obs://my-bucket/datasets/ -flat-flat参数表示不保留本地目录结构直接把文件铺平传到目标目录。如果希望保留目录结构去掉这个参数就行。上传大文件的时候可以加-p参数显示进度加-u参数开启断点续传网络不稳定的时候很有用。我一般会写一个简单的shell脚本把数据打包、上传、解压三步串起来每次更新数据跑一下脚本就行不用手动操作。4. 训练任务配置从预训练模型到超参数调优4.1 创建训练作业时的关键选项在ModelArts控制台创建训练作业有几个选项需要仔细选。第一个是算法来源可以选“预置算法”或者“自定义脚本”。预置算法是平台已经封装好的选好模型和数据集就能直接训适合快速验证。自定义脚本就是上传自己的训练代码灵活性更高。我一般用自定义脚本因为业务逻辑往往需要定制。第二个是环境镜像。ModelArts提供了很多预置镜像比如PyTorch 1.8、TensorFlow 2.1等等。选镜像的时候要注意镜像里的CUDA版本和你要用的预训练模型是否兼容。比如有些预训练模型是在CUDA 10.2下训的你选CUDA 11的镜像可能加载权重会报错。不确定的话选一个主流版本比如PyTorch 1.8 CUDA 10.2兼容性比较好。第三个是资源规格。ModelArts提供了多种规格从单卡到多卡都有。选规格的时候看两个指标显存和CPU核数。显存决定了你能跑多大的batch size和多大的模型CPU核数影响数据加载速度。如果数据加载是瓶颈可以选CPU核数多一点的规格或者把数据预处理好存成二进制格式减少读取开销。4.2 预训练模型的选择与加载用预训练模型微调是性价比最高的做法。以图像分类为例ResNet系列是最常用的。ResNet-50在ImageNet上预训练过的权重拿来微调自己的分类任务通常几百张图就能有不错的效果。加载方式很简单用torchvision的models模块import torchvision.models as models import torch.nn as nn model models.resnet50(pretrainedTrue) num_features model.fc.in_features model.fc nn.Linear(num_features, num_classes)这里把最后一层全连接层替换成自己任务的类别数其他层的权重用预训练的。训练的时候可以冻结前面的层只训最后一层也可以全部微调。数据量少的时候建议冻结数据量大的时候全部微调效果更好。中文文本任务的话RoBERTa的中文预训练模型是个好选择。用transformers库加载from transformers import RobertaForSequenceClassification, RobertaTokenizer model RobertaForSequenceClassification.from_pretrained( hfl/chinese-roberta-wwm-ext, num_labelsnum_classes ) tokenizer RobertaTokenizer.from_pretrained(hfl/chinese-roberta-wwm-ext)这个模型在中文语料上预训练过对中文语义的理解比直接用多语言模型好很多。微调的时候学习率要设小一点一般2e-5到5e-5之间太大了容易把预训练学到的知识冲掉。4.3 超参数设置的经验值超参数没有绝对的标准但有一些经验值可以参考。学习率方面从头训一般用0.01到0.1微调用1e-5到1e-4。batch size看显存8GB显存跑ResNet-50大概能到32跑RoBERTa大概能到16。epoch数看数据量数据少就多跑几轮数据多就少跑几轮一般10到50之间。优化器我常用AdamW它对Transformer类模型比较友好。图像任务用SGD加动量也行有时候泛化性能更好。学习率调度用余弦退火或者线性衰减比固定学习率效果好。提示训练过程中如果loss变成nan先检查学习率是不是太大了调小一个数量级试试。如果还不行检查数据里有没有异常值比如图片全黑或者文本里有特殊字符。梯度裁剪也能缓解这个问题把梯度范数限制在1.0以内。5. 训练过程监控与常见问题排查5.1 在ModelArts控制台看训练日志训练作业启动后可以在控制台看到实时日志。日志里会打印每个epoch的loss和accuracy还有学习率的变化。我一般会关注几个点loss是不是在稳定下降如果震荡很厉害说明学习率太大accuracy是不是在提升如果一直不涨说明模型没学到东西显存占用是不是稳定如果一直涨可能是内存泄漏。除了看日志ModelArts还支持TensorBoard。在训练脚本里加上TensorBoard的SummaryWriter把loss和accuracy写进去训练启动后在控制台点开TensorBoard就能看到曲线图。可视化比看数字直观很多尤其是对比不同实验的时候。5.2 训练报nan的排查思路训练报nan是最常见的问题之一。我的排查顺序是这样的先看学习率把学习率除以10再跑一次如果好了就是学习率的问题。如果还不行看数据用脚本检查输入数据有没有nan或者inf图片的话检查像素值范围是不是在0到255之间文本的话检查有没有空字符串。再不行就看模型有些模型在特定输入下会输出nan比如除零操作可以在代码里加一些保护。还有一个容易被忽略的原因是混合精度训练。用AMP的时候如果loss scale设置不当梯度会溢出变成nan。解决办法是调小初始loss scale或者关掉混合精度先跑通再说。5.3 显存不够用的几种解法显存不够的报错是“CUDA out of memory”。解法有几个减小batch size是最直接的但太小了训练不稳定用梯度累积把多个小batch的梯度攒起来再更新等效于大batch用混合精度FP16比FP32省一半显存用梯度检查点牺牲一点速度换显存。我一般先试减小batch size如果效果下降明显再试梯度累积。如果这些都不行那就得换更大显存的规格。ModelArts上可以随时调整资源规格不用重新配环境这点比本地方便很多。6. 模型部署从训练产物到在线服务6.1 模型导出的格式选择训练完之后模型需要导出成可以部署的格式。PyTorch一般导出成pt或者pth文件里面保存模型结构和权重。如果要用ModelArts的在线服务推荐导出成ONNX格式兼容性更好推理速度也更快。导出ONNX的代码大概是这样import torch.onnx dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}} )dynamic_axes参数让batch size可以动态变化部署的时候可以一次处理多条请求。6.2 创建在线服务的步骤在ModelArts控制台选择“部署上线”-“在线服务”创建服务。需要选模型来源可以是从训练作业导入也可以自己上传模型文件。然后选推理框架PyTorch模型选PyTorchONNX模型选ONNX Runtime。再选资源规格推理一般比训练需要的资源少CPU规格有时候就够了除非是实时性要求很高的场景才用GPU。服务创建后会有一个API地址业务系统通过HTTP请求调用。请求体一般是JSON格式图片的话可以传base64编码文本直接传字符串。返回也是JSON包含预测结果和置信度。6.3 部署后的性能调优部署完之后如果发现推理速度慢可以从几个方面调优。一是模型量化把FP32转成INT8速度能提升两三倍精度损失一般在一个点以内。二是批处理把多个请求攒成一个batch一起推理吞吐量能提升很多。三是模型剪枝把不重要的权重去掉减小模型体积。注意量化之后一定要重新评估精度有些模型对量化比较敏感精度掉得厉害就不能用。批处理要注意延迟和吞吐的权衡batch越大吞吐越高但单条延迟也越大。7. 几个我踩过的坑和对应的解法7.1 数据路径写死导致换环境就报错一开始我在训练脚本里写死了本地路径比如/home/user/data/train传到ModelArts上跑就找不到文件。后来改成从环境变量或者命令行参数读取数据路径训练作业配置里指定路径脚本里用argparse接收。这样同一份代码在本地和云上都能跑。7.2 忘记设置随机种子导致结果不可复现有一次调参调了半天发现每次跑的结果都不一样以为是模型的问题后来发现是没设随机种子。PyTorch里要设好几个地方的种子import torch import numpy as np import random torch.manual_seed(42) torch.cuda.manual_seed_all(42) np.random.seed(42) random.seed(42) torch.backends.cudnn.deterministic True设完之后结果就稳定了调参才有意义。7.3 部署服务冷启动太慢在线服务刚创建或者长时间没请求的时候第一次调用会特别慢因为要加载模型。解决办法是设置最小实例数保持至少一个实例常驻这样就没有冷启动问题。代价是费用会高一些但対于线上服务来说稳定性比省钱重要。8. 一些让训练更顺手的实用技巧8.1 用Notebook做前期探索ModelArts的Notebook功能很适合做前期探索。创建一个Notebook实例选好GPU规格就可以在浏览器里写代码、跑实验。数据可以直接从OBS挂载进来不用下载到本地。我一般会在Notebook里先把数据看一遍确认格式没问题再写训练脚本。Notebook里调试比在训练作业里调试方便很多因为可以交互式地看中间结果。8.2 用自动超参搜索省调参时间ModelArts支持自动超参搜索你给定学习率、batch size等参数的搜索范围平台会自动跑多组实验找出效果最好的组合。这个功能对不熟悉调参的人很有用虽然会多花一些计算资源但比手动试快很多。我一般会在项目初期用一次找到大致范围之后再手动微调。8.3 训练完记得释放资源训练作业跑完之后如果不部署记得把Notebook实例和训练作业关掉不然会一直计费。我设了一个提醒每天下班前检查一遍有没有忘记关的实例。ModelArts控制台有资源监控页面能看到当前有哪些实例在运行一目了然。9. 关于模型部署的一些延伸思考模型部署不是终点而是一个新的起点。上线之后要持续监控服务的调用量、延迟、错误率发现异常及时处理。如果调用量增长很快要考虑扩容如果延迟变高要排查是模型问题还是网络问题。另外模型不是一成不变的业务数据在变模型也需要定期用新数据重新训练保持效果。我现在的工作流是数据更新后用Notebook做数据探索和脚本调试然后在ModelArts上跑训练作业训练完导出ONNX模型部署成在线服务业务侧通过API调用。整条链路跑通之后每次迭代只需要更新数据和重跑训练其他环节都是自动化的。这套流程帮我们把模型迭代周期从两周缩短到了两三天效率提升还是很明显的。最后分享一个小技巧如果你在本地已经有一台带显卡的机器想把它和ModelArts结合起来用可以把本地机器作为开发环境训练任务提交到ModelArts上跑。这样既保留了本地开发的灵活性又利用了云上的弹性资源。具体做法是在本地装ModelArts的SDK用命令行提交训练作业代码和数据从本地传到OBS训练完再把模型下载回来。这种方式适合需要频繁调试的场景。