【免费下载链接】SmolLM2-135M-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid点击查看免费下载SmolLM2-135M-Instruct是 AMD 面向 Ryzen AI 硬件优化的超小语言模型而SmolLM2-135M-Instruct_rai_1.8.0_hybrid则完整保留了它的DPO 偏好调优训练与评测数据。本文带你逐行拆解仓库里的训练日志与评测指标看懂 61.5% 奖励准确率究竟是怎么跑出来的。模型背景从 135M 小模型到 AMD 端侧部署源模型Hugging Face 的 SmolLM2-135M-Instruct约 1.35 亿参数架构Llama 结构30 层、hidden_size 576、9 个注意力头KV 头仅 3 个即 GQA、8192 上下文部署形态使用 AMD Quark 量化工具完成AWQ UINT4 权重 BFP16 激活量化再以 hybrid混合 CPU/NPUONNX 形式跑在 Ryzen AI 上关键配置可查看 config.json 与 README.mdrai_config.json 中还按 Ryzen AI 版本1.3.1 ~ 1.7.1规定了不同的max_prompt_length2048 或 4096。训练数据一览61,134 条偏好样本、2 个 epochtrain_results.json 和 all_results.json 记录了完整的训练汇总核心数字如下训练配置 / 指标数值说明训练样本数61,134DPO 偏好对数据chosen / rejected训练轮数epoch2接近完整两个 epoch总步数 max_steps954由样本数 ÷ 有效批量推算批大小 train_batch_size2端侧友好的小批量训练训练总耗时5,897.8 秒约 1 小时 38 分单机即可完成吞吐20.7 样本/秒对 135M 模型属于正常水平最终训练损失 train_loss0.6755与 DPO 损失的随机基线 ln2 ≈ 0.693 非常接近 小技巧DPO 的损失在模型完全无法区分好坏回答时恰好等于 ln(2) ≈ 0.693。本模型最终 train_loss 为 0.6755说明它只比随机猜测略好一点点——但这正是 DPO 训练的典型形态真正的能力体现在奖励准确率上。评测数据详解61.5% 奖励准确率从何而来eval_results.json 给出了在2,000 条独立评测样本上的最终成绩指标数值如何理解eval_rewards/accuracies0.61561.5%模型认为被偏好回答得分更高的比例超过 50% 即有效eval_rewards/margins0.2687好坏回答的平均奖励分差越大区分度越强eval_rewards/chosen-0.0719偏好回答的平均奖励eval_rewards/rejected-0.3407被拒回答的平均奖励eval_logps/chosen-443.65偏好回答的平均对数似然eval_logps/rejected-378.16被拒回答的平均对数似然偏高是正常现象eval_loss0.6741与训练损失 0.6755 几乎一致无明显过拟合eval_samples/eval_runtime2000 条 / 20.4 秒评测速度约 97.8 样本/秒三个奖励值均为负数、且被拒回答更低这正是 DPO 想要的结果模型学会了更不喜欢较差的回答而 61.5% 的准确率证明它对好坏的排序判断稳定优于抛硬币。训练曲线剖析学习率调度与准确率爬坡trainer_state.json 保存了每一步的详细日志从中可以还原出完整的训练过程学习率线性预热 余弦退火预热期从第 1 步的 1.04e-08 线性爬升约在第 100 步epoch 0.21达到峰值1e-06退火期随后按余弦曲线缓慢下降到第 954 步归零奖励准确率从 0 到 60% 的爬坡训练阶段step训练奖励准确率奖励边际 margins阶段特征第 1 步0%0起点完全随机第 100 步预热结束54.4%0.039快速脱离随机水平第 300 步64.4%0.254首次进入 60% 区间第 540 步71.2%训练峰值—训练集上表现最好第 950 步收尾55.6%0.236小批量波动均值稳定在 60% 左右评测轨迹每 100 步一评稳步上涨日志中eval_steps100共 9 次中期评测验证集准确率变化为step 100: 55.2% margins 0.037 step 300: 56.7% margins 0.171 step 500: 63.5% margins 0.237 step 700: 60.3% margins 0.258 step 800: 60.7% margins 0.308 step 900: 62.7% margins 0.311 最终: 61.5% margins 0.269 值得注意训练准确率峰值 71.2% 与验证集 61.5% 之间存在约 10 个百分点的差距属于小批量batch2训练的正常噪声范围而eval_loss0.6741与train_loss0.6755几乎重合说明没有明显过拟合。部署侧配置hybrid 混合推理的关键参数这份仓库不只是训练产物更是可直接加载的部署模型genai_config.json基于 ONNX Runtime GenAI 的加载配置RyzenAIprovider 下设置hybrid_opt_max_seq_length: 4096并指向外部数据文件model.pb.bin采样参数top_k50、do_sampletrue、temperature1.0见 generation_config.json 与 genai_config 的 search 段对话模板chat_template.jinja 采用类 ChatML 格式内置 You are a helpful AI assistant named SmolLM 系统提示如何获取并验证这份模型仓库只读直接克隆即可获取全部权重与训练数据文件git clone https://gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid克隆后即可得到核心文件model.onnx、model.onnx.data、model.binRyzen AI 1.8.0 混合推理权重、tokenizer.json、merges.txt 以及全部训练/评测日志。具体加载与推理步骤可参考 Ryzen AI 官方 hybrid OGA 文档。总结这份数据教会我们什么小模型也能做偏好调优135M 参数、单机 1.6 小时、20.7 样本/秒DPO 全链路成本极低61.5% 是真实有效的信号验证集准确率稳定在 60%、margins 持续为正且训练/评测损失无过拟合DPO 看排序而非绝对分两个奖励都是负数没关系关键在好坏回答的相对差margins 0.269端侧部署闭环训练日志 量化配置 hybrid 部署参数完整留档是研究端侧 LLM 后训练的好样本⚠️ 提示该模型的评测基准分数Benchmark scores官方标注暂不可用本文所有数字均来自仓库内的训练与评测原始数据。赞分享【免费下载链接】SmolLM2-135M-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid点击查看免费下载相关推荐XTuner Reward Model 训练配置详解损失函数、奖励 Token 与偏好数据调优XTuner Reward Model 训练配置详解损失函数、奖励 Token 与偏好数据调优 本文围绕 XTuner 中 Reward Model奖励模型大模型模型微调openpilot 怎么把车道居中和自适应巡航装进你的车openpilot 怎么把车道居中和自适应巡航装进你的车 堵车蠕行时跟车跟到手酸或者过弯时不敢松方向盘openpilot 驾驶辅助把车道居中和自适应巡航搬进自动驾驶人工智能深度学习计算机视觉NeMo-RL奖励模型训练HelpSteer3数据集偏好学习实践NeMo RL奖励模型训练HelpSteer3数据集偏好学习实践 你是否在寻找高效训练奖励模型Reward Model, RM的解决方案NeMo RL作创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/17 2:55:07 · 阅读 1.2k SmolLM2-135M-Instruct_rai_1.8.0_hybrid 训练与评测数据剖析：61.5% 奖励准确率背后的 DPO 偏好调优
【免费下载链接】SmolLM2-135M-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid点击查看免费下载SmolLM2-135M-Instruct是 AMD 面向 Ryzen AI 硬件优化的超小语言模型而SmolLM2-135M-Instruct_rai_1.8.0_hybrid则完整保留了它的DPO 偏好调优训练与评测数据。本文带你逐行拆解仓库里的训练日志与评测指标看懂 61.5% 奖励准确率究竟是怎么跑出来的。模型背景从 135M 小模型到 AMD 端侧部署源模型Hugging Face 的 SmolLM2-135M-Instruct约 1.35 亿参数架构Llama 结构30 层、hidden_size 576、9 个注意力头KV 头仅 3 个即 GQA、8192 上下文部署形态使用 AMD Quark 量化工具完成AWQ UINT4 权重 BFP16 激活量化再以 hybrid混合 CPU/NPUONNX 形式跑在 Ryzen AI 上关键配置可查看 config.json 与 README.mdrai_config.json 中还按 Ryzen AI 版本1.3.1 ~ 1.7.1规定了不同的max_prompt_length2048 或 4096。训练数据一览61,134 条偏好样本、2 个 epochtrain_results.json 和 all_results.json 记录了完整的训练汇总核心数字如下训练配置 / 指标数值说明训练样本数61,134DPO 偏好对数据chosen / rejected训练轮数epoch2接近完整两个 epoch总步数 max_steps954由样本数 ÷ 有效批量推算批大小 train_batch_size2端侧友好的小批量训练训练总耗时5,897.8 秒约 1 小时 38 分单机即可完成吞吐20.7 样本/秒对 135M 模型属于正常水平最终训练损失 train_loss0.6755与 DPO 损失的随机基线 ln2 ≈ 0.693 非常接近 小技巧DPO 的损失在模型完全无法区分好坏回答时恰好等于 ln(2) ≈ 0.693。本模型最终 train_loss 为 0.6755说明它只比随机猜测略好一点点——但这正是 DPO 训练的典型形态真正的能力体现在奖励准确率上。评测数据详解61.5% 奖励准确率从何而来eval_results.json 给出了在2,000 条独立评测样本上的最终成绩指标数值如何理解eval_rewards/accuracies0.61561.5%模型认为被偏好回答得分更高的比例超过 50% 即有效eval_rewards/margins0.2687好坏回答的平均奖励分差越大区分度越强eval_rewards/chosen-0.0719偏好回答的平均奖励eval_rewards/rejected-0.3407被拒回答的平均奖励eval_logps/chosen-443.65偏好回答的平均对数似然eval_logps/rejected-378.16被拒回答的平均对数似然偏高是正常现象eval_loss0.6741与训练损失 0.6755 几乎一致无明显过拟合eval_samples/eval_runtime2000 条 / 20.4 秒评测速度约 97.8 样本/秒三个奖励值均为负数、且被拒回答更低这正是 DPO 想要的结果模型学会了更不喜欢较差的回答而 61.5% 的准确率证明它对好坏的排序判断稳定优于抛硬币。训练曲线剖析学习率调度与准确率爬坡trainer_state.json 保存了每一步的详细日志从中可以还原出完整的训练过程学习率线性预热 余弦退火预热期从第 1 步的 1.04e-08 线性爬升约在第 100 步epoch 0.21达到峰值1e-06退火期随后按余弦曲线缓慢下降到第 954 步归零奖励准确率从 0 到 60% 的爬坡训练阶段step训练奖励准确率奖励边际 margins阶段特征第 1 步0%0起点完全随机第 100 步预热结束54.4%0.039快速脱离随机水平第 300 步64.4%0.254首次进入 60% 区间第 540 步71.2%训练峰值—训练集上表现最好第 950 步收尾55.6%0.236小批量波动均值稳定在 60% 左右评测轨迹每 100 步一评稳步上涨日志中eval_steps100共 9 次中期评测验证集准确率变化为step 100: 55.2% margins 0.037 step 300: 56.7% margins 0.171 step 500: 63.5% margins 0.237 step 700: 60.3% margins 0.258 step 800: 60.7% margins 0.308 step 900: 62.7% margins 0.311 最终: 61.5% margins 0.269 值得注意训练准确率峰值 71.2% 与验证集 61.5% 之间存在约 10 个百分点的差距属于小批量batch2训练的正常噪声范围而eval_loss0.6741与train_loss0.6755几乎重合说明没有明显过拟合。部署侧配置hybrid 混合推理的关键参数这份仓库不只是训练产物更是可直接加载的部署模型genai_config.json基于 ONNX Runtime GenAI 的加载配置RyzenAIprovider 下设置hybrid_opt_max_seq_length: 4096并指向外部数据文件model.pb.bin采样参数top_k50、do_sampletrue、temperature1.0见 generation_config.json 与 genai_config 的 search 段对话模板chat_template.jinja 采用类 ChatML 格式内置 You are a helpful AI assistant named SmolLM 系统提示如何获取并验证这份模型仓库只读直接克隆即可获取全部权重与训练数据文件git clone https://gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid克隆后即可得到核心文件model.onnx、model.onnx.data、model.binRyzen AI 1.8.0 混合推理权重、tokenizer.json、merges.txt 以及全部训练/评测日志。具体加载与推理步骤可参考 Ryzen AI 官方 hybrid OGA 文档。总结这份数据教会我们什么小模型也能做偏好调优135M 参数、单机 1.6 小时、20.7 样本/秒DPO 全链路成本极低61.5% 是真实有效的信号验证集准确率稳定在 60%、margins 持续为正且训练/评测损失无过拟合DPO 看排序而非绝对分两个奖励都是负数没关系关键在好坏回答的相对差margins 0.269端侧部署闭环训练日志 量化配置 hybrid 部署参数完整留档是研究端侧 LLM 后训练的好样本⚠️ 提示该模型的评测基准分数Benchmark scores官方标注暂不可用本文所有数字均来自仓库内的训练与评测原始数据。赞分享【免费下载链接】SmolLM2-135M-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid点击查看免费下载相关推荐XTuner Reward Model 训练配置详解损失函数、奖励 Token 与偏好数据调优XTuner Reward Model 训练配置详解损失函数、奖励 Token 与偏好数据调优 本文围绕 XTuner 中 Reward Model奖励模型大模型模型微调openpilot 怎么把车道居中和自适应巡航装进你的车openpilot 怎么把车道居中和自适应巡航装进你的车 堵车蠕行时跟车跟到手酸或者过弯时不敢松方向盘openpilot 驾驶辅助把车道居中和自适应巡航搬进自动驾驶人工智能深度学习计算机视觉NeMo-RL奖励模型训练HelpSteer3数据集偏好学习实践NeMo RL奖励模型训练HelpSteer3数据集偏好学习实践 你是否在寻找高效训练奖励模型Reward Model, RM的解决方案NeMo RL作创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考