【免费下载链接】MASCOTEMNLP 2026 Main Conference Paper: MASCOT: Towards Multi-Agent Socio-Collaborative Companion Systems (https://arxiv.org/abs/2601.14230)项目地址https://gitcode.com/gh_mirrors/masco/MASCOT点击查看免费下载MASCOTEMNLP 2026 论文是一个面向情感支持与会议场景的多智能体社交陪伴系统。本文聚焦它的核心一环奖励模型Reward Model训练实战——先用 Rubric 评分为候选回答打分并构造偏好对再用 LoRA 微调一个输出标量分数的奖励模型为后续的 GRPO 强化学习提供评委。为什么 Speaker 训练需要一个奖励模型MASCOT 采用两阶段训练阶段 1 让每个 Speaker 智能体保持独特人设Persona阶段 2 让 Director 智能体协调整组对话。阶段 1 中Speaker 用GRPO做强化学习而 GRPO 必须有一个能给出连续分数信号的奖励模型来评估每次回答的好坏。Figure 1. MASCOT 整体架构候选回答经 Rubric 打分形成偏好对Preference Pairs训练 Persona 奖励模型再用于对齐 Speaker 策略整个数据流可以概括为四步生成候选回答让 LLM 按指定人设对同一情境生成多条候选回答Rubric 打分LLM 评审judge按 5 个维度逐条打分构造偏好对按分差筛选出 chosen / rejected 配对LoRA 训练奖励模型用 TRL 的RewardTrainer微调出标量打分器。第一步用 vLLM 起好推理服务数据生成阶段所有 LLM 调用都走 OpenAI 兼容的 vLLM 服务先启动服务pip install -e .[train] # 奖励模型 / GRPO 训练依赖 pip install -e .[serve] # 本地 vLLM 服务依赖 CUDA_VISIBLE_DEVICES0,1 python scripts/serve_vllm.py \ --model Qwen/Qwen3-8B --gpus 2 --port 8008启动器 serve_vllm.py 会自动推断张量并行数共享 GPU 时可加--gpu-memory-utilization 0.5控制显存占用。第二步Rubric 打分构造偏好对生成候选回答并打分python -m src.dataset.generate_and_annotate \ --mode individual --dataset ESConv \ --model-name Qwen/Qwen3-8B \ --num-agents-per-query 1 --score-margin 0.5 \ --vllm-server-url http://localhost:8008/v1 \ --output-dir data/rl完整参数说明见 generate_preference_data.sh 与 generate_and_annotate.py。--mode individual会为每条 query 生成多条候选回答--num-agents-per-query默认 5然后交给 Rubric 评审打分。评审的 5 个维度打分器实现于 rubric_evaluator.pyIndividualRubricEvaluator从 5 个维度各打 1-5 分total_reward取平均值维度含义persona_consistency人设一致性是否体现角色独特的语气与词汇perceived_empathy共情质量是否准确解读用户情绪emotional_expressiveness情绪表达语气强度是否与情境匹配relevance_coherence相关性是否紧扣上下文、逻辑连贯social_contribution社交贡献是否提供新视角而非套话值得注意的是评分哲学judge 被明确要求**严苛**——3 分是合格但平庸的默认分4-5 分属于稀有高分。这种校准能拉开候选回答之间的分差让后续构造的偏好对更有区分度。偏好对是怎么筛出来的按分数对候选排序后采用全配对策略任意一对候选只有当分数差 --score-margin默认 0.5时才组成一个偏好对chosen 高分回答rejected 低分回答。相关逻辑见 data_utils.py 中的load_meeting_prompts_dataset每条记录包含chosen/rejected两组消息及score_chosen/score_rejected两个分数列分数保持 Rubric 原始的 [1, 5] 区间不做缩放。候选越多、分差越大产出的偏好对越多——这也是--num-agents-per-query和--score-margin值得重点调参的原因。第三步LoRA 微调标量奖励模型模型结构序列分类头 LoRA奖励模型本质是一个带标量输出的分类器train_reward_model.py 通过 model_utils.py 的create_lora_model加载基座模型默认Qwen/Qwen3-0.6B任务类型为SEQ_CLS、num_labels1即对人设 评分标准 回答的整段 prompt 输出一个实数奖励分。关键细节LoRA 配置--lora-r 16、--lora-alpha 32、--lora-dropout 0.1只训练注意力投影层q_proj/v_proj/k_proj/o_proj可训练参数占比不到 0.2%训练框架TRL 的RewardTrainerbf16 混合精度 梯度检查点数据对齐训练前会把回答包裹进统一的人设 角色 标准评估 promptprompt_reward_model.py 的get_prompt_persona_reward_model保证训练分布与 GRPO 推理时的打分分布一致数据集划分默认 90% 训练 / 10% 评估每 100 步评估并保存一次save_total_limit3。一条命令开始训练python -m src.train.train_reward_model \ --dataset QMSum \ --model-name Qwen/Qwen3-0.6B或用现成脚本 train_reward_model.sh支持用环境变量覆盖DATASETESConv MODELQwen/Qwen3-0.6B bash scripts/train_reward_model.sh训练完成后LoRA 适配器保存在outputs/reward_model/Individual_{数据集}_{模型名}目录例如outputs/reward_model/Individual_QMSum_Qwen3-0.6B只写适配器、不写全量权重单个适配器仅约 10MB。关键超参数调优清单参数默认值作用与调优建议--score-margin0.5偏好对最小分差调低可扩量但引入噪声调高则更干净但数据变少--num-agents-per-query5每条 query 的候选数候选越多全配对产出的偏好对越多--batch-size4单卡批大小显存不足时调小并加大梯度累积--gradient-accumulation-steps4等效批大小 4 × 4 16--learning-rate1e-5奖励模型训练的常规量级--num-epochs1数据量大时可保持 1 轮--lora-r/--lora-alpha16 / 32alpha 取 rank 的 2 倍是常见搭配--max-length4096超长对话会被截断按数据长度调整Figure 2. MASCOT 消融实验完整模型MASCOT在 Persona 与 Collective 两组维度上均优于仅去掉单一优化目标的变体如果验证集奖励准确率不理想可以依次尝试增大偏好对数量调低--score-margin或增加候选数、换更大的基座模型、把--num-epochs提到 2-3。训练完成后接入 Speaker GRPO标量奖励模型就是阶段 1 强化学习的打分器直接指向刚训出的适配器目录即可python -m src.train.train_rl --algorithm grpo --dataset QMSum \ --reward-model-path outputs/reward_model/Individual_QMSum_Qwen3-0.6BFigure 3. MASCOT 目标多个视角互补的智能体代替回声室式单智能体给用户更平衡、更有洞察的陪伴需要区分的是本文训练的个人奖励模型只评估单个 Speaker 的回答阶段 2 整段多轮对话的群体级奖励模型由 train_group.py 的--mode train-reward-model训练数据来自generate_and_annotate --mode group的分支式 episode。两者共用同一套Rubric 打分 → 偏好对 → 奖励模型的范式只是粒度从单条回答扩展到了整段协作对话。小结偏好数据质量是成败关键Rubric 的严苛评分校准 --score-margin分差过滤决定了奖励模型学到的是深度与个性而非表面差异成本极低LoRA r16 只训练不到 0.2% 的参数产出约 10MB 的适配器小显存也能复现闭环设计训练时的评估 prompt 与 GRPO 推理时的打分 prompt 严格一致避免奖励 hacking。按起 vLLM → 生成打分 → 构造偏好对 → LoRA 训练 → 接入 GRPO五步走通你就得到了 MASCOT 阶段 1 的核心组件——一个懂人设、懂共情的标量奖励模型。赞分享【免费下载链接】MASCOTEMNLP 2026 Main Conference Paper: MASCOT: Towards Multi-Agent Socio-Collaborative Companion Systems (https://arxiv.org/abs/2601.14230)项目地址https://gitcode.com/gh_mirrors/masco/MASCOT点击查看免费下载相关推荐5分钟掌握F3开源工具帮你识别真假存储设备告别数据丢失风险5分钟掌握F3开源工具帮你识别真假存储设备告别数据丢失风险 你是否曾经遇到过这样的场景花了几百元购买的256GBU盘用了几个月后发现重要的工作CLI存储性能测试NeMo-RL奖励模型训练HelpSteer3数据集偏好学习实践NeMo RL奖励模型训练HelpSteer3数据集偏好学习实践 你是否在寻找高效训练奖励模型Reward Model, RM的解决方案NeMo RL作3行代码搞定AI偏好训练TRL奖励模型实战指南3行代码搞定AI偏好训练TRL奖励模型实战指南 你还在为AI生成内容不符合预期而烦恼想让模型精准理解你的偏好却苦于复杂配置本文将带你用TRLTransf人工智能大模型强化学习RLHF微调LoRA分布式训练上一篇桌面AI助手Witsy上手教程5分钟连上你的第一个AI模型下一篇OpenNHP 零信任网络隐身协议协议定位、架构与信创兼容性全景解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/29 1:33:25 · 阅读 1.2k MASCOT奖励模型训练实战：Rubric打分构造偏好对，LoRA微调标量奖励模型
【免费下载链接】MASCOTEMNLP 2026 Main Conference Paper: MASCOT: Towards Multi-Agent Socio-Collaborative Companion Systems (https://arxiv.org/abs/2601.14230)项目地址https://gitcode.com/gh_mirrors/masco/MASCOT点击查看免费下载MASCOTEMNLP 2026 论文是一个面向情感支持与会议场景的多智能体社交陪伴系统。本文聚焦它的核心一环奖励模型Reward Model训练实战——先用 Rubric 评分为候选回答打分并构造偏好对再用 LoRA 微调一个输出标量分数的奖励模型为后续的 GRPO 强化学习提供评委。为什么 Speaker 训练需要一个奖励模型MASCOT 采用两阶段训练阶段 1 让每个 Speaker 智能体保持独特人设Persona阶段 2 让 Director 智能体协调整组对话。阶段 1 中Speaker 用GRPO做强化学习而 GRPO 必须有一个能给出连续分数信号的奖励模型来评估每次回答的好坏。Figure 1. MASCOT 整体架构候选回答经 Rubric 打分形成偏好对Preference Pairs训练 Persona 奖励模型再用于对齐 Speaker 策略整个数据流可以概括为四步生成候选回答让 LLM 按指定人设对同一情境生成多条候选回答Rubric 打分LLM 评审judge按 5 个维度逐条打分构造偏好对按分差筛选出 chosen / rejected 配对LoRA 训练奖励模型用 TRL 的RewardTrainer微调出标量打分器。第一步用 vLLM 起好推理服务数据生成阶段所有 LLM 调用都走 OpenAI 兼容的 vLLM 服务先启动服务pip install -e .[train] # 奖励模型 / GRPO 训练依赖 pip install -e .[serve] # 本地 vLLM 服务依赖 CUDA_VISIBLE_DEVICES0,1 python scripts/serve_vllm.py \ --model Qwen/Qwen3-8B --gpus 2 --port 8008启动器 serve_vllm.py 会自动推断张量并行数共享 GPU 时可加--gpu-memory-utilization 0.5控制显存占用。第二步Rubric 打分构造偏好对生成候选回答并打分python -m src.dataset.generate_and_annotate \ --mode individual --dataset ESConv \ --model-name Qwen/Qwen3-8B \ --num-agents-per-query 1 --score-margin 0.5 \ --vllm-server-url http://localhost:8008/v1 \ --output-dir data/rl完整参数说明见 generate_preference_data.sh 与 generate_and_annotate.py。--mode individual会为每条 query 生成多条候选回答--num-agents-per-query默认 5然后交给 Rubric 评审打分。评审的 5 个维度打分器实现于 rubric_evaluator.pyIndividualRubricEvaluator从 5 个维度各打 1-5 分total_reward取平均值维度含义persona_consistency人设一致性是否体现角色独特的语气与词汇perceived_empathy共情质量是否准确解读用户情绪emotional_expressiveness情绪表达语气强度是否与情境匹配relevance_coherence相关性是否紧扣上下文、逻辑连贯social_contribution社交贡献是否提供新视角而非套话值得注意的是评分哲学judge 被明确要求**严苛**——3 分是合格但平庸的默认分4-5 分属于稀有高分。这种校准能拉开候选回答之间的分差让后续构造的偏好对更有区分度。偏好对是怎么筛出来的按分数对候选排序后采用全配对策略任意一对候选只有当分数差 --score-margin默认 0.5时才组成一个偏好对chosen 高分回答rejected 低分回答。相关逻辑见 data_utils.py 中的load_meeting_prompts_dataset每条记录包含chosen/rejected两组消息及score_chosen/score_rejected两个分数列分数保持 Rubric 原始的 [1, 5] 区间不做缩放。候选越多、分差越大产出的偏好对越多——这也是--num-agents-per-query和--score-margin值得重点调参的原因。第三步LoRA 微调标量奖励模型模型结构序列分类头 LoRA奖励模型本质是一个带标量输出的分类器train_reward_model.py 通过 model_utils.py 的create_lora_model加载基座模型默认Qwen/Qwen3-0.6B任务类型为SEQ_CLS、num_labels1即对人设 评分标准 回答的整段 prompt 输出一个实数奖励分。关键细节LoRA 配置--lora-r 16、--lora-alpha 32、--lora-dropout 0.1只训练注意力投影层q_proj/v_proj/k_proj/o_proj可训练参数占比不到 0.2%训练框架TRL 的RewardTrainerbf16 混合精度 梯度检查点数据对齐训练前会把回答包裹进统一的人设 角色 标准评估 promptprompt_reward_model.py 的get_prompt_persona_reward_model保证训练分布与 GRPO 推理时的打分分布一致数据集划分默认 90% 训练 / 10% 评估每 100 步评估并保存一次save_total_limit3。一条命令开始训练python -m src.train.train_reward_model \ --dataset QMSum \ --model-name Qwen/Qwen3-0.6B或用现成脚本 train_reward_model.sh支持用环境变量覆盖DATASETESConv MODELQwen/Qwen3-0.6B bash scripts/train_reward_model.sh训练完成后LoRA 适配器保存在outputs/reward_model/Individual_{数据集}_{模型名}目录例如outputs/reward_model/Individual_QMSum_Qwen3-0.6B只写适配器、不写全量权重单个适配器仅约 10MB。关键超参数调优清单参数默认值作用与调优建议--score-margin0.5偏好对最小分差调低可扩量但引入噪声调高则更干净但数据变少--num-agents-per-query5每条 query 的候选数候选越多全配对产出的偏好对越多--batch-size4单卡批大小显存不足时调小并加大梯度累积--gradient-accumulation-steps4等效批大小 4 × 4 16--learning-rate1e-5奖励模型训练的常规量级--num-epochs1数据量大时可保持 1 轮--lora-r/--lora-alpha16 / 32alpha 取 rank 的 2 倍是常见搭配--max-length4096超长对话会被截断按数据长度调整Figure 2. MASCOT 消融实验完整模型MASCOT在 Persona 与 Collective 两组维度上均优于仅去掉单一优化目标的变体如果验证集奖励准确率不理想可以依次尝试增大偏好对数量调低--score-margin或增加候选数、换更大的基座模型、把--num-epochs提到 2-3。训练完成后接入 Speaker GRPO标量奖励模型就是阶段 1 强化学习的打分器直接指向刚训出的适配器目录即可python -m src.train.train_rl --algorithm grpo --dataset QMSum \ --reward-model-path outputs/reward_model/Individual_QMSum_Qwen3-0.6BFigure 3. MASCOT 目标多个视角互补的智能体代替回声室式单智能体给用户更平衡、更有洞察的陪伴需要区分的是本文训练的个人奖励模型只评估单个 Speaker 的回答阶段 2 整段多轮对话的群体级奖励模型由 train_group.py 的--mode train-reward-model训练数据来自generate_and_annotate --mode group的分支式 episode。两者共用同一套Rubric 打分 → 偏好对 → 奖励模型的范式只是粒度从单条回答扩展到了整段协作对话。小结偏好数据质量是成败关键Rubric 的严苛评分校准 --score-margin分差过滤决定了奖励模型学到的是深度与个性而非表面差异成本极低LoRA r16 只训练不到 0.2% 的参数产出约 10MB 的适配器小显存也能复现闭环设计训练时的评估 prompt 与 GRPO 推理时的打分 prompt 严格一致避免奖励 hacking。按起 vLLM → 生成打分 → 构造偏好对 → LoRA 训练 → 接入 GRPO五步走通你就得到了 MASCOT 阶段 1 的核心组件——一个懂人设、懂共情的标量奖励模型。赞分享【免费下载链接】MASCOTEMNLP 2026 Main Conference Paper: MASCOT: Towards Multi-Agent Socio-Collaborative Companion Systems (https://arxiv.org/abs/2601.14230)项目地址https://gitcode.com/gh_mirrors/masco/MASCOT点击查看免费下载相关推荐5分钟掌握F3开源工具帮你识别真假存储设备告别数据丢失风险5分钟掌握F3开源工具帮你识别真假存储设备告别数据丢失风险 你是否曾经遇到过这样的场景花了几百元购买的256GBU盘用了几个月后发现重要的工作CLI存储性能测试NeMo-RL奖励模型训练HelpSteer3数据集偏好学习实践NeMo RL奖励模型训练HelpSteer3数据集偏好学习实践 你是否在寻找高效训练奖励模型Reward Model, RM的解决方案NeMo RL作3行代码搞定AI偏好训练TRL奖励模型实战指南3行代码搞定AI偏好训练TRL奖励模型实战指南 你还在为AI生成内容不符合预期而烦恼想让模型精准理解你的偏好却苦于复杂配置本文将带你用TRLTransf人工智能大模型强化学习RLHF微调LoRA分布式训练上一篇桌面AI助手Witsy上手教程5分钟连上你的第一个AI模型下一篇OpenNHP 零信任网络隐身协议协议定位、架构与信创兼容性全景解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考