大模型生成内容的「指令遵循度评测」核心是验证输出的周报是否完整、准确地落地了提示词中的全部要求同时兼顾与输入文档的事实一致性。下面从评测维度、人工评测方案、自动化评测方案、落地流程四个层面系统说明。一、核心评测维度先统一标尺先把提示词中的所有要求拆解为4类可校验的维度所有评测都基于此展开硬性指令覆盖度核心项提示词中明确要求「必须包含/必须做到」的内容属于一票否决级的P0项。比如必须包含的模块本周进展/下周计划/风险、必须覆盖的项目/数据、必须输出的结论等。约束规则合规度红线项提示词中明确「禁止/不能」的要求违反即视为未按提示词生成。比如禁止编造文档外的信息、禁止超字数、禁止出现敏感信息、禁止口语化表达等。格式规范符合度形式项提示词中对呈现形式的要求。比如Markdown标题层级、表格/分点格式、字数范围、语气风格、落款要求等。源文档忠实度基础项提示词几乎都会隐含「基于输入文档生成」的要求需验证周报内容是否全部可追溯到原文档无幻觉、无杜撰。二、人工评测方案高精度、适合小批量验收人工评测是最准确的基准方案适合最终验收、校准自动化评测标准核心是拆解为可逐条校验的Checklist。1. 第一步拆解提示词生成评测校验清单把提示词的每一条要求转化为「非黑即白、无歧义」的校验项按优先级分级。示例对应某周报提示词优先级类型校验项判定标准P0必须通过指令项包含「本周工作进展」模块周报中存在对应板块P0指令项工作进展覆盖A、B、C三个项目三个项目均有对应进度描述P0禁止项无文档未提及的进度数据所有数据均可在原文档中找到依据P0格式项三大模块使用二级标题##对应标题前有##标记P1优化项指令项结尾包含整体总结最后有一段整体评价P1格式项总字数300-500字字符数落在区间内2. 第二步评分与定级逐条校验后按以下标准定级完全符合所有P0项全部满足P1项满足≥80%无任何红线违规基本符合所有P0项全部满足P1项有少量缺失无核心违规部分符合1-2项P0未满足无严重禁止项违规不符合≥3项P0未满足或存在编造信息等严重红线违规三、自动化评测方案高效率、适合大批量迭代如果需要高频迭代提示词、批量验证生成效果推荐「规则校验 LLM-as-Judge大模型裁判」的组合方案。1. 规则自动化校验硬指标100%准确针对可通过程序直接判断的要求用脚本批量校验零误差、速度快。可覆盖的校验场景关键词/模块校验用正则匹配验证是否包含指定的标题、项目名、必现词汇格式校验检测Markdown标题层级、表格符号、分点符号是否符合要求字数校验统计字符数/词数是否在指定区间禁用词校验检测是否出现禁止的词汇、敏感内容结构校验段落数量、模块顺序是否符合要求2. LLM-as-Judge 大模型裁判语义级校验业界主流方案针对需要语义理解的复杂要求比如是否覆盖了项目核心进度、内容是否基于原文档、语气是否符合商务风格用更强的大模型作为“裁判”自动输出评分和问题点。核心评测Prompt模板可直接复用【角色】你是严谨的文档合规评测专家仅基于给定材料客观评测不额外补充信息。 【评测目标】判断生成的周报是否100%遵循了原始提示词的所有要求。 【输入材料】 1. 原始提示词 {prompt_text} 2. 输入源文档 {source_doc} 3. 待评测周报 {weekly_report} 【评测步骤与规则】 1. 先完整拆解原始提示词中的全部要求分为「必须执行项」「禁止项」「格式规范项」三类。 2. 逐一对待评测周报进行校验列出所有未满足的要求写明具体问题和对应位置。 3. 按4个维度独立打分满分100分60分为合格 - 指令覆盖度40分必须项满足比例缺1项扣对应分值 - 约束合规性30分违反1项禁止项扣10分扣完为止 - 格式规范度15分格式、结构、语气的符合程度 - 事实忠实度15分内容是否全部来自源文档无杜撰 4. 给出最终合格结论。 【输出要求】 严格输出JSON格式不要任何额外解释 { 维度得分: { 指令覆盖度: 数字, 约束合规性: 数字, 格式规范度: 数字, 事实忠实度: 数字 }, 总分: 数字, 违规项清单: [ {指令原文: xxx, 问题描述: xxx, 严重等级: 高/中/低} ], 是否合格: 是/否 }优化技巧用能力更强的大模型作为裁判比如用大参数模型评测小模型生成结果准确率更高加入1-2个「正确示例错误示例」的Few-Shot统一裁判的打分尺度对事实忠实度要求高的场景可额外搭配「向量检索校验」把周报拆成单句在源文档向量库中检索匹配度低于阈值则判定为疑似编造四、完整的评测落地流程构建评测集挑选5-20组覆盖不同场景的「文档提示词」样本作为固定测试集方便每次迭代对比效果初筛规则校验批量跑规则脚本快速过滤格式、字数等低级问题精评LLM裁判对通过初筛的样本跑大模型评测输出得分和问题清单校准人工复核对不合格样本、边缘分数样本55-65分进行人工复核修正裁判偏差统计迭代统计整体合格率、高频违规项针对性优化提示词、模型参数或生成流程再回归测试五、关键注意事项先优化提示词本身如果提示词存在歧义、模糊表述比如“写得专业一点”评测标准会无法对齐。评测前先把提示词改写为可量化、可验证的表述。事实忠实度是重灾区多数“没按提示词生成”的问题本质是模型编造了文档外的信息建议把该项作为最高优先级的校验项。避免唯分数论总分只是参考一定要拆解到具体违规项才能定位是提示词问题还是模型能力问题。 
长河君 · 2026/11/5 1:40:38 · 阅读 1.2k 指令遵循度评测
大模型生成内容的「指令遵循度评测」核心是验证输出的周报是否完整、准确地落地了提示词中的全部要求同时兼顾与输入文档的事实一致性。下面从评测维度、人工评测方案、自动化评测方案、落地流程四个层面系统说明。一、核心评测维度先统一标尺先把提示词中的所有要求拆解为4类可校验的维度所有评测都基于此展开硬性指令覆盖度核心项提示词中明确要求「必须包含/必须做到」的内容属于一票否决级的P0项。比如必须包含的模块本周进展/下周计划/风险、必须覆盖的项目/数据、必须输出的结论等。约束规则合规度红线项提示词中明确「禁止/不能」的要求违反即视为未按提示词生成。比如禁止编造文档外的信息、禁止超字数、禁止出现敏感信息、禁止口语化表达等。格式规范符合度形式项提示词中对呈现形式的要求。比如Markdown标题层级、表格/分点格式、字数范围、语气风格、落款要求等。源文档忠实度基础项提示词几乎都会隐含「基于输入文档生成」的要求需验证周报内容是否全部可追溯到原文档无幻觉、无杜撰。二、人工评测方案高精度、适合小批量验收人工评测是最准确的基准方案适合最终验收、校准自动化评测标准核心是拆解为可逐条校验的Checklist。1. 第一步拆解提示词生成评测校验清单把提示词的每一条要求转化为「非黑即白、无歧义」的校验项按优先级分级。示例对应某周报提示词优先级类型校验项判定标准P0必须通过指令项包含「本周工作进展」模块周报中存在对应板块P0指令项工作进展覆盖A、B、C三个项目三个项目均有对应进度描述P0禁止项无文档未提及的进度数据所有数据均可在原文档中找到依据P0格式项三大模块使用二级标题##对应标题前有##标记P1优化项指令项结尾包含整体总结最后有一段整体评价P1格式项总字数300-500字字符数落在区间内2. 第二步评分与定级逐条校验后按以下标准定级完全符合所有P0项全部满足P1项满足≥80%无任何红线违规基本符合所有P0项全部满足P1项有少量缺失无核心违规部分符合1-2项P0未满足无严重禁止项违规不符合≥3项P0未满足或存在编造信息等严重红线违规三、自动化评测方案高效率、适合大批量迭代如果需要高频迭代提示词、批量验证生成效果推荐「规则校验 LLM-as-Judge大模型裁判」的组合方案。1. 规则自动化校验硬指标100%准确针对可通过程序直接判断的要求用脚本批量校验零误差、速度快。可覆盖的校验场景关键词/模块校验用正则匹配验证是否包含指定的标题、项目名、必现词汇格式校验检测Markdown标题层级、表格符号、分点符号是否符合要求字数校验统计字符数/词数是否在指定区间禁用词校验检测是否出现禁止的词汇、敏感内容结构校验段落数量、模块顺序是否符合要求2. LLM-as-Judge 大模型裁判语义级校验业界主流方案针对需要语义理解的复杂要求比如是否覆盖了项目核心进度、内容是否基于原文档、语气是否符合商务风格用更强的大模型作为“裁判”自动输出评分和问题点。核心评测Prompt模板可直接复用【角色】你是严谨的文档合规评测专家仅基于给定材料客观评测不额外补充信息。 【评测目标】判断生成的周报是否100%遵循了原始提示词的所有要求。 【输入材料】 1. 原始提示词 {prompt_text} 2. 输入源文档 {source_doc} 3. 待评测周报 {weekly_report} 【评测步骤与规则】 1. 先完整拆解原始提示词中的全部要求分为「必须执行项」「禁止项」「格式规范项」三类。 2. 逐一对待评测周报进行校验列出所有未满足的要求写明具体问题和对应位置。 3. 按4个维度独立打分满分100分60分为合格 - 指令覆盖度40分必须项满足比例缺1项扣对应分值 - 约束合规性30分违反1项禁止项扣10分扣完为止 - 格式规范度15分格式、结构、语气的符合程度 - 事实忠实度15分内容是否全部来自源文档无杜撰 4. 给出最终合格结论。 【输出要求】 严格输出JSON格式不要任何额外解释 { 维度得分: { 指令覆盖度: 数字, 约束合规性: 数字, 格式规范度: 数字, 事实忠实度: 数字 }, 总分: 数字, 违规项清单: [ {指令原文: xxx, 问题描述: xxx, 严重等级: 高/中/低} ], 是否合格: 是/否 }优化技巧用能力更强的大模型作为裁判比如用大参数模型评测小模型生成结果准确率更高加入1-2个「正确示例错误示例」的Few-Shot统一裁判的打分尺度对事实忠实度要求高的场景可额外搭配「向量检索校验」把周报拆成单句在源文档向量库中检索匹配度低于阈值则判定为疑似编造四、完整的评测落地流程构建评测集挑选5-20组覆盖不同场景的「文档提示词」样本作为固定测试集方便每次迭代对比效果初筛规则校验批量跑规则脚本快速过滤格式、字数等低级问题精评LLM裁判对通过初筛的样本跑大模型评测输出得分和问题清单校准人工复核对不合格样本、边缘分数样本55-65分进行人工复核修正裁判偏差统计迭代统计整体合格率、高频违规项针对性优化提示词、模型参数或生成流程再回归测试五、关键注意事项先优化提示词本身如果提示词存在歧义、模糊表述比如“写得专业一点”评测标准会无法对齐。评测前先把提示词改写为可量化、可验证的表述。事实忠实度是重灾区多数“没按提示词生成”的问题本质是模型编造了文档外的信息建议把该项作为最高优先级的校验项。避免唯分数论总分只是参考一定要拆解到具体违规项才能定位是提示词问题还是模型能力问题。