数据集人工智能模型评测媒体生成【免费下载链接】text-to-image-human-preference-6M项目地址https://ai.gitcode.com/hf_mirrors/Rapidata/text-to-image-human-preference-6M点击查看免费下载text-to-image-human-preference-6M 是由 Rapidata 为 Benchmark.ai 构建的文生图模型人类偏好评测数据集收录了6,123,853 条真实人类投票覆盖 43 个文生图模型在 1,514 条 prompt 上的两两对决。它完全依靠人工判断给每张图排名没有任何自动化指标——这份数据正是 Benchmark.ai 图像排行榜的底层依据。本文将拆解它靠多重独立投票 专业众包 userScore 加权三道关卡保住数据可信度的原理并教你正确读懂每个加权字段。数据集一览612万投票背后的数字指标数值两两对决样本行数680,548人类投票总数6,123,853Alignment 1,730,190 · Preference 1,731,352 · Coherence 1,730,112 · Text coherence 932,199参评文生图模型43 个评测 prompt1,514 条其中 616 条要求渲染文字唯一生成图片64,266 张标注者所在国家148 个三道关卡标注质量控制如何保证投票可信关卡一两两对决降低判断难度数据集中每一行都是同一 prompt 下两个模型生成图片的 head-to-head 比较。标注者不需要在几十个模型里打分只需在两张图中二选一——认知负担小、判断更稳定这也是偏好类数据集preference data最经典且抗噪的采集范式。关卡二4 个独立问题互不干扰每对图片会在四个独立问题中被分别评测对应四条独立排行榜子榜单问标注者的问题是否展示 prompt衡量什么Alignment哪张图更符合描述是图文忠实度Preference哪张图质量更高、更有视觉吸引力否整体美观度与 prompt 无关Coherence哪张图瑕疵更多、更像 AI 生成否视觉健全度选得越少越赢Text coherence哪张图的渲染文字有瑕疵或更难读否文字可读性选得越少越赢仅 616 条文字 prompt关卡三双人门槛 全量留痕投票可追溯每个被评测的问题至少 5 票单一标注者的个人偏好无法左右结果随机噪声在聚合后被稀释。分级众包渠道Alignment、Coherence、Text coherence 由 Rapidata 的专职合格标注人群完成Preference 则由开放全球标注池完成兼顾专业度与广度。投票来自 148 个国家且detailed_results_*列完整保留了每一票的 JSON 明细所选边votedFor、国家、语言、性别、年龄档、职业、userScore与投票时间戳votedAt——任何一条得分都可以逐票回溯核查。userScore 加权机制详解一票到底算多少普通偏好数据集常把票数当等权统计而 text-to-image-human-preference-6M 更进一步每一票都按标注者的 userScore 加权。weighted_results_image1_q与weighted_results_image2_q是 float32 字段含义是该问题下投给 image1 / image2 的所有投票的 userScore 权重之和q为 alignment、preference、coherence、text_coherence 之一。可以把它想象成专业评委话语权更大的陪审团历史表现更可靠的标注者其投票在合计中占比更高。注意这是加权和不是概率——两侧数值并不加和为 1。想算归一化胜率只需做一步除法例某对图在 Alignment 上投给 image1 的三票 userScore 为 1.2、1.5、1.0权重和 3.7投给 image2 的两票为 0.8、1.0权重和 1.8则 image1 的加权胜率 3.7 ÷ (3.7 1.8) ≈67%。detailed_results_q列则以 JSON 数组形式存下该问题的每一票原始记录加权和与原始明细可随时互相校验。两个极易踩坑的细节官方特别提醒Coherence 与 Text coherence 的投票方向已翻转。原始问题是哪张图瑕疵更多但数据中votedFor与weighted_results_*已指向瑕疵更少的那张图。因此四个问题的得分口径统一值越高越好聚合时不会再二次翻转。未被评测的问题字段为空。每对图片只被抽取部分问题评测对应行为None/0计算前需跳过例如w1 is None or w1 w2 0时直接 continue。数据结构与文件位置一行 同一 prompt 的一对图片字段一览完整定义见 README.md列类型说明promptstring两张图共同使用的生成提示词image1/image2stringmodel1/model2生成图的公开 URLmodel1/model2string出图模型名weighted_results_image{1,2}_qfloat32该问题下对应图片的 userScore 加权得票和detailed_results_qstring该问题全部投票的 JSON 明细含votedFor、userScore、人口属性等数据以 1472 个 parquet 分片存储例如第一个分片 data/train-00000-of-01472.parquet完整分片清单见 data/ 目录。三步上手验证加权胜率加载后取任意一行即可复算胜率from datasets import load_dataset ds load_dataset(Rapidata/benchmark-ai-image-benchmark, splittrain) row ds[0] q alignment w1, w2 row[fweighted_results_image1_{q}], row[fweighted_results_image2_{q}] if w1 and w1 w2 0: # 未被该问题评测的行字段为空 print(f{row[model1]} 加权胜率: {w1 / (w1 w2):.0%})总结为什么这份偏好数据值得信任量级612 万票、68 万对比较统计误差空间极小机制每题 ≥5 票 专业/开放双渠道 148 国来源单点噪声被充分稀释加权userScore 让可靠标注者的票更有分量聚合口径比简单计票更抗操纵透明逐票 JSON 全量留痕任何结论都可追溯到原始投票。无论是训练偏好模型RLHF/DPO 类方法、构建文生图模型排行榜还是研究人类偏好与模型能力的相关性text-to-image-human-preference-6M 都提供了目前规模最大、口径最统一的纯人类判断基准之一。赞分享数据集人工智能模型评测媒体生成【免费下载链接】text-to-image-human-preference-6M项目地址https://ai.gitcode.com/hf_mirrors/Rapidata/text-to-image-human-preference-6M点击查看免费下载相关推荐如何用CVAT质量控制功能消除标注误差5大核心机制详解如何用CVAT质量控制功能消除标注误差5大核心机制详解 你是否遇到过标注团队耗费数周完成的数据因标注不一致导致模型精度骤降的情况在计算机视觉Comput数据标注计算机视觉后端前端数据集31.5万条偏好样本深度剖析text-to-speech-human-preferences-315k数据质量检查完整清单31.5万条偏好样本深度剖析text to speech human preferences 315k数据质量检查完整清单 text to speech hu数据集语音音频Label Studio 标注质量控制审核机制与错误修正Label Studio 标注质量控制审核机制与错误修正 在数据标注流程中标注质量直接影响模型训练效果。Label Studio提供了完善的标注质量控制体系数据标注人工智能机器学习数据集后端前端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/23 12:33:10 · 阅读 1.2k 612万条投票为何可信？text-to-image-human-preference-6M标注质量控制与userScore加权机制详解
数据集人工智能模型评测媒体生成【免费下载链接】text-to-image-human-preference-6M项目地址https://ai.gitcode.com/hf_mirrors/Rapidata/text-to-image-human-preference-6M点击查看免费下载text-to-image-human-preference-6M 是由 Rapidata 为 Benchmark.ai 构建的文生图模型人类偏好评测数据集收录了6,123,853 条真实人类投票覆盖 43 个文生图模型在 1,514 条 prompt 上的两两对决。它完全依靠人工判断给每张图排名没有任何自动化指标——这份数据正是 Benchmark.ai 图像排行榜的底层依据。本文将拆解它靠多重独立投票 专业众包 userScore 加权三道关卡保住数据可信度的原理并教你正确读懂每个加权字段。数据集一览612万投票背后的数字指标数值两两对决样本行数680,548人类投票总数6,123,853Alignment 1,730,190 · Preference 1,731,352 · Coherence 1,730,112 · Text coherence 932,199参评文生图模型43 个评测 prompt1,514 条其中 616 条要求渲染文字唯一生成图片64,266 张标注者所在国家148 个三道关卡标注质量控制如何保证投票可信关卡一两两对决降低判断难度数据集中每一行都是同一 prompt 下两个模型生成图片的 head-to-head 比较。标注者不需要在几十个模型里打分只需在两张图中二选一——认知负担小、判断更稳定这也是偏好类数据集preference data最经典且抗噪的采集范式。关卡二4 个独立问题互不干扰每对图片会在四个独立问题中被分别评测对应四条独立排行榜子榜单问标注者的问题是否展示 prompt衡量什么Alignment哪张图更符合描述是图文忠实度Preference哪张图质量更高、更有视觉吸引力否整体美观度与 prompt 无关Coherence哪张图瑕疵更多、更像 AI 生成否视觉健全度选得越少越赢Text coherence哪张图的渲染文字有瑕疵或更难读否文字可读性选得越少越赢仅 616 条文字 prompt关卡三双人门槛 全量留痕投票可追溯每个被评测的问题至少 5 票单一标注者的个人偏好无法左右结果随机噪声在聚合后被稀释。分级众包渠道Alignment、Coherence、Text coherence 由 Rapidata 的专职合格标注人群完成Preference 则由开放全球标注池完成兼顾专业度与广度。投票来自 148 个国家且detailed_results_*列完整保留了每一票的 JSON 明细所选边votedFor、国家、语言、性别、年龄档、职业、userScore与投票时间戳votedAt——任何一条得分都可以逐票回溯核查。userScore 加权机制详解一票到底算多少普通偏好数据集常把票数当等权统计而 text-to-image-human-preference-6M 更进一步每一票都按标注者的 userScore 加权。weighted_results_image1_q与weighted_results_image2_q是 float32 字段含义是该问题下投给 image1 / image2 的所有投票的 userScore 权重之和q为 alignment、preference、coherence、text_coherence 之一。可以把它想象成专业评委话语权更大的陪审团历史表现更可靠的标注者其投票在合计中占比更高。注意这是加权和不是概率——两侧数值并不加和为 1。想算归一化胜率只需做一步除法例某对图在 Alignment 上投给 image1 的三票 userScore 为 1.2、1.5、1.0权重和 3.7投给 image2 的两票为 0.8、1.0权重和 1.8则 image1 的加权胜率 3.7 ÷ (3.7 1.8) ≈67%。detailed_results_q列则以 JSON 数组形式存下该问题的每一票原始记录加权和与原始明细可随时互相校验。两个极易踩坑的细节官方特别提醒Coherence 与 Text coherence 的投票方向已翻转。原始问题是哪张图瑕疵更多但数据中votedFor与weighted_results_*已指向瑕疵更少的那张图。因此四个问题的得分口径统一值越高越好聚合时不会再二次翻转。未被评测的问题字段为空。每对图片只被抽取部分问题评测对应行为None/0计算前需跳过例如w1 is None or w1 w2 0时直接 continue。数据结构与文件位置一行 同一 prompt 的一对图片字段一览完整定义见 README.md列类型说明promptstring两张图共同使用的生成提示词image1/image2stringmodel1/model2生成图的公开 URLmodel1/model2string出图模型名weighted_results_image{1,2}_qfloat32该问题下对应图片的 userScore 加权得票和detailed_results_qstring该问题全部投票的 JSON 明细含votedFor、userScore、人口属性等数据以 1472 个 parquet 分片存储例如第一个分片 data/train-00000-of-01472.parquet完整分片清单见 data/ 目录。三步上手验证加权胜率加载后取任意一行即可复算胜率from datasets import load_dataset ds load_dataset(Rapidata/benchmark-ai-image-benchmark, splittrain) row ds[0] q alignment w1, w2 row[fweighted_results_image1_{q}], row[fweighted_results_image2_{q}] if w1 and w1 w2 0: # 未被该问题评测的行字段为空 print(f{row[model1]} 加权胜率: {w1 / (w1 w2):.0%})总结为什么这份偏好数据值得信任量级612 万票、68 万对比较统计误差空间极小机制每题 ≥5 票 专业/开放双渠道 148 国来源单点噪声被充分稀释加权userScore 让可靠标注者的票更有分量聚合口径比简单计票更抗操纵透明逐票 JSON 全量留痕任何结论都可追溯到原始投票。无论是训练偏好模型RLHF/DPO 类方法、构建文生图模型排行榜还是研究人类偏好与模型能力的相关性text-to-image-human-preference-6M 都提供了目前规模最大、口径最统一的纯人类判断基准之一。赞分享数据集人工智能模型评测媒体生成【免费下载链接】text-to-image-human-preference-6M项目地址https://ai.gitcode.com/hf_mirrors/Rapidata/text-to-image-human-preference-6M点击查看免费下载相关推荐如何用CVAT质量控制功能消除标注误差5大核心机制详解如何用CVAT质量控制功能消除标注误差5大核心机制详解 你是否遇到过标注团队耗费数周完成的数据因标注不一致导致模型精度骤降的情况在计算机视觉Comput数据标注计算机视觉后端前端数据集31.5万条偏好样本深度剖析text-to-speech-human-preferences-315k数据质量检查完整清单31.5万条偏好样本深度剖析text to speech human preferences 315k数据质量检查完整清单 text to speech hu数据集语音音频Label Studio 标注质量控制审核机制与错误修正Label Studio 标注质量控制审核机制与错误修正 在数据标注流程中标注质量直接影响模型训练效果。Label Studio提供了完善的标注质量控制体系数据标注人工智能机器学习数据集后端前端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考