人工智能大模型机器学习数据清洗【免费下载链接】UltraData-Code-L2-Classifier项目地址https://ai.gitcode.com/OpenBMB/UltraData-Code-L2-Classifier点击查看免费下载UltraData-Code-L2-Classifier 是面向 11 种编程语言的文件级打分工具能对代码 Embedding 同时输出文件角色、算法相关性和代码质量三类分数是筛选高质量算法代码数据的核心工具。本文用零基础也能懂的方式带你一步步在 Python 中完成代码 Embedding 打分并批量处理 Parquet 代码库。一、UltraData-Code-L2-Classifier 是什么简单说它是一个“代码打分器”你给它一批代码文件以1024 维 Embedding的形式它还给你每个文件的一组分数属于什么角色ALGO、WEB、TOOL、DATA、TEST、CONFIG、EXCLUDE、算法相关性有多高algo_rel_score、代码质量如何quality_score。它是 UltraData-Code 数据流水线中的L2 筛选层L0 做仓库归档、L1 做标准化自然代码、L2 用本工具精筛算法密集代码约 400B tokens、L3 做任务导向合成。整体关系如下图所示对每个语言工具内部其实由 3 个模型协作完成这也是 scripts/scorers.py 里加载的内容模型文件作用C角色分类器C_file_role.bin判断文件角色如 ALGO / WEB / TESTA相关性模型A_relevance.bin输出算法相关性分数Embedding 路径特征Q质量模型Q_quality.binQ_scaler.npz输出 0~10 的代码质量分11 种语言的权重分别存放在classifiers/下cpp、csharp、go、java、javascript、php、python、r、ruby、rust、shell打分时必须使用与输入代码相同的语言目录。L2 筛选的完整框架如下图所示理解它就理解了本工具每一步在做什么二、快速上手克隆仓库并安装依赖1. 克隆仓库git clone https://gitcode.com/OpenBMB/UltraData-Code-L2-Classifier cd UltraData-Code-L2-Classifier2. 安装运行依赖只需要 3 个库一条命令即可pip install numpy torch pyarrow 如果你要读取 Parquet 数据文件pyarrow是必需的纯 Python 打分只依赖numpy和torch。三、在 Python 中对代码 Embedding 打分核心用法这是最常用的方式假设你已经有embeddingsfloat32形状[N, 1024]和与之一一对应的仓库相对路径paths几行代码就能拿到分数。import sys sys.path.insert(0, scripts) from scorers import LanguageScorers # 注意python 代码就选 classifiers/python 目录 scorers LanguageScorers.load(classifiers/python) out scorers.score(embeddings, paths) print(out.keys()) # dict_keys([category, cls_confidence, algo_rel_score, quality_score])几个新手必知的关键点Embedding 必须是 1024 维且要由 Qwen3-Embedding-0.6B 这类同维度编码器产出维度会被检查编码器不对则分数不可信paths必须是真实的仓库相对路径。相关性模型 A 会把路径编码为 256 维哈希特征见 scripts/path_features.py拼接进输入路径为空会影响分数返回值含义category文件角色7 类之一cls_confidence角色判断置信度0~1algo_rel_score算法相关性0~1越高越“含算法逻辑”quality_score代码质量0~10。四、批量处理用命令行给 Parquet 文件打分当数据量较大时推荐直接使用封装好的脚本 scripts/score_parquet.py。它支持单个 Parquet 文件或递归遍历整个目录。输入数据要求必须包含embedding列以及relative_path列或含file_path的meta结构。python scripts/score_parquet.py \ --scorers classifiers/python \ --input data/input \ --output-root data/output \ --batch-size 1024 \ --device cpu \ --apply-policy输出会镜像输入目录结构并保留所有原有列同时为每行追加 4 个打分列加上--apply-policy后还会追加布尔列selected标记是否通过筛选策略只打标不删行。常用参数速查参数作用--describe查看当前语言打分器的配置后直接退出--limit N最多处理 N 个 Parquet 文件适合先小规模试跑--batch-size每批推理的行数默认 1024--devicecpu或cuda--apply-policy追加selected筛选结果列--algo-rel-min/--quality-min/--exclude-categories覆盖默认筛选策略筛选策略从哪里来默认策略定义在 config.json 中相关性分 ≥0.8、质量分 ≥3.0且角色不是EXCLUDE三者同时满足才算“选中”。命令行参数 语言级覆盖per_language 全局默认值优先级递减方便你按语言微调阈值。五、打分效果如何官方实验显示用 L2 工具精筛后的数据训练 1B 模型Python 语言上 EvalPlus 平均 pass1 相比 L1 提升17.91 个百分点多语言场景下 EvalPlus、MultiPL-E 分别提升 7.80 和 5.13 个百分点。Python 方向的训练动态曲线如下六、新手常见坑位清单❌ 用了错误的语言目录如给 Python 代码传了classifiers/cpp→ ✅ 严格一语言一目录❌ Embedding 维度不是 1024 → ✅ 打分前检查embeddings.shape[1]❌ 路径用了绝对路径或留空 → ✅ 使用与 Embedding 顺序对齐的仓库相对路径❌ 一次性把数百万行塞进单进程 → ✅ 脚本是单进程设计大规模语料请按目录/分片拆分外部调度多次运行。更多细节可阅读 README.md 与 README_ZH.md各语言模型权重在 classifiers/python/ 等目录中。七、总结一句话回顾本教程的核心路径装环境pip install numpy torch pyarrow写代码打分LanguageScorers.load(...)scorers.score(embeddings, paths)跑批量任务python scripts/score_parquet.py --apply-policy ...看结果用category、algo_rel_score、quality_score和selected完成代码数据的算法相关性筛选。掌握这套流程你就能在自己的代码语料库上复现 L2 级的高精度代码筛选了。赞分享人工智能大模型机器学习数据清洗【免费下载链接】UltraData-Code-L2-Classifier项目地址https://ai.gitcode.com/OpenBMB/UltraData-Code-L2-Classifier点击查看免费下载相关推荐UltraData-Code-L2-Classifier 快速开始5分钟从安装到跑通11种编程语言的代码文件打分UltraData Code L2 Classifier 快速开始5分钟从安装到跑通11种编程语言的代码文件打分 UltraData Code L2 Clas人工智能大模型机器学习数据清洗如何快速上手 UltraData-Stack-v3-L2从零加载代码语料的完整教程含可运行代码如何快速上手 UltraData Stack v3 L2从零加载代码语料的完整教程含可运行代码 这是什么数据集 UltraData Stack v数据集大模型UltraData-Code-L2-Classifier质量模型为何打0-10分两阶段序数打分机制深度解析UltraData Code L2 Classifier质量模型为何打0 10分两阶段序数打分机制深度解析 UltraData Code L2 Classif人工智能大模型机器学习数据清洗上一篇OpenAI下场、谷歌连发两代巨头混战AI音乐开源YuE的窗口期还有多久下一篇Micro-World 2.0开发者指南5步对接AMD-AGI世界模型仓库与动作维度扩展、微调完整策略创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/11/4 19:47:02 · 阅读 1.2k 如何在Python中使用UltraData-Code-L2-Classifier：新手必学的代码Embedding打分完整教程
人工智能大模型机器学习数据清洗【免费下载链接】UltraData-Code-L2-Classifier项目地址https://ai.gitcode.com/OpenBMB/UltraData-Code-L2-Classifier点击查看免费下载UltraData-Code-L2-Classifier 是面向 11 种编程语言的文件级打分工具能对代码 Embedding 同时输出文件角色、算法相关性和代码质量三类分数是筛选高质量算法代码数据的核心工具。本文用零基础也能懂的方式带你一步步在 Python 中完成代码 Embedding 打分并批量处理 Parquet 代码库。一、UltraData-Code-L2-Classifier 是什么简单说它是一个“代码打分器”你给它一批代码文件以1024 维 Embedding的形式它还给你每个文件的一组分数属于什么角色ALGO、WEB、TOOL、DATA、TEST、CONFIG、EXCLUDE、算法相关性有多高algo_rel_score、代码质量如何quality_score。它是 UltraData-Code 数据流水线中的L2 筛选层L0 做仓库归档、L1 做标准化自然代码、L2 用本工具精筛算法密集代码约 400B tokens、L3 做任务导向合成。整体关系如下图所示对每个语言工具内部其实由 3 个模型协作完成这也是 scripts/scorers.py 里加载的内容模型文件作用C角色分类器C_file_role.bin判断文件角色如 ALGO / WEB / TESTA相关性模型A_relevance.bin输出算法相关性分数Embedding 路径特征Q质量模型Q_quality.binQ_scaler.npz输出 0~10 的代码质量分11 种语言的权重分别存放在classifiers/下cpp、csharp、go、java、javascript、php、python、r、ruby、rust、shell打分时必须使用与输入代码相同的语言目录。L2 筛选的完整框架如下图所示理解它就理解了本工具每一步在做什么二、快速上手克隆仓库并安装依赖1. 克隆仓库git clone https://gitcode.com/OpenBMB/UltraData-Code-L2-Classifier cd UltraData-Code-L2-Classifier2. 安装运行依赖只需要 3 个库一条命令即可pip install numpy torch pyarrow 如果你要读取 Parquet 数据文件pyarrow是必需的纯 Python 打分只依赖numpy和torch。三、在 Python 中对代码 Embedding 打分核心用法这是最常用的方式假设你已经有embeddingsfloat32形状[N, 1024]和与之一一对应的仓库相对路径paths几行代码就能拿到分数。import sys sys.path.insert(0, scripts) from scorers import LanguageScorers # 注意python 代码就选 classifiers/python 目录 scorers LanguageScorers.load(classifiers/python) out scorers.score(embeddings, paths) print(out.keys()) # dict_keys([category, cls_confidence, algo_rel_score, quality_score])几个新手必知的关键点Embedding 必须是 1024 维且要由 Qwen3-Embedding-0.6B 这类同维度编码器产出维度会被检查编码器不对则分数不可信paths必须是真实的仓库相对路径。相关性模型 A 会把路径编码为 256 维哈希特征见 scripts/path_features.py拼接进输入路径为空会影响分数返回值含义category文件角色7 类之一cls_confidence角色判断置信度0~1algo_rel_score算法相关性0~1越高越“含算法逻辑”quality_score代码质量0~10。四、批量处理用命令行给 Parquet 文件打分当数据量较大时推荐直接使用封装好的脚本 scripts/score_parquet.py。它支持单个 Parquet 文件或递归遍历整个目录。输入数据要求必须包含embedding列以及relative_path列或含file_path的meta结构。python scripts/score_parquet.py \ --scorers classifiers/python \ --input data/input \ --output-root data/output \ --batch-size 1024 \ --device cpu \ --apply-policy输出会镜像输入目录结构并保留所有原有列同时为每行追加 4 个打分列加上--apply-policy后还会追加布尔列selected标记是否通过筛选策略只打标不删行。常用参数速查参数作用--describe查看当前语言打分器的配置后直接退出--limit N最多处理 N 个 Parquet 文件适合先小规模试跑--batch-size每批推理的行数默认 1024--devicecpu或cuda--apply-policy追加selected筛选结果列--algo-rel-min/--quality-min/--exclude-categories覆盖默认筛选策略筛选策略从哪里来默认策略定义在 config.json 中相关性分 ≥0.8、质量分 ≥3.0且角色不是EXCLUDE三者同时满足才算“选中”。命令行参数 语言级覆盖per_language 全局默认值优先级递减方便你按语言微调阈值。五、打分效果如何官方实验显示用 L2 工具精筛后的数据训练 1B 模型Python 语言上 EvalPlus 平均 pass1 相比 L1 提升17.91 个百分点多语言场景下 EvalPlus、MultiPL-E 分别提升 7.80 和 5.13 个百分点。Python 方向的训练动态曲线如下六、新手常见坑位清单❌ 用了错误的语言目录如给 Python 代码传了classifiers/cpp→ ✅ 严格一语言一目录❌ Embedding 维度不是 1024 → ✅ 打分前检查embeddings.shape[1]❌ 路径用了绝对路径或留空 → ✅ 使用与 Embedding 顺序对齐的仓库相对路径❌ 一次性把数百万行塞进单进程 → ✅ 脚本是单进程设计大规模语料请按目录/分片拆分外部调度多次运行。更多细节可阅读 README.md 与 README_ZH.md各语言模型权重在 classifiers/python/ 等目录中。七、总结一句话回顾本教程的核心路径装环境pip install numpy torch pyarrow写代码打分LanguageScorers.load(...)scorers.score(embeddings, paths)跑批量任务python scripts/score_parquet.py --apply-policy ...看结果用category、algo_rel_score、quality_score和selected完成代码数据的算法相关性筛选。掌握这套流程你就能在自己的代码语料库上复现 L2 级的高精度代码筛选了。赞分享人工智能大模型机器学习数据清洗【免费下载链接】UltraData-Code-L2-Classifier项目地址https://ai.gitcode.com/OpenBMB/UltraData-Code-L2-Classifier点击查看免费下载相关推荐UltraData-Code-L2-Classifier 快速开始5分钟从安装到跑通11种编程语言的代码文件打分UltraData Code L2 Classifier 快速开始5分钟从安装到跑通11种编程语言的代码文件打分 UltraData Code L2 Clas人工智能大模型机器学习数据清洗如何快速上手 UltraData-Stack-v3-L2从零加载代码语料的完整教程含可运行代码如何快速上手 UltraData Stack v3 L2从零加载代码语料的完整教程含可运行代码 这是什么数据集 UltraData Stack v数据集大模型UltraData-Code-L2-Classifier质量模型为何打0-10分两阶段序数打分机制深度解析UltraData Code L2 Classifier质量模型为何打0 10分两阶段序数打分机制深度解析 UltraData Code L2 Classif人工智能大模型机器学习数据清洗上一篇OpenAI下场、谷歌连发两代巨头混战AI音乐开源YuE的窗口期还有多久下一篇Micro-World 2.0开发者指南5步对接AMD-AGI世界模型仓库与动作维度扩展、微调完整策略创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考