人工智能大模型EmbeddingRAG计算机视觉【免费下载链接】EVIE-4.5B项目地址https://ai.gitcode.com/tencent_hunyuan/EVIE-4.5B点击查看免费下载EVIE-4.5B 是腾讯开源的轻量级视觉文档检索模型ViDoRe 榜单 SOTA。本文手把手带你用自有数据通过LoRA 微调打造只认你的文档的检索模型从环境配置、数据格式、一键训练脚本到效果验证全流程讲解。1. EVIE-4.5B 是做什么的一句话输入一句自然语言问题从一堆文档页面图片里找出答案所在的那一页。它基于 Qwen3.5 多模态底座用 late-interaction 多向量方式对每一页文档做细粒度匹配因此能看懂复杂表格、图表和小字号排版。比如你问Q3 的季度营收是多少模型就能把下面这张财务页面排到最前面官方权重在通用数据上已经很强但如果你要检索的是公司内部制度、私有合同、行业垂类报告用自有数据微调一轮效果会明显更贴合业务。2. 为什么选择 LoRA 微调EVIE 官方训练管线本身就是LoRAPEFT方案好处非常实际显存友好只更新文本塔的注意力/MLP 投影层见 code/student/scripts/train.py 中的TARGET_MODULES加上 Prefix-MRL 投影头视觉塔完全冻结产物轻量训练完得到一个 LoRA 适配器adapter_model.safetensors想部署完整模型再合并即可默认超参已调好lora_r32、lora_alpha128、学习率1.5e-5、bf16 训练开箱即用。3. 环境准备一次性配置先克隆仓库并安装依赖git clone https://gitcode.com/tencent_hunyuan/EVIE-4.5B cd EVIE-4.5B pip install -r requirements.txt然后复制环境模板 env.sh.example 为自己的env.sh只需关注几个关键变量变量作用EVIE_ROOT仓库根目录DATA_ROOT你的query-文档页 训练数据目录HARDNEG_ROOT你的困难负样本目录RUNS_DIR训练产出目录默认runs/TEACHER_DIR教师模型EVIE-8B检查点路径cp env.sh.example env.sh source env.sh 仓库内置了一套 6 页的 toy 数据examples/toy/可以先用它跑通全流程再换成真实数据。4. 准备你的自有训练数据EVIE 训练需要两种数据格式都有现成 toy 样例可以参考4.1 训练对part_*.parquet放在DATA_ROOT下的 parquet 文件每行一条query 正样本文档页图片以字节形式存在image列可选source列用于同任务组批code/shared/data_loader.py。toy 样例见 examples/toy/part_000.parquet。4.2 困难负样本HuggingFace datasets 目录放在HARDNEG_ROOT下是一个可被load_from_disk读取的数据集目录核心列为query、positive_doc_id、negative_doc_ids。仓库提供两个 shard 可直接试用examples/toy/hardneg/judged经人工/模型判定的负样本examples/toy/hardneg/allpos全部正样本版带sample_weight、query_group_id列所谓困难负样本就是长得像但不是答案的页面。以发票检索为例下面这张发票页对3 月有哪些高管这类 query 来说就是典型困难负样本——内容相关、答案却不对小技巧用现成的检索模型先对全库召回 top-k把排序靠前但不相关的页面标注为负样本是最快的冷启动方式。5. 开始训练官方三步脚本训练入口在 code/ 下官方配方分三步README 训练章节# 第 1 步训练 EVIE-8B 教师两臂 权重合并已有检查点可跳过 bash code/teacher/run.sh # 第 2 步用 ARD 蒸馏训练 EVIE-4.5B 学生 export TEACHER_DIR/path/to/Evie-8B bash code/student/run.sh # 第 3 步138 任务评测换成你自己的评测集亦可 MODEL_DIR. RUN_NAMEevie-4.5b bash code/shared/eval_run.sh第 2 步内部发生的事值得了解见 code/student/run.sh两臂训练a臂用allpos负样本 shard、b臂用judgedshard其余配方相同平均合并soup两臂的 LoRA 适配器在 code/shared/merge_seeds.py 中做均值合并得到更稳的权重自动评测训练完自动跑 code/shared/eval_run.shPrefix-MRL 各维度头64/128/256/512/1024/2048分别出分。关键参数速查都可以通过环境变量覆盖code/student/scripts/launch.sh参数默认值说明LORA_R/LORA_ALPHA32 / 128LoRA 秩与缩放LR1.5e-5学习率warm-startEPOCHS1训练轮数MVT1024每页最大视觉 token 数HEAD_DIMS64,128,…,2048Prefix-MRL 弹性维度NUM_HARD_NEGS2每条 query 的困难负样本数TEACHER_TEMPERATURE0.13ARD 蒸馏温度RELATION/MARGIN/ANCHOR_WEIGHT1.0 / 0.25 / 0.25蒸馏三项损失权重 如果没有 EVIE-8B 教师检查点train.py也支持无教师模式留空--teacher-dir且不配--head-dims时退化为纯检索训练ColbertLoss/ColbertNegativeCELoss适合纯自有数据场景。6. 验证你的微调成果方式一8 页玩具检索最快见效仓库内置 examples/demo/ 的 8 页文档和查询跑 examples/demo/run.sh 即可得到 nDCG/Recall 汇总RUN_NAMEmy-evie bash examples/demo/run.sh方式二命令行单条打分用 infer.py 对任意 query 和文档页图片打分排序肉眼验收python infer.py \ --query 发票 4412 的付款截止日期是几号 \ --image examples/demo/pages/invoice_4412.png \ --image examples/demo/pages/org_chart.png输出按相关性从高到低排列分数越高表示该页越匹配查询。方式三完整评测把自有测试集接入 code/shared/eval.py跑bash code/shared/eval_run.sh与官方 138 任务协议对齐nDCG、Recall、MAP、MRR。7. 常见问题Q1训练必须从教师模型开始吗不必。官方两阶段教师训练 → ARD 蒸馏是复现 SOTA 配方的路径只想在自己的数据上微调直接指向已有 EVIE-8B 检查点或启用无教师模式即可。Q2显存要求4.5B 模型 LoRA bf16单张 80GB 显卡即可起步默认脚本用torchrun自动探测 GPU 数量做多卡并行显存不够可打开GRAD_CHECKPOINTINGon或调小MVT。Q3换了数据格式要改代码吗不用。只要符合第 4 节的 parquet / datasets 目录结构改DATA_ROOT、HARDNEG_ROOT两个环境变量即可数据加载逻辑都在 code/shared/data_loader.py。Q4训完的模型索引太大部署时可用仓库内置的HAC token 压缩code/compress/免训练地把每页向量从约 750 个压到 32 个百万页索引仅需 3.81 GiB。8. 总结步骤命令/产物环境配置env.sh基于 env.sh.example数据准备part_*.parquet hardneg 数据集目录训练bash code/student/run.sh→runs/run/adapter_model.safetensors验证examples/demo/run.sh/ infer.py /code/shared/eval_run.sh跟着上面四步你就能看到用自有数据微调后的 EVIE-4.5B在自己的文档库上跑起来。赞分享人工智能大模型EmbeddingRAG计算机视觉【免费下载链接】EVIE-4.5B项目地址https://ai.gitcode.com/tencent_hunyuan/EVIE-4.5B点击查看免费下载相关推荐YOLOX自定义数据集训练实战从零微调出你自己的检测模型YOLOX自定义数据集训练实战从零微调出你自己的检测模型 YOLOX 是旷视开源的高性能 anchor free 目标检测框架 PyTorch 实现精度人工智能计算机视觉深度学习Segment Anything自定义训练教程在自己的数据集上微调模型Segment Anything自定义训练教程在自己的数据集上微调模型 痛点为什么需要自定义训练 你是否遇到过这样的情况Segment Anyth人工智能基础模型计算机视觉StarCoder自定义数据集训练从CSV文件到模型微调的完整流程StarCoder自定义数据集训练从CSV文件到模型微调的完整流程 你是否在为如何用自己的业务数据定制AI模型而烦恼是否尝试过多种方法却始终无法得到理想的结大模型代码模型微调AI 应用上一篇Navicat试用期破解终极指南3步让macOS版无限重置14天试用下一篇Xournal完全指南为什么这款免费手写笔记软件是PDF批注的终极解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/20 1:48:21 · 阅读 1.2k 训练你自己的EVIE-4.5B：用自有数据LoRA微调文档检索模型的完整流程
人工智能大模型EmbeddingRAG计算机视觉【免费下载链接】EVIE-4.5B项目地址https://ai.gitcode.com/tencent_hunyuan/EVIE-4.5B点击查看免费下载EVIE-4.5B 是腾讯开源的轻量级视觉文档检索模型ViDoRe 榜单 SOTA。本文手把手带你用自有数据通过LoRA 微调打造只认你的文档的检索模型从环境配置、数据格式、一键训练脚本到效果验证全流程讲解。1. EVIE-4.5B 是做什么的一句话输入一句自然语言问题从一堆文档页面图片里找出答案所在的那一页。它基于 Qwen3.5 多模态底座用 late-interaction 多向量方式对每一页文档做细粒度匹配因此能看懂复杂表格、图表和小字号排版。比如你问Q3 的季度营收是多少模型就能把下面这张财务页面排到最前面官方权重在通用数据上已经很强但如果你要检索的是公司内部制度、私有合同、行业垂类报告用自有数据微调一轮效果会明显更贴合业务。2. 为什么选择 LoRA 微调EVIE 官方训练管线本身就是LoRAPEFT方案好处非常实际显存友好只更新文本塔的注意力/MLP 投影层见 code/student/scripts/train.py 中的TARGET_MODULES加上 Prefix-MRL 投影头视觉塔完全冻结产物轻量训练完得到一个 LoRA 适配器adapter_model.safetensors想部署完整模型再合并即可默认超参已调好lora_r32、lora_alpha128、学习率1.5e-5、bf16 训练开箱即用。3. 环境准备一次性配置先克隆仓库并安装依赖git clone https://gitcode.com/tencent_hunyuan/EVIE-4.5B cd EVIE-4.5B pip install -r requirements.txt然后复制环境模板 env.sh.example 为自己的env.sh只需关注几个关键变量变量作用EVIE_ROOT仓库根目录DATA_ROOT你的query-文档页 训练数据目录HARDNEG_ROOT你的困难负样本目录RUNS_DIR训练产出目录默认runs/TEACHER_DIR教师模型EVIE-8B检查点路径cp env.sh.example env.sh source env.sh 仓库内置了一套 6 页的 toy 数据examples/toy/可以先用它跑通全流程再换成真实数据。4. 准备你的自有训练数据EVIE 训练需要两种数据格式都有现成 toy 样例可以参考4.1 训练对part_*.parquet放在DATA_ROOT下的 parquet 文件每行一条query 正样本文档页图片以字节形式存在image列可选source列用于同任务组批code/shared/data_loader.py。toy 样例见 examples/toy/part_000.parquet。4.2 困难负样本HuggingFace datasets 目录放在HARDNEG_ROOT下是一个可被load_from_disk读取的数据集目录核心列为query、positive_doc_id、negative_doc_ids。仓库提供两个 shard 可直接试用examples/toy/hardneg/judged经人工/模型判定的负样本examples/toy/hardneg/allpos全部正样本版带sample_weight、query_group_id列所谓困难负样本就是长得像但不是答案的页面。以发票检索为例下面这张发票页对3 月有哪些高管这类 query 来说就是典型困难负样本——内容相关、答案却不对小技巧用现成的检索模型先对全库召回 top-k把排序靠前但不相关的页面标注为负样本是最快的冷启动方式。5. 开始训练官方三步脚本训练入口在 code/ 下官方配方分三步README 训练章节# 第 1 步训练 EVIE-8B 教师两臂 权重合并已有检查点可跳过 bash code/teacher/run.sh # 第 2 步用 ARD 蒸馏训练 EVIE-4.5B 学生 export TEACHER_DIR/path/to/Evie-8B bash code/student/run.sh # 第 3 步138 任务评测换成你自己的评测集亦可 MODEL_DIR. RUN_NAMEevie-4.5b bash code/shared/eval_run.sh第 2 步内部发生的事值得了解见 code/student/run.sh两臂训练a臂用allpos负样本 shard、b臂用judgedshard其余配方相同平均合并soup两臂的 LoRA 适配器在 code/shared/merge_seeds.py 中做均值合并得到更稳的权重自动评测训练完自动跑 code/shared/eval_run.shPrefix-MRL 各维度头64/128/256/512/1024/2048分别出分。关键参数速查都可以通过环境变量覆盖code/student/scripts/launch.sh参数默认值说明LORA_R/LORA_ALPHA32 / 128LoRA 秩与缩放LR1.5e-5学习率warm-startEPOCHS1训练轮数MVT1024每页最大视觉 token 数HEAD_DIMS64,128,…,2048Prefix-MRL 弹性维度NUM_HARD_NEGS2每条 query 的困难负样本数TEACHER_TEMPERATURE0.13ARD 蒸馏温度RELATION/MARGIN/ANCHOR_WEIGHT1.0 / 0.25 / 0.25蒸馏三项损失权重 如果没有 EVIE-8B 教师检查点train.py也支持无教师模式留空--teacher-dir且不配--head-dims时退化为纯检索训练ColbertLoss/ColbertNegativeCELoss适合纯自有数据场景。6. 验证你的微调成果方式一8 页玩具检索最快见效仓库内置 examples/demo/ 的 8 页文档和查询跑 examples/demo/run.sh 即可得到 nDCG/Recall 汇总RUN_NAMEmy-evie bash examples/demo/run.sh方式二命令行单条打分用 infer.py 对任意 query 和文档页图片打分排序肉眼验收python infer.py \ --query 发票 4412 的付款截止日期是几号 \ --image examples/demo/pages/invoice_4412.png \ --image examples/demo/pages/org_chart.png输出按相关性从高到低排列分数越高表示该页越匹配查询。方式三完整评测把自有测试集接入 code/shared/eval.py跑bash code/shared/eval_run.sh与官方 138 任务协议对齐nDCG、Recall、MAP、MRR。7. 常见问题Q1训练必须从教师模型开始吗不必。官方两阶段教师训练 → ARD 蒸馏是复现 SOTA 配方的路径只想在自己的数据上微调直接指向已有 EVIE-8B 检查点或启用无教师模式即可。Q2显存要求4.5B 模型 LoRA bf16单张 80GB 显卡即可起步默认脚本用torchrun自动探测 GPU 数量做多卡并行显存不够可打开GRAD_CHECKPOINTINGon或调小MVT。Q3换了数据格式要改代码吗不用。只要符合第 4 节的 parquet / datasets 目录结构改DATA_ROOT、HARDNEG_ROOT两个环境变量即可数据加载逻辑都在 code/shared/data_loader.py。Q4训完的模型索引太大部署时可用仓库内置的HAC token 压缩code/compress/免训练地把每页向量从约 750 个压到 32 个百万页索引仅需 3.81 GiB。8. 总结步骤命令/产物环境配置env.sh基于 env.sh.example数据准备part_*.parquet hardneg 数据集目录训练bash code/student/run.sh→runs/run/adapter_model.safetensors验证examples/demo/run.sh/ infer.py /code/shared/eval_run.sh跟着上面四步你就能看到用自有数据微调后的 EVIE-4.5B在自己的文档库上跑起来。赞分享人工智能大模型EmbeddingRAG计算机视觉【免费下载链接】EVIE-4.5B项目地址https://ai.gitcode.com/tencent_hunyuan/EVIE-4.5B点击查看免费下载相关推荐YOLOX自定义数据集训练实战从零微调出你自己的检测模型YOLOX自定义数据集训练实战从零微调出你自己的检测模型 YOLOX 是旷视开源的高性能 anchor free 目标检测框架 PyTorch 实现精度人工智能计算机视觉深度学习Segment Anything自定义训练教程在自己的数据集上微调模型Segment Anything自定义训练教程在自己的数据集上微调模型 痛点为什么需要自定义训练 你是否遇到过这样的情况Segment Anyth人工智能基础模型计算机视觉StarCoder自定义数据集训练从CSV文件到模型微调的完整流程StarCoder自定义数据集训练从CSV文件到模型微调的完整流程 你是否在为如何用自己的业务数据定制AI模型而烦恼是否尝试过多种方法却始终无法得到理想的结大模型代码模型微调AI 应用上一篇Navicat试用期破解终极指南3步让macOS版无限重置14天试用下一篇Xournal完全指南为什么这款免费手写笔记软件是PDF批注的终极解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考