这篇论文提出了WeVisDoc一个面向鲁棒端到端文档解析的两阶段数据-centric 框架。其核心思想是文档解析器的性能提升不应只靠扩大数据覆盖还需要在训练后诊断模型残余弱点并据此有针对性地补充数据和重新分配训练预算。一、研究背景与问题文档解析需要把文档图像转换为结构化文本同时保留文本、公式、表格、阅读顺序等信息。现有方法面临两个问题训练数据偏置语料多偏向常见文档类型和干净数字页面对退化、长尾、复杂版面覆盖不足。仅扩大覆盖不够残差错误可能来自标注错误、视觉不可读、解码失败或模型能力限制不一定是数据覆盖缺失。因此需要区分“缺少数据支持”和“已有数据但暴露不足”。论文将文档数据扩展分为两个阶段阶段 I覆盖构建——建立广泛训练支持阶段 II能力感知改进——诊断残余弱点验证新增数据并重新分配监督暴露。二、方法框架1. 任务与训练目标统一文档解析文本用 Markdown公式用 LaTeX表格用 HTML。解析器自回归建模目标序列训练目标按监督目标 token 长度归一化而非按记录数平均。论文强调用loss-bearing target tokens衡量训练预算因为长页面和短组件的目标长度差异很大。2. 阶段 I广泛覆盖数据构建阶段 I 构建约4000 万条记录的池覆盖数据源开源数据集、内部数据、定向爬取、合成文档监督粒度完整页面、文本裁剪、混合区域、孤立表格、孤立公式版面单栏/多栏、侧边栏、浮动元素、脚注、表单、手写、海报等语言与采集条件简中、英文、繁中、混合语言原生数字、扫描、照片、截图、屏幕重拍合成数据通过“可执行页面程序”生成图像和目标支持语义 HTML 双重编译外观退化增强按采集路径分组退化算子模拟纸张、打印、扫描、传输、物理采集、屏幕重拍等效果同时保证内容可读、目标有效。阶段 I 还包含多模型联合标注、质量检查、去重、源感知采样和 token 份额到记录采样概率的转换。3. 阶段 II能力诊断与针对性改进阶段 II 构建约500 万条记录的改进池核心步骤包括诊断探针使用与训练、难例挖掘、最终评估不相交的 held-out probe测量阶段 I 模型在固定视觉-结构聚类中的残差错误高错误审计区分标注错误、解码失败、不可读内容与真实模型错误视觉-结构聚类用 SigLIP2 嵌入 PCA 结构元数据聚类聚合页面和组件级错误残差驱动合成针对诊断出的低覆盖能力生成公式丰富、表格丰富、多区域考试、密集报纸等困难样本训练重新平衡在固定阶段 II token 预算下根据自然 token 份额和标准化残差通过 KL 散度优化选择最接近提议且满足相对暴露界限的 token 分配同时结合难例流和阶段 I 重放减少遗忘。三、实验设置与主要结果1. 模型与训练基于Qwen3-VL-Instruct实例化2B 和 4B两个规模阶段 I 更新 ViT 和 LLM阶段 II 冻结 ViT仅更新 LLM使用统一系统提示、图像预处理和确定性解码每个检查点重复推理三次取平均。2. 评估基准OmniDocBench v1.6评估多样文档类型、版面、语言和元素组合下的覆盖能力PureDocBench包含 Clean、Digital Degraded、Real Degraded 三个赛道使用源派生真实值评估配对退化鲁棒性指标TextEdit、FormulaCDM、TableTEDS、ROEdit以及 Overall 和 Avg3。3. 主要结果WeVisDoc-4BOmniDocBench v1.6 Overall95.38在所比较端到端解析器中排名第一PureDocBench Avg375.54同样领先在 TextEdit、FormulaCDM、TableTEDS_S、ROEdit 等指标上也表现领先。WeVisDoc-2BOmniDocBench Overall95.06PureDocBench Avg373.86以一半参数量达到顶级端到端性能。阶段 II 增益2BOmniDocBench 1.56Avg3 1.744BOmniDocBench 1.16Avg3 2.35退化赛道增益更大Digital Degraded 2.38/2.55Real Degraded 2.37/4.03Clean 赛道增益较小0.46/0.49说明阶段 II 主要改善分布尾部和采集退化场景。四、消融与定性分析阶段式消融表明阶段 II 在两个模型规模上均提升 OmniDocBench 和三个 PureDocBench 赛道且在退化页面上提升更明显。定性案例显示阶段 II 能纠正表格区域遗漏阅读顺序错误公式序列化丢失表格边界过度扩展字段与值分离跨文档幻觉等。但在 Real Degraded 场景中仍存在字符级和数值级识别错误说明结构恢复不能完全消除物理采集下的识别误差。五、结论与局限主要贡献提出WeVisDoc两阶段数据-centric 框架先广泛覆盖再能力感知改进强调训练混合是“语料覆盖”与“模型能力”之间的可测量接口在 2B 和 4B 规模上均取得领先的端到端文档解析性能在退化鲁棒性赛道上的增益尤为显著。局限与未来工作当前证据受基准覆盖和合成退化保真度限制手写、历史扫描、严重损坏文档、更广泛采集条件仍未充分测量残差重新平衡依赖探针集、表示模型、聚类选择和评估器计算成本较高未来方向更广泛的真实采集数据、更稳定可解释的能力估计、更低成本的混合更新、更多语言和文档领域评估高风险部署仍需结合来源控制和人工审查。WeVisDoc 通过“先广泛覆盖、再诊断改进”的两阶段数据策略在固定模型架构和 token 预算下显著提升了端到端文档解析的精度与退化鲁棒性并在 OmniDocBench 和 PureDocBench 上取得了领先结果。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示2B模型权重发布地址在这里如下所示4B模型权重发布地址在这里如下所示摘要文档解析将文档图像转换为结构化内容需要在多样化的版面和采集条件下保持可靠性能。然而训练语料偏向于常见文档类型和干净的数字页面而仅扩大覆盖范围并不能说明如何解决解析器剩余的弱点。我们提出 WeVisDoc一个面向鲁棒端到端文档解析的两阶段数据-centric 框架。阶段 I 通过异构数据和结构保持的退化合成拓宽语义、结构和外观覆盖范围。阶段 II 使用一个留出的探针在固定的视觉-结构聚类内测量阶段 I 解析器的残差错误。这些诊断结果指导有针对性的数据构建和目标 token 预算的重新分配。WeVisDoc-4B 在 OmniDocBench v1.6 上达到 95.38 的总分在三个 PureDocBench 赛道上的平均总分为 75.54在所有四个设置中均位列所比较的端到端解析器之首。与阶段 I 相比阶段 II 在两个基准上均提升了 2B 和 4B 模型的总分在退化的 PureDocBench 赛道上提升更大其中 4B 模型在真实退化赛道上提升了 4.03 分。图 1WeVisDoc-4B 在所有四个报告设置中均领先于所比较的端到端解析器。柱状图显示了在 OmniDocBench v1.6 和三个 PureDocBench 鲁棒性赛道上的得分WeVisDoc-2B 以一半的参数量提供了顶级的端到端性能。1 引言文档解析将文档图像映射为结构化文本同时保留文本内容、元素类型、结构组织和阅读顺序。现代解析器要么直接解码整个页面 [3, 20]要么结合全局版面理解与区域识别 [12, 37]。尽管架构进展迅速可靠的解析仍然具有挑战性因为文档在语言、版面、内容密度、元素组成和采集条件上同时变化。这些变化产生了超出字符识别范围的独特失败模式。OmniDocBench [39] 和 PureDocBench [27] 等基准评估了这种变化的互补方面并强调了训练数据组成与解析器架构同等重要。因此近期工作投入了大量精力来改进文档训练数据。大规模策展、标注修复和可控合成拓宽了语言和结构多样性 [19, 23, 51, 53]。退化流水线扩展了训练的外观变化 [16]而源对齐的采集赛道则衡量了在这种变化下的鲁棒性 [27]。文档解析和语言模型预训练中的模型感知策略使用输出差异、代理混合搜索或表示空间诊断来优先安排训练数据或优化数据混合 [5, 7, 61]。改进的一个核心挑战是区分反映缺失数据支持的弱点和与训练分布中已表示模式的暴露不足相关的弱点。扩大经验支持和增加对现有支持的暴露是不同的干预措施。收集、检索或合成记录扩大了经验支持而重放或重新加权现有记录则改变了它们的暴露。对于自回归解析器我们用承载损失的 target token 而非记录数来刻画监督优化预算因为记录的目标长度差异很大。仅凭残差错误也不足以证明存在覆盖缺陷它可能源于不可靠的目标、低视觉可观测性、解码失败或模型限制而额外附近的示例无法解决这些问题。因此有效的分配需要明确评估相关训练支持是否缺失。我们将文档数据扩展组织为两个阶段覆盖构建和能力感知的改进。第一阶段建立广泛的训练支持第二阶段诊断残余弱点验证有针对性的添加并在修订后的池上重新分配监督暴露。我们提出 WeVisDoc一个实现此过程的两阶段数据-centric 框架每个阶段有单独的 target-token 预算。阶段 I 从约 4000 万条记录中构建广泛、经过验证的覆盖涵盖监督粒度、版面、语言、数据源和采集条件。它结合异构监督、可执行页面合成和源条件外观生成使用统一的解析目标和标注质量检查。源感知平衡限制了大型语料库的主导地位而外观变体扩展了视觉覆盖但不被视为额外的语义支持。阶段 II 则根据解析器的残余弱点对其进行改进。一个与训练、难例挖掘和最终评估不相交的诊断探针测量残余解析错误。结合对现有支持的审计这些测量结果指导在添加经过验证的数据和增加对可用记录的暴露之间做出选择。经过验证的添加、阶段 I 重放和单独审计的难例构成一个约 500 万条记录的改进池所有暴露都计入固定的阶段 II target-token 预算。我们在 2B 和 4B 规模上从 Qwen3-VL-Instruct [1] 实例化 WeVisDoc在每个规模内保持骨干、输出序列化和自回归目标不变。图 1 将所得模型与五个代表性端到端系统在 OmniDocBench v1.6 和三个 PureDocBench 赛道上进行了比较。在 OmniDocBench v1.6 上最终的 2B 和 4B 模型分别达到 95.06 和 95.38 的总分它们在 PureDocBench 上的相应 Avg3 分数分别为 73.86 和 75.54。4B 模型在所有四个设置中均位列所比较的端到端解析器之首而 2B 模型以一半的参数量保持竞争力。完整的阶段 II 协议在两个规模上均提升了两个基准在退化页面上比在干净页面上提升更大。这些分阶段结果与完整改进协议的益处一致尤其是在退化采集条件下由于阶段 II 结合了多种干预措施它们不能单独识别残差感知分配的效果。2 相关工作2.1 解析架构生成式文档解析器将文档图像转换为结构化文本为文本、表格和公式提供统一的输出接口。早期的图像到序列方法包括 Donut [20]、Pix2Struct [22] 和 Nougat [3]通过文档理解、截图预训练和科学页面转换确立了这一方向。较新的系统改进了页面信息的表示和编码方式SmolDocking [36] 使用 DocTags 表达内容和结构而 DeepSeek-OCR [54] 和 DeepSeekOCR 2 [55] 分别探索了视觉上下文压缩和视觉 token 的语义重排序。另一条工作线使用页面版面来组织区域识别。Dolphin [12] 和 MonkeyOCR [26] 将解析分解为结构分析和内容识别而 MinerU2.5 [37] 和 PaddleOCR-VL-1.5 [5] 将页面级版面分析与高分辨率区域处理相结合。PaDoc [59] 将并行区域解码与共享的全页视觉上下文连接起来。这些方法探索了协调全局结构和局部识别的不同方式。WeVisDoc 采用端到端解析并研究在每个模型规模的相同骨干架构内训练数据覆盖和分配如何改进解析器。2.2 文档专家的数据覆盖与策展监督的覆盖范围和质量决定了专家可以学习哪些文档模式。Vary [53] 强调密集的文档感知包括非英语内容mPLUG-DocOwl 1.5 [17] 将结构监督与跨多样视觉领域的文本定位相结合dots.ocr [25] 使用多语言数据联合学习版面、内容和关系。这些工作共同突出了文档监督的互补维度。OmniDocBench [39] 等基准通过跨异构页面和元素类型的评估使这种多样性可见。最近的数据-centric 系统将语料库构建作为解析器开发的明确部分。MinerU2.5-Pro [51] 将多样性感知采样与标注验证和修复相结合。DocHumming [23] 和 Infinity-Parser2 [19] 分别通过版面组合和可控渲染拓宽监督而 Infinity-Parser [49] 将策展的解析语料库与版面感知强化学习配对。这些努力推动了广泛、可靠的覆盖但有效的训练还需要决定哪些模式需要额外数据或更多暴露。WeVisDoc 通过两个阶段连接这些决策广泛的覆盖构建随后由训练后解析器的剩余弱点指导的改进。2.3 对文档退化的鲁棒性除了内容和版面多样性之外文档解析器还必须在扫描、摄影和复制引入的退化下保持可靠。DewarpNet [6] 和 UVDoc [48] 等文档去扭曲方法校正几何畸变以在识别前恢复平坦视图。数据增强提供了一条互补途径Augraphy [16] 模拟印刷、扫描及相关过程的伪影以在训练期间让模型接触退化的文档图像。最近的解析研究评估了文档退化如何影响解析质量。PaddleOCR-VL-1.5 [5] 和 DocHumming [23] 涵盖了拍摄或屏幕介导文档中的几何畸变和退化。PureDocBench [27] 使用共同的源派生目标评估对齐的干净和退化视图。对于监督解析器训练退化视图仅在其内容保持可读且与目标一致时才提供有效监督。WeVisDoc 将基于退化的增强纳入阶段 I 覆盖验证退化图像-目标对并控制其训练暴露以在保留语义和结构监督的同时提高鲁棒性。2.4 模型感知的数据分配数据选择和加权旨在更有效地利用有限的训练预算。课程学习 [2] 按难度组织暴露而 DoReMi [57] 和 Nemotron-CLIMB [7] 使用代理模型优化领域或聚类混合。Rho-1 [28] 则根据相对于参考模型的超额损失选择 token。在样本级别Core-Set [43]、JTT [29] 和 LESS [56] 分别优先考虑表示覆盖、初始模型错误和与目标示例的梯度相似性。这些方法提供了决定训练工作应花在哪里的互补方式。文档特定的方法越来越多地将此类决策与诊断出的解析弱点联系起来。不确定性感知聚类采样 [5] 使用随机输出差异在视觉聚类之间分配样本。MinerU2.5-Pro [51] 和 PaddleOCR-VL-1.6 [61] 将数据分组和模型反馈与有针对性的数据扩展或标注修复相结合而 HunyuanOCR-1.5 [24] 将长尾弱点转化为数据构建需求。训练反馈也可以直接塑造优化Infinity-Parser [49] 和 FD-RL [65] 使用具有文档特定奖励的强化学习。这些方法共同推动了将模型诊断与数据构建及后续训练连接起来。WeVisDoc 在两阶段监督训练中结合了广泛覆盖和模型感知的改进。阶段 I 在多样的文档内容、结构和退化上训练解析器。阶段 II 使用所得模型的剩余弱点来指导进一步的数据构建和训练。我们在一个与训练、难例挖掘和最终评估不相交的诊断探针上针对真实目标测量页面和组件错误并在表示空间组上聚合它们。结合对现有数据覆盖的检查这些信号在固定的监督输出 token 预算下指导有针对性的添加和暴露分配。因此池扩展和暴露重新分配是监督模型训练中的独立干预措施。在每个模型规模内训练更新模型参数同时保持骨干架构、输出序列化和自回归目标不变。3 方法我们的方法首先构建广泛的数据覆盖然后添加数据并调整训练以解决剩余的解析错误。第 3.1 节定义任务和训练目标第 3.2 和 3.3 节描述两个阶段第 3.4 节给出实验配置。3.1 任务表述和方法概述3.2 阶段 I广泛覆盖的数据构建阶段 I 通过组合数据源、转换标注、过滤低质量数据和生成新示例构建约 4000 万条记录的池。监督转换将源标注转换为完整页面、区域或组件的训练对第 3.2.1 节。覆盖范围涵盖文档领域、版面、输出结构、语言和采集条件这些属性分别跟踪。图 2 总结了构建过程。3.2.1 数据源和覆盖多样化的数据源。语料库结合了开源数据集、内部集合、有针对性的网络和 PDF 爬取以及生成的文档。公共数据集为文章、书籍、表单、收据、表格和公式提供广泛的 OCR 覆盖和可重用的标注。内部集合添加了基准中代表性不足的生产文档和采集条件。有针对性的爬取添加来自代表性不足领域和模式的示例包括教育材料、报纸、手写和混合语言页面。真实文档保留了内容、版面、字体以及捕获或扫描期间引入的视觉效果之间的关系。合成数据系统地改变收集源中罕见的结构。源信息使收集数据和合成数据保持可分别追踪以用于分析。外观变体保持与其源页面链接将视觉增强与新文档内容分开。源和生成元数据支持划分构建、去重移除或分组重复内容、源感知采样和错误分析。页面、区域和组件监督。语料库包括完整页面、纯文本裁剪、混合内容区域、孤立表格和孤立公式。完整页面教授全局阅读顺序以及文本、表格、公式和标题之间的关系。文本裁剪为小或密集字符保留识别分辨率混合内容区域保留局部交互例如公式与解释或图与标题。表格和公式获得针对其结构要求的专门监督。HTML 表格编码单元格内容和结构包括行和列跨度。LaTeX 公式编码符号、运算符层次和分组。组件记录为这些结构提供更多训练。监督转换使用每个源中最具信息量的可靠标注。经过验证的页面元素和阅读顺序产生 Markdown 目标并在有效时产生相应的文本、混合区域、表格或公式裁剪。仅包含表格或公式标注的源使用相应的组件表示而不虚构页面上下文。裁剪仅接收可见内容目标并与其页面级对应物一致归一化。源和转换标识符链接派生记录保持页面、区域和组件目标一致并限制来自一个页面的重复暴露。在训练特定采样之前大约 40% 的记录提供完整页面监督25% 为文本或混合区域25% 为孤立表格10% 为孤立公式。多样化的文档版面。版面覆盖包括单栏和多栏页面、变化的列数、侧边栏、浮动元素、脚注以及具有基于字段阅读顺序的表单。手写笔记、海报和演示材料增加了没有规则网格的版面。这些示例需要局部分组和阅读顺序推断而不仅仅是固定的自上而下模板。密度和尺度在每个版面家族内变化从稀疏的标题页到密集的学术或法律文档。表格可能占据整个页面也可能嵌入正文中。版面标签和组件统计支持覆盖分析和批处理而所有输入保持共享输出表示。图像来源和语言。采集覆盖范围包括原生数字页面、扫描件、照片、截图和屏幕重拍引入几何、光照、分辨率、噪声和压缩方面的变化。语言包括简体中文、英文、繁体中文和混合语言页面。质量检查移除损坏或不可读的图像并将不确定的目标路由到标注审查。图像哈希检测完全重复归一化视觉嵌入在源感知阈值下识别近重复。去重在监督转换之前进行派生视图保留其重复组标识因此重复内容不会夸大数据覆盖或主导训练。这些属性指导源感知采样和后续残差分析。其中 ED 是字符级 Levenshtein 距离∣⋅∣ 计算字符数。高置信度标注要求所有三个专家都做出预测且每对 NED 低于标注一致性阈值 δannann 表示标注。一致性结合 HTML/LaTeX 可解析性和结构检查。转换后的源真实值在有效时仍然优先否则选择一致专家输出的有效代表。如果两个专家一致而第三个不同则一致输出在纳入训练之前需要基于图像的审查。如果三个都不同该记录则被排除在普通阶段 I 监督之外并由更强的多模态模型和人工审查员审查以可能用于阶段 II。缺失预测或未解决的分歧同样需要审查仅一致性并不能确立正确性。置信度涉及目标可靠性难度涉及可见内容由结构复杂性、组件密度和专家分歧来表征。可靠记录根据这些属性被分层为 Easy、Medium 和 Hard 级别这些分层指导阶段 I 采样和阶段 II 难例挖掘。损坏图像、无效标记、错误阅读顺序、严重重复和重复项被过滤或审查。哈希、视觉嵌入、识别内容和版面支持重复控制。未解决的图像-目标分歧进入第 3.3.1 节的审计。3.2.3 广泛覆盖的数据合成广泛覆盖合成创建可执行页面程序——即产生页面图像及其目标的结构化规范——用于收集数据中很少发现的组合。内容和结构在 3.2.4 节的外观增强之前生成。相关工作也使用组合合成进行可控的全页监督 [23]。组合文档程序。页面程序指定内容依赖关系、语言、版面、阅读顺序、元素和视觉风格。其源和随机状态允许重新生成。联合语义和渲染约束要求表格结构一致、公式与其解释兼容且内容可见。源和结构元数据在重复控制后识别代表性不足的组合。第 3.2.2 节中的标注审查识别不确定目标而生成器家族限制防止少数模板主导。程序在版面之前建立语义关系论断连接到证据行项目连接到总计概念连接到方程。这些关系确定标题、表格、标题附件和跨区域阅读顺序。内容和风格在所得约束内变化。从语义 HTML 双重编译。语义 HTML 是可执行的中间表示。每个块成为具有元素类型和唯一标识符的文档对象模型DOM节点CSS 控制其视觉布局。一个编译路径渲染图像和节点几何另一个遍历同一棵树以生成元素标签、阅读顺序 Markdown、HTML 表格和源 LaTeX。共享标识符对齐图像区域和结构化目标从生成源产生精确监督。生成的页面经过与收集数据相同的归一化、验证和重复控制。失败的渲染、裁剪内容、无效表格或公式以及不可读文本被拒绝。复杂性和专家分歧表征难度程序级上限保持多样性。图 3 显示了代表性输出。3.2.4 外观退化和增强外观增强遵循源特定的采集路径原生数字页面可能被调整大小或重拍纸质文档可能被打印或扫描历史材料可能受老化影响。应用于收集页面和 3.2.3 节中的干净合成它扩展了采集覆盖同时保留有效的语义目标。我们将兼容的退化算子按采集路径分组为算子家族每个家族指定操作顺序和参数范围。这种组织借鉴了文档图像增强和源感知鲁棒性比较 [16, 27]。采集场景结合兼容的算子家族、其参数和物理顺序。例如复印照片经过纸张和墨水形成、设备复制和相机捕获。源介质约束有效路径内容密度、符号大小、公式笔画和表格线宽约束严重程度。转换视图仅在所有监督内容保持可见和可读时才保留其源目标。丢失内容的视图被拒绝或根据 3.2.1 节分配可见内容裁剪目标。图 3通用数据合成产生的代表性页面。画廊涵盖结构化技术报告、公式丰富的教育页面和长篇学术页面展示了语义上下文、元素组成、页面密度、排版和版面组织的联合变化。纸张、复印和传输效果。纸张纹理、老化、污渍和墨水褪色或渗色模拟纸张和印刷的变化。打印、复印和扫描引入半色调图案、模糊、条纹和对比度损失而数字传输增加调整大小、重新编码和压缩伪影。效果根据分辨率和笔画宽度缩放保留文本、公式和表格线之间的相关差异。物理采集。表面图和约束网格改变透视、页面曲率和折痕遵循文档去扭曲表示 [6, 48]。光照遵循采样几何以产生空间一致的阴影和曝光变化。屏幕重拍建模显示到相机的采样链产生摩尔纹和彩色边缘相机效果还包括运动或深度相关模糊。难度和可观测性控制。内容保留和局部可读性决定准入专家分歧表示难度但不确立目标有效性。变体保留其干净页面的重复组标识因此语义支持统计将源计数一次而采样控制变体暴露。图 4 说明了这些变换。阶段 I 将 3.2.1 节中的干净数据采样器 qclean 与经过验证的外观变体相结合。退化流采样一条干净记录和一个保留其目标的变换。期望的退化 token 份额由内部验证选择公式 5 将干净和退化份额转换为记录选择概率定义 q1。重复组上限限制重复视图实际 token 暴露与记录抽取分开监控。所得解析器 θ1 支持阶段 II 诊断判断剩余弱点是需要重放、新收集还是有针对性的合成。3.3 阶段 II能力诊断和有针对性改进阶段 II 围绕 θ1θ1 的弱点构建一个约 500 万条记录的改进池。残差错误是阶段 I 之后剩余的解析错误重放是在高质量阶段 I 示例上的持续训练。我们将页面或组件级错误超过审查阈值的记录称为高错误记录因为这可能反映标注错误或不可读内容改进在将其视为难例之前验证目标可靠性。图 5阶段 II 数据构建。一个不相交的分配探针确定聚类级残差优先级而训练池挖掘提供单独审计的难例流。经过验证的检索和有针对性页面程序合成随后为代表性不足的模式添加示例然后在固定预算下根据残差错误分配训练 token。高错误审计。高错误候选检查其他三种可能的错误原因。不正确的目标可能遗漏内容、错误排序区域或包含无效标记。OCR-EDR 的渲染感知诊断和修复使用 DocEDR 比较图像、可编辑目标和渲染输出 [62]修复必须保持结构有效且视觉一致。重复或未能停止的输出获得解码失败标签。由于裁剪、模糊、遮挡或低分辨率而无法读取的内容被排除在难例训练之外但仍可能有助于评估鲁棒性。人工审查员和更强的多模态模型验证困难的图像-目标对和结构化输出。3.3.2 视觉-结构聚类和覆盖诊断聚类按视觉结构和组件组成对阶段 I 记录进行分组以揭示反复出现的失败。这些组在拟合后使用内容、语言、版面 and 采集元数据进行描述。代表性失败将组优先级转化为数据请求例如中文数学文本、嵌套表格或跨区域阅读关系。请求通过真实数据检索或有针对性合成3.3.3 节满足添加内容在重新分配之前通过监督、可靠性和重复检查。图 6 显示了两个示例聚类。图 6全局无监督聚类获得的代表性组。手写页面共享横线纸纹理、笔画组织和自由形式注释模式而彩色教科书则按章节框架、示例、练习块、图表和插图解释分组。3.3.3 残差驱动的有针对性数据合成有针对性合成使用 3.2.3 节中的页面程序家族为 3.3.2 节中经过验证的请求生成示例。它专注于模型仍然解析不佳的结构而非广泛覆盖。请求指定失败的 element 关系、版面或语言组合。候选被渲染、验证并使用 3.3.2 节中冻结的表示和聚类中心进行分配渲染后每个候选被重新编码并分配到最近的冻结聚类中心。优先级指导构建而内容和风格变化保持多样性。当生成器无法满足请求时需要新的真实数据或扩展生成器并进行相同的验证检查。用于困难元素家族的页面程序。公式程序组合行内记号、显示方程、推导、分段表达式和具有一致变量含义的解释包括中文数学文本。表格程序改变边框、嵌套表头、合并单元格和混合单元格内容。跨元素程序连接标题、注释、参考文献和方程。版面控制改变列数、密度、邻接和阅读顺序而内容和风格多样性防止重复模板。共同生成的监督和聚类验证。语义 HTML 编译器联合生成图像、元素区域和类别、阅读顺序 Markdown、HTML 表格和源 LaTeX。示例仅当其目标与可见内容匹配、包含请求的结构并解决已识别的弱点时才被接受。固定聚类分配本身并不能确立目标难度已被再现。合成记录保留源信息和程序标识符并带有家族、程序和重复组上限。因此它们的贡献可以与新的真实数据、难例和重放区分开来。图 7 说明了代表性构建。图 7针对诊断出的低覆盖能力的代表性有针对性构建(a) 公式丰富的组合(b) 表格丰富的组合(c) 多区域考试结构(d) 密集报纸结构。3.3.4 有针对性数据添加后的训练重新平衡3.4 实验设置和控制我们对两阶段方法使用匹配的模型和优化设置。每个模型规模内的比较评估完整训练协议而不是隔离单个数据变化的影响。3.4.1 训练阶段和数据分配阶段 I 使用约 4000 万条记录的广泛覆盖池阶段 II 使用约 500 万条记录的改进池和高质量阶段 I 重放。训练前记录经过质量检查、跨源去重和基准重叠筛选。页面和派生视图共享内容组标识以进行划分分配。分配探针被排除在训练、挖掘和最终评估之外而挖掘样本属于训练划分。阶段 I 广泛覆盖训练。阶段 I 使用 3.2 节中的页面和组件级监督联合更新视觉编码器和语言模型。源和外观份额以损失中包含的目标 token 指定并用公式 5 转换为记录概率。优化遵循公式 3训练份额按输入粒度跟踪并对每个重复组的重复采样设置限制。所得检查点初始化诊断和受控阶段 II 比较。阶段 II 能力改进。阶段 II 结合经过验证的难例、有针对性真实和合成添加以及广泛重放。难例来自训练池挖掘或单独审查的标注候选并针对最终目标进行评估。添加内容解决阶段 I 覆盖中审计出的缺口。图 8等预算聚类重新平衡。(a) 页面元素聚类支持(b) 版面和结构难度(c) 重新平衡前后的外观和采集条件。灰色虚线和绿色实线轮廓分别表示重新平衡前和后的混合浅灰色单位轮廓表示均匀支持。在每个面板内期望 target-token 支持归一化为均值 1.0两个轮廓中的值具有相同总和。添加和重放形成残差流分配到单独上限难例流的记录在该采样角色中被排除。公式 10-12 定义重新平衡和流组合公式 5 提供 token 到记录的转换。采样角色改变暴露而不改变目标。池大小计算唯一合格记录并排除探针重复抽取不增加这些计数。预算 B1 和 B2 反而约束每个阶段消耗的监督目标 token。暴露。训练日志记录源、输入粒度 and 重复组标识符、目标份额和采样概率、重放和增强策略以及总 token 预算。计划与实际 token 份额与记录抽取计数一起跟踪以区分语料库大小和训练暴露。3.4.2 骨干、输出表示和训练控制WeVisDoc 使用 2B 和 4B Qwen3-VL-Instruct 骨干 [1]。两个规模都保留原生动态分辨率视觉 TransformerViT、自回归大语言模型LLM、分词器和位置编码且均未引入外部文档检测器、OCR 引擎、表格解析器或专用解码器。训练目标和预测共享 3.1 节中的表示阅读顺序 Markdown、HTML 表格和 LaTeX 公式。裁剪保留其可见内容表示。训练归一化与基准特定评分转换保持分离。表 1 报告了 2B 和 4B 运行使用的共享优化设置并仅标注了按阶段不同的设置。阶段 I 更新完整模型而阶段 II 冻结视觉编码器并从相同模型规模的阶段 I 检查点改进语言模型。不同的设备和累积配置在两个规模上保持全局批量 512 个序列。这里 β1 和 β2 是 AdamW 的一阶和二阶矩衰减率ϵϵ 提供数值稳定化。3.4.3 推理和评估训练池推理支持错误分析和难例挖掘单独的分配探针估计组残差3.3.2 节。阈值和混合设置在预先指定的训练池折上校准而非最终基准。这些诊断结果指导数据构建不是额外的评估集。表 1报告的检查点的训练设置。阶段特定设置明确标注所有未标注设置由阶段 I 和阶段 II 共享。项目设置初始化阶段 IQwen3-VL-Instruct阶段 II相应的阶段 I 检查点可训练模块阶段 IViT 和 LLM 骨干阶段 II仅 LLM 骨干ViT 冻结优化器Fused AdamW, β1 0.9, β2 0.95, ε 10−8学习率5×10−6余弦衰减500 步预热权重衰减 / 梯度裁剪0.1 / 1.0全局批量大小512序列长度8,192数值和系统设置bfloat16、梯度检查点、FlashAttention、DeepSpeed ZeRO-2公共基准推理仅在数据集内容和训练配置固定后执行。在报告的基准上相同规模的模型使用附录 A 中复现的通用文档解析系统提示以及共享的图像预处理策略和确定性解码配置。预测直接以共享解析表示生成无需外部重排序或内容级校正每个基准在相同评估器下用其官方协议对所有受控变体评分。对于鲁棒性我们对每个检查点重复推理三次并报告平均基准分数。4 实验我们在两个互补层面评估 WeVisDoc。首先我们将最终的 2B 和 4B 模型与现有系统在 OmniDocBench v1.6 和 PureDocBench 上进行比较。其次我们通过两个模型规模上的阶段 I-阶段 II 比较评估能力感知改进的总体效果并检查每个基准划分中代表性预测的相应变化。4.1 评估设置OmniDocBench v1.6文档多样性下的覆盖。OmniDocBench v1.6 [39] 包含 1,651 个文档页面涵盖多样的文档类型、版面、语言以及文本、公式、表格和阅读顺序结构的组合。我们使用该基准评估异构、自然发生的内容和版面条件下的文档解析。PureDocBench配对退化鲁棒性。PureDocBench [27] 用源派生真实值补充基于标注的评估。其审计在 OmniDocBench v1.5 的 21,353 个评估器评分块中发现了 2,580 个确认的标注错误这一发现并不估计 v1.6 的错误率但推动了对独立生成、精确可追踪目标的评估。PureDocBench 包含来自 10 个领域和 66 个子类别的 1,475 个 HTML/CSS 源页面。每个源被渲染为对齐的 Clean、Digital Degraded 和 Real Degraded 视图共享相同真实值后两个赛道分别涵盖十种合成退化场景和四种物理或屏幕介导采集流水线。指标。两个基准报告 TextEdit、FormulaCDM、TableTEDS 和 ROEdit以及 Overall 分数。公式 13 将 Overall 定义为文本准确率、FormulaCDM 和 TableTEDS 的算术平均基线。我们比较三类互补的文档解析系统通用 VLM、流水线解析器和专用端到端 OCR 模型。这种分组区分了通用多模态规模、模块化解析和文档特定端到端专业化。端到端组包括 FD-RL [65]它使用格式解耦强化学习。在基线中上标 * 表示用我们的评估流水线在所述基准协议下产生的结果未标注结果取自先前工作。4.2 主要结果表 2 报告了 OmniDocBench v1.6 比较。WeVisDoc-4B 在所比较的端到端专家中建立了新的最先进水平达到 95.38 Overall比之前领先结果提高 0.64 分。它还在 TextEdit (0.036)、FormulaCDM (96.81)、TableTEDS_S (95.34) 和 ROEdit (0.125) 上领先。WeVisDoc-2B 以 95.06 Overall 提供顶级端到端性能同时具有 95.94 FormulaCDM、93.03 TableTEDS 和 95.26 TableTEDS_S。这些结果使两个规模都处于领先的端到端解析前沿4B 模型设定了最强的聚合结果。由于 OmniDocBench 使用标注派生真实值此比较以冻结的 v1.6 基准和评估器修订为条件。表 2OmniDocBench v1.6 上文档解析结果的比较。我们报告 Overall 以及文本、公式、表格和阅读顺序指标我们的结果是三次推理运行的平均值。上标 * 表示用我们的评估流水线获得的基线结果而未标注基线结果取自先前工作 [24, 61]。粗体和下划线突出每个模型系列中的两个领先结果。基线行按 Overall 从低到高排序我们的模型单独报告在端到端系列末尾。模型类型模型规模Overall↑TextEdit↓FormulaCDM↑TableTEDS↑TableTEDS_S↑ROEdit↓通用 VLMInternVL3.5-241B [52]241B83.760.13089.9574.3579.780.215Kimi K2.5 [46]1T84.530.10783.5080.7684.000.211GPT-5.2 [38]–86.590.11488.2182.9587.930.193Qwen3-VL-235B [1]235B89.780.06392.5583.0786.750.166Gemini 3 Flash [9]–92.620.06695.1689.2993.510.172Gemini 3 Pro [14]–92.910.06495.9989.1592.960.165Ovis2.6-30B-A3B [32]30B93.700.03595.1789.4492.400.135流水线解析器Dolphin-1.5 [12]0.3B86.520.09487.4981.4384.820.167MonkeyOCR-pro-3B [26]3B88.570.07488.7484.3588.620.189Dolphin-v2 [13]3B89.500.06991.0184.4087.440.150OpenDoc-0.1B [10]0.1B90.670.04993.0283.8887.450.140MinerU2.5 [37]1.2B93.040.04595.7787.8891.470.130Youtu-Parsing [21]2.5B93.740.04493.6392.0295.000.116PaddleOCR-VL-1.5 [5]0.9B94.930.03896.8991.6794.370.130GLM-OCR [11]0.9B95.220.04497.1892.8395.390.133MinerU2.5-Pro [51]1.2B95.750.03697.4593.4295.920.120PaddleOCR-VL-1.6 [61]0.9B96.330.03397.4994.7697.110.127端到端专家Nanonets-OCR2* [34]3B83.200.10880.3580.1085.260.211OCRFlux-3B* [4]3B83.310.12688.7573.7877.980.217POINTS-Reader [30]3B83.370.09685.7273.9877.400.198Nanonets-OCR-s [33]3B83.610.10881.4680.1884.510.213olmOCR-2-7B [41]7B85.510.10688.8478.3282.810.223olmOCR [40]7B85.740.13988.1083.0087.170.216DeepSeek-OCR* [54]3B86.310.07784.7181.8786.070.171OCRVerse [66]4B88.600.06389.6182.4486.270.163UniRec-0.1B* [10]0.1B88.910.08892.1483.4086.790.146DeepSeek-OCR 2 [55]3B90.250.05091.8483.8987.750.144dots.ocr [25]3B90.770.04889.9587.1890.580.138FD-RL* [65]4B91.210.05592.9286.2290.920.145HunyuanOCR [45]1B92.030.04888.6092.3793.990.138dots.mocr* [63]3B92.570.04292.0989.7892.920.133FireRed-OCR [44]2B93.260.03795.4488.0491.060.131Logics-Parsing-v2 [31]4B93.330.04195.6588.4291.980.137Qianfan-OCR [8]4B93.900.04095.0890.5393.310.130Unlimited-OCR [58]3B-A0.5B93.920.04295.7990.1693.320.129HunyuanOCR-1.5 [24]1B94.740.03994.5093.6794.710.129WeVisDoc (Ours)2B95.060.03895.9493.0395.260.130WeVisDoc (Ours)4B95.380.03696.8192.9595.340.125表 3 报告了 PureDocBench 比较。WeVisDoc-4B 建立了最高报告的 Avg3 为 75.54超过领先的广泛领域基线 Qwen3.5-122B-A10B 1.43 分。在两个规模上阶段 II 都改善了 OmniDocBench Overall 和所有三个 PureDocBench 赛道。2B 模型在 OmniDocBench 上增益 1.56 分在 Avg3 上增益 1.74 分而 4B 模型分别增益 1.16 和 2.35 分。改进最大的是 Digital Degraded2B 和 4B 分别为 2.38 和 2.55和 Real Degraded2.37 和 4.03。Clean 性能在 2B 仅变化 0.46在 4B 仅变化 0.49。这种模式与阶段 II 对分布尾部和采集引起的外观偏移的预期重点一致但分阶段比较并未将残差感知分配与其他阶段 II 干预隔离开来。附录 B.1 提供了定位代表性结构和识别错误的分阶段定性比较。特别是图 12(b) 显示了拍摄的中文合同中姓名转录错误的纠正和公式序列化的恢复。附录 B.2 提供了跨通用、公式丰富、表格丰富以及扫描或拍摄文档的额外端到端预测。5 结论和未来工作我们提出了 WeVisDoc一个数据-centric 框架通过语义覆盖、结构保持退化和能力感知改进来专门化端到端文档解析器。在 2B 和 4B 规模上实例化WeVisDoc 在 OmniDocBench v1.6 上达到 95.06 和 95.38 的 Overall 分数在 PureDocBench 上达到 73.86 和 75.54 的 Avg3 分数。4B 模型在所有四个设置中均在所比较的端到端解析器中建立了最先进性能而 2B 模型以一半参数量提供顶级性能。分阶段比较显示完整能力改进阶段后的一致增益尽管它们并未隔离其各个干预措施。总之这些结果支持将训练混合视为语料库覆盖和模型能力之间可测量的接口而不是数据集的静态集合。当前证据仍受基准覆盖和合成退化保真度的限制。尽管 4B 模型在 Real Degraded 页面上建立了新的端到端最先进水平手写、历史扫描、严重损坏文档和更广泛采集条件仍未得到充分测量。残差重新平衡还依赖于探针集、表示模型、聚类选择和评估器并引入额外计算。因此未来工作将优先考虑更广泛的真实采集数据、更稳定和可解释的能力估计以及更低成本的混合更新同时跨额外语言和文档领域进行评估。高风险部署应继续将模型输出与来源控制和适当的人工审查配对。 
长河君 · 2026/10/6 20:50:02 · 阅读 1.2k WeVisDoc: From Coverage to Capability for RobustEnd-to-End Document Parsing——从覆盖到能力，面向鲁棒端到端文档解析
这篇论文提出了WeVisDoc一个面向鲁棒端到端文档解析的两阶段数据-centric 框架。其核心思想是文档解析器的性能提升不应只靠扩大数据覆盖还需要在训练后诊断模型残余弱点并据此有针对性地补充数据和重新分配训练预算。一、研究背景与问题文档解析需要把文档图像转换为结构化文本同时保留文本、公式、表格、阅读顺序等信息。现有方法面临两个问题训练数据偏置语料多偏向常见文档类型和干净数字页面对退化、长尾、复杂版面覆盖不足。仅扩大覆盖不够残差错误可能来自标注错误、视觉不可读、解码失败或模型能力限制不一定是数据覆盖缺失。因此需要区分“缺少数据支持”和“已有数据但暴露不足”。论文将文档数据扩展分为两个阶段阶段 I覆盖构建——建立广泛训练支持阶段 II能力感知改进——诊断残余弱点验证新增数据并重新分配监督暴露。二、方法框架1. 任务与训练目标统一文档解析文本用 Markdown公式用 LaTeX表格用 HTML。解析器自回归建模目标序列训练目标按监督目标 token 长度归一化而非按记录数平均。论文强调用loss-bearing target tokens衡量训练预算因为长页面和短组件的目标长度差异很大。2. 阶段 I广泛覆盖数据构建阶段 I 构建约4000 万条记录的池覆盖数据源开源数据集、内部数据、定向爬取、合成文档监督粒度完整页面、文本裁剪、混合区域、孤立表格、孤立公式版面单栏/多栏、侧边栏、浮动元素、脚注、表单、手写、海报等语言与采集条件简中、英文、繁中、混合语言原生数字、扫描、照片、截图、屏幕重拍合成数据通过“可执行页面程序”生成图像和目标支持语义 HTML 双重编译外观退化增强按采集路径分组退化算子模拟纸张、打印、扫描、传输、物理采集、屏幕重拍等效果同时保证内容可读、目标有效。阶段 I 还包含多模型联合标注、质量检查、去重、源感知采样和 token 份额到记录采样概率的转换。3. 阶段 II能力诊断与针对性改进阶段 II 构建约500 万条记录的改进池核心步骤包括诊断探针使用与训练、难例挖掘、最终评估不相交的 held-out probe测量阶段 I 模型在固定视觉-结构聚类中的残差错误高错误审计区分标注错误、解码失败、不可读内容与真实模型错误视觉-结构聚类用 SigLIP2 嵌入 PCA 结构元数据聚类聚合页面和组件级错误残差驱动合成针对诊断出的低覆盖能力生成公式丰富、表格丰富、多区域考试、密集报纸等困难样本训练重新平衡在固定阶段 II token 预算下根据自然 token 份额和标准化残差通过 KL 散度优化选择最接近提议且满足相对暴露界限的 token 分配同时结合难例流和阶段 I 重放减少遗忘。三、实验设置与主要结果1. 模型与训练基于Qwen3-VL-Instruct实例化2B 和 4B两个规模阶段 I 更新 ViT 和 LLM阶段 II 冻结 ViT仅更新 LLM使用统一系统提示、图像预处理和确定性解码每个检查点重复推理三次取平均。2. 评估基准OmniDocBench v1.6评估多样文档类型、版面、语言和元素组合下的覆盖能力PureDocBench包含 Clean、Digital Degraded、Real Degraded 三个赛道使用源派生真实值评估配对退化鲁棒性指标TextEdit、FormulaCDM、TableTEDS、ROEdit以及 Overall 和 Avg3。3. 主要结果WeVisDoc-4BOmniDocBench v1.6 Overall95.38在所比较端到端解析器中排名第一PureDocBench Avg375.54同样领先在 TextEdit、FormulaCDM、TableTEDS_S、ROEdit 等指标上也表现领先。WeVisDoc-2BOmniDocBench Overall95.06PureDocBench Avg373.86以一半参数量达到顶级端到端性能。阶段 II 增益2BOmniDocBench 1.56Avg3 1.744BOmniDocBench 1.16Avg3 2.35退化赛道增益更大Digital Degraded 2.38/2.55Real Degraded 2.37/4.03Clean 赛道增益较小0.46/0.49说明阶段 II 主要改善分布尾部和采集退化场景。四、消融与定性分析阶段式消融表明阶段 II 在两个模型规模上均提升 OmniDocBench 和三个 PureDocBench 赛道且在退化页面上提升更明显。定性案例显示阶段 II 能纠正表格区域遗漏阅读顺序错误公式序列化丢失表格边界过度扩展字段与值分离跨文档幻觉等。但在 Real Degraded 场景中仍存在字符级和数值级识别错误说明结构恢复不能完全消除物理采集下的识别误差。五、结论与局限主要贡献提出WeVisDoc两阶段数据-centric 框架先广泛覆盖再能力感知改进强调训练混合是“语料覆盖”与“模型能力”之间的可测量接口在 2B 和 4B 规模上均取得领先的端到端文档解析性能在退化鲁棒性赛道上的增益尤为显著。局限与未来工作当前证据受基准覆盖和合成退化保真度限制手写、历史扫描、严重损坏文档、更广泛采集条件仍未充分测量残差重新平衡依赖探针集、表示模型、聚类选择和评估器计算成本较高未来方向更广泛的真实采集数据、更稳定可解释的能力估计、更低成本的混合更新、更多语言和文档领域评估高风险部署仍需结合来源控制和人工审查。WeVisDoc 通过“先广泛覆盖、再诊断改进”的两阶段数据策略在固定模型架构和 token 预算下显著提升了端到端文档解析的精度与退化鲁棒性并在 OmniDocBench 和 PureDocBench 上取得了领先结果。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示2B模型权重发布地址在这里如下所示4B模型权重发布地址在这里如下所示摘要文档解析将文档图像转换为结构化内容需要在多样化的版面和采集条件下保持可靠性能。然而训练语料偏向于常见文档类型和干净的数字页面而仅扩大覆盖范围并不能说明如何解决解析器剩余的弱点。我们提出 WeVisDoc一个面向鲁棒端到端文档解析的两阶段数据-centric 框架。阶段 I 通过异构数据和结构保持的退化合成拓宽语义、结构和外观覆盖范围。阶段 II 使用一个留出的探针在固定的视觉-结构聚类内测量阶段 I 解析器的残差错误。这些诊断结果指导有针对性的数据构建和目标 token 预算的重新分配。WeVisDoc-4B 在 OmniDocBench v1.6 上达到 95.38 的总分在三个 PureDocBench 赛道上的平均总分为 75.54在所有四个设置中均位列所比较的端到端解析器之首。与阶段 I 相比阶段 II 在两个基准上均提升了 2B 和 4B 模型的总分在退化的 PureDocBench 赛道上提升更大其中 4B 模型在真实退化赛道上提升了 4.03 分。图 1WeVisDoc-4B 在所有四个报告设置中均领先于所比较的端到端解析器。柱状图显示了在 OmniDocBench v1.6 和三个 PureDocBench 鲁棒性赛道上的得分WeVisDoc-2B 以一半的参数量提供了顶级的端到端性能。1 引言文档解析将文档图像映射为结构化文本同时保留文本内容、元素类型、结构组织和阅读顺序。现代解析器要么直接解码整个页面 [3, 20]要么结合全局版面理解与区域识别 [12, 37]。尽管架构进展迅速可靠的解析仍然具有挑战性因为文档在语言、版面、内容密度、元素组成和采集条件上同时变化。这些变化产生了超出字符识别范围的独特失败模式。OmniDocBench [39] 和 PureDocBench [27] 等基准评估了这种变化的互补方面并强调了训练数据组成与解析器架构同等重要。因此近期工作投入了大量精力来改进文档训练数据。大规模策展、标注修复和可控合成拓宽了语言和结构多样性 [19, 23, 51, 53]。退化流水线扩展了训练的外观变化 [16]而源对齐的采集赛道则衡量了在这种变化下的鲁棒性 [27]。文档解析和语言模型预训练中的模型感知策略使用输出差异、代理混合搜索或表示空间诊断来优先安排训练数据或优化数据混合 [5, 7, 61]。改进的一个核心挑战是区分反映缺失数据支持的弱点和与训练分布中已表示模式的暴露不足相关的弱点。扩大经验支持和增加对现有支持的暴露是不同的干预措施。收集、检索或合成记录扩大了经验支持而重放或重新加权现有记录则改变了它们的暴露。对于自回归解析器我们用承载损失的 target token 而非记录数来刻画监督优化预算因为记录的目标长度差异很大。仅凭残差错误也不足以证明存在覆盖缺陷它可能源于不可靠的目标、低视觉可观测性、解码失败或模型限制而额外附近的示例无法解决这些问题。因此有效的分配需要明确评估相关训练支持是否缺失。我们将文档数据扩展组织为两个阶段覆盖构建和能力感知的改进。第一阶段建立广泛的训练支持第二阶段诊断残余弱点验证有针对性的添加并在修订后的池上重新分配监督暴露。我们提出 WeVisDoc一个实现此过程的两阶段数据-centric 框架每个阶段有单独的 target-token 预算。阶段 I 从约 4000 万条记录中构建广泛、经过验证的覆盖涵盖监督粒度、版面、语言、数据源和采集条件。它结合异构监督、可执行页面合成和源条件外观生成使用统一的解析目标和标注质量检查。源感知平衡限制了大型语料库的主导地位而外观变体扩展了视觉覆盖但不被视为额外的语义支持。阶段 II 则根据解析器的残余弱点对其进行改进。一个与训练、难例挖掘和最终评估不相交的诊断探针测量残余解析错误。结合对现有支持的审计这些测量结果指导在添加经过验证的数据和增加对可用记录的暴露之间做出选择。经过验证的添加、阶段 I 重放和单独审计的难例构成一个约 500 万条记录的改进池所有暴露都计入固定的阶段 II target-token 预算。我们在 2B 和 4B 规模上从 Qwen3-VL-Instruct [1] 实例化 WeVisDoc在每个规模内保持骨干、输出序列化和自回归目标不变。图 1 将所得模型与五个代表性端到端系统在 OmniDocBench v1.6 和三个 PureDocBench 赛道上进行了比较。在 OmniDocBench v1.6 上最终的 2B 和 4B 模型分别达到 95.06 和 95.38 的总分它们在 PureDocBench 上的相应 Avg3 分数分别为 73.86 和 75.54。4B 模型在所有四个设置中均位列所比较的端到端解析器之首而 2B 模型以一半的参数量保持竞争力。完整的阶段 II 协议在两个规模上均提升了两个基准在退化页面上比在干净页面上提升更大。这些分阶段结果与完整改进协议的益处一致尤其是在退化采集条件下由于阶段 II 结合了多种干预措施它们不能单独识别残差感知分配的效果。2 相关工作2.1 解析架构生成式文档解析器将文档图像转换为结构化文本为文本、表格和公式提供统一的输出接口。早期的图像到序列方法包括 Donut [20]、Pix2Struct [22] 和 Nougat [3]通过文档理解、截图预训练和科学页面转换确立了这一方向。较新的系统改进了页面信息的表示和编码方式SmolDocking [36] 使用 DocTags 表达内容和结构而 DeepSeek-OCR [54] 和 DeepSeekOCR 2 [55] 分别探索了视觉上下文压缩和视觉 token 的语义重排序。另一条工作线使用页面版面来组织区域识别。Dolphin [12] 和 MonkeyOCR [26] 将解析分解为结构分析和内容识别而 MinerU2.5 [37] 和 PaddleOCR-VL-1.5 [5] 将页面级版面分析与高分辨率区域处理相结合。PaDoc [59] 将并行区域解码与共享的全页视觉上下文连接起来。这些方法探索了协调全局结构和局部识别的不同方式。WeVisDoc 采用端到端解析并研究在每个模型规模的相同骨干架构内训练数据覆盖和分配如何改进解析器。2.2 文档专家的数据覆盖与策展监督的覆盖范围和质量决定了专家可以学习哪些文档模式。Vary [53] 强调密集的文档感知包括非英语内容mPLUG-DocOwl 1.5 [17] 将结构监督与跨多样视觉领域的文本定位相结合dots.ocr [25] 使用多语言数据联合学习版面、内容和关系。这些工作共同突出了文档监督的互补维度。OmniDocBench [39] 等基准通过跨异构页面和元素类型的评估使这种多样性可见。最近的数据-centric 系统将语料库构建作为解析器开发的明确部分。MinerU2.5-Pro [51] 将多样性感知采样与标注验证和修复相结合。DocHumming [23] 和 Infinity-Parser2 [19] 分别通过版面组合和可控渲染拓宽监督而 Infinity-Parser [49] 将策展的解析语料库与版面感知强化学习配对。这些努力推动了广泛、可靠的覆盖但有效的训练还需要决定哪些模式需要额外数据或更多暴露。WeVisDoc 通过两个阶段连接这些决策广泛的覆盖构建随后由训练后解析器的剩余弱点指导的改进。2.3 对文档退化的鲁棒性除了内容和版面多样性之外文档解析器还必须在扫描、摄影和复制引入的退化下保持可靠。DewarpNet [6] 和 UVDoc [48] 等文档去扭曲方法校正几何畸变以在识别前恢复平坦视图。数据增强提供了一条互补途径Augraphy [16] 模拟印刷、扫描及相关过程的伪影以在训练期间让模型接触退化的文档图像。最近的解析研究评估了文档退化如何影响解析质量。PaddleOCR-VL-1.5 [5] 和 DocHumming [23] 涵盖了拍摄或屏幕介导文档中的几何畸变和退化。PureDocBench [27] 使用共同的源派生目标评估对齐的干净和退化视图。对于监督解析器训练退化视图仅在其内容保持可读且与目标一致时才提供有效监督。WeVisDoc 将基于退化的增强纳入阶段 I 覆盖验证退化图像-目标对并控制其训练暴露以在保留语义和结构监督的同时提高鲁棒性。2.4 模型感知的数据分配数据选择和加权旨在更有效地利用有限的训练预算。课程学习 [2] 按难度组织暴露而 DoReMi [57] 和 Nemotron-CLIMB [7] 使用代理模型优化领域或聚类混合。Rho-1 [28] 则根据相对于参考模型的超额损失选择 token。在样本级别Core-Set [43]、JTT [29] 和 LESS [56] 分别优先考虑表示覆盖、初始模型错误和与目标示例的梯度相似性。这些方法提供了决定训练工作应花在哪里的互补方式。文档特定的方法越来越多地将此类决策与诊断出的解析弱点联系起来。不确定性感知聚类采样 [5] 使用随机输出差异在视觉聚类之间分配样本。MinerU2.5-Pro [51] 和 PaddleOCR-VL-1.6 [61] 将数据分组和模型反馈与有针对性的数据扩展或标注修复相结合而 HunyuanOCR-1.5 [24] 将长尾弱点转化为数据构建需求。训练反馈也可以直接塑造优化Infinity-Parser [49] 和 FD-RL [65] 使用具有文档特定奖励的强化学习。这些方法共同推动了将模型诊断与数据构建及后续训练连接起来。WeVisDoc 在两阶段监督训练中结合了广泛覆盖和模型感知的改进。阶段 I 在多样的文档内容、结构和退化上训练解析器。阶段 II 使用所得模型的剩余弱点来指导进一步的数据构建和训练。我们在一个与训练、难例挖掘和最终评估不相交的诊断探针上针对真实目标测量页面和组件错误并在表示空间组上聚合它们。结合对现有数据覆盖的检查这些信号在固定的监督输出 token 预算下指导有针对性的添加和暴露分配。因此池扩展和暴露重新分配是监督模型训练中的独立干预措施。在每个模型规模内训练更新模型参数同时保持骨干架构、输出序列化和自回归目标不变。3 方法我们的方法首先构建广泛的数据覆盖然后添加数据并调整训练以解决剩余的解析错误。第 3.1 节定义任务和训练目标第 3.2 和 3.3 节描述两个阶段第 3.4 节给出实验配置。3.1 任务表述和方法概述3.2 阶段 I广泛覆盖的数据构建阶段 I 通过组合数据源、转换标注、过滤低质量数据和生成新示例构建约 4000 万条记录的池。监督转换将源标注转换为完整页面、区域或组件的训练对第 3.2.1 节。覆盖范围涵盖文档领域、版面、输出结构、语言和采集条件这些属性分别跟踪。图 2 总结了构建过程。3.2.1 数据源和覆盖多样化的数据源。语料库结合了开源数据集、内部集合、有针对性的网络和 PDF 爬取以及生成的文档。公共数据集为文章、书籍、表单、收据、表格和公式提供广泛的 OCR 覆盖和可重用的标注。内部集合添加了基准中代表性不足的生产文档和采集条件。有针对性的爬取添加来自代表性不足领域和模式的示例包括教育材料、报纸、手写和混合语言页面。真实文档保留了内容、版面、字体以及捕获或扫描期间引入的视觉效果之间的关系。合成数据系统地改变收集源中罕见的结构。源信息使收集数据和合成数据保持可分别追踪以用于分析。外观变体保持与其源页面链接将视觉增强与新文档内容分开。源和生成元数据支持划分构建、去重移除或分组重复内容、源感知采样和错误分析。页面、区域和组件监督。语料库包括完整页面、纯文本裁剪、混合内容区域、孤立表格和孤立公式。完整页面教授全局阅读顺序以及文本、表格、公式和标题之间的关系。文本裁剪为小或密集字符保留识别分辨率混合内容区域保留局部交互例如公式与解释或图与标题。表格和公式获得针对其结构要求的专门监督。HTML 表格编码单元格内容和结构包括行和列跨度。LaTeX 公式编码符号、运算符层次和分组。组件记录为这些结构提供更多训练。监督转换使用每个源中最具信息量的可靠标注。经过验证的页面元素和阅读顺序产生 Markdown 目标并在有效时产生相应的文本、混合区域、表格或公式裁剪。仅包含表格或公式标注的源使用相应的组件表示而不虚构页面上下文。裁剪仅接收可见内容目标并与其页面级对应物一致归一化。源和转换标识符链接派生记录保持页面、区域和组件目标一致并限制来自一个页面的重复暴露。在训练特定采样之前大约 40% 的记录提供完整页面监督25% 为文本或混合区域25% 为孤立表格10% 为孤立公式。多样化的文档版面。版面覆盖包括单栏和多栏页面、变化的列数、侧边栏、浮动元素、脚注以及具有基于字段阅读顺序的表单。手写笔记、海报和演示材料增加了没有规则网格的版面。这些示例需要局部分组和阅读顺序推断而不仅仅是固定的自上而下模板。密度和尺度在每个版面家族内变化从稀疏的标题页到密集的学术或法律文档。表格可能占据整个页面也可能嵌入正文中。版面标签和组件统计支持覆盖分析和批处理而所有输入保持共享输出表示。图像来源和语言。采集覆盖范围包括原生数字页面、扫描件、照片、截图和屏幕重拍引入几何、光照、分辨率、噪声和压缩方面的变化。语言包括简体中文、英文、繁体中文和混合语言页面。质量检查移除损坏或不可读的图像并将不确定的目标路由到标注审查。图像哈希检测完全重复归一化视觉嵌入在源感知阈值下识别近重复。去重在监督转换之前进行派生视图保留其重复组标识因此重复内容不会夸大数据覆盖或主导训练。这些属性指导源感知采样和后续残差分析。其中 ED 是字符级 Levenshtein 距离∣⋅∣ 计算字符数。高置信度标注要求所有三个专家都做出预测且每对 NED 低于标注一致性阈值 δannann 表示标注。一致性结合 HTML/LaTeX 可解析性和结构检查。转换后的源真实值在有效时仍然优先否则选择一致专家输出的有效代表。如果两个专家一致而第三个不同则一致输出在纳入训练之前需要基于图像的审查。如果三个都不同该记录则被排除在普通阶段 I 监督之外并由更强的多模态模型和人工审查员审查以可能用于阶段 II。缺失预测或未解决的分歧同样需要审查仅一致性并不能确立正确性。置信度涉及目标可靠性难度涉及可见内容由结构复杂性、组件密度和专家分歧来表征。可靠记录根据这些属性被分层为 Easy、Medium 和 Hard 级别这些分层指导阶段 I 采样和阶段 II 难例挖掘。损坏图像、无效标记、错误阅读顺序、严重重复和重复项被过滤或审查。哈希、视觉嵌入、识别内容和版面支持重复控制。未解决的图像-目标分歧进入第 3.3.1 节的审计。3.2.3 广泛覆盖的数据合成广泛覆盖合成创建可执行页面程序——即产生页面图像及其目标的结构化规范——用于收集数据中很少发现的组合。内容和结构在 3.2.4 节的外观增强之前生成。相关工作也使用组合合成进行可控的全页监督 [23]。组合文档程序。页面程序指定内容依赖关系、语言、版面、阅读顺序、元素和视觉风格。其源和随机状态允许重新生成。联合语义和渲染约束要求表格结构一致、公式与其解释兼容且内容可见。源和结构元数据在重复控制后识别代表性不足的组合。第 3.2.2 节中的标注审查识别不确定目标而生成器家族限制防止少数模板主导。程序在版面之前建立语义关系论断连接到证据行项目连接到总计概念连接到方程。这些关系确定标题、表格、标题附件和跨区域阅读顺序。内容和风格在所得约束内变化。从语义 HTML 双重编译。语义 HTML 是可执行的中间表示。每个块成为具有元素类型和唯一标识符的文档对象模型DOM节点CSS 控制其视觉布局。一个编译路径渲染图像和节点几何另一个遍历同一棵树以生成元素标签、阅读顺序 Markdown、HTML 表格和源 LaTeX。共享标识符对齐图像区域和结构化目标从生成源产生精确监督。生成的页面经过与收集数据相同的归一化、验证和重复控制。失败的渲染、裁剪内容、无效表格或公式以及不可读文本被拒绝。复杂性和专家分歧表征难度程序级上限保持多样性。图 3 显示了代表性输出。3.2.4 外观退化和增强外观增强遵循源特定的采集路径原生数字页面可能被调整大小或重拍纸质文档可能被打印或扫描历史材料可能受老化影响。应用于收集页面和 3.2.3 节中的干净合成它扩展了采集覆盖同时保留有效的语义目标。我们将兼容的退化算子按采集路径分组为算子家族每个家族指定操作顺序和参数范围。这种组织借鉴了文档图像增强和源感知鲁棒性比较 [16, 27]。采集场景结合兼容的算子家族、其参数和物理顺序。例如复印照片经过纸张和墨水形成、设备复制和相机捕获。源介质约束有效路径内容密度、符号大小、公式笔画和表格线宽约束严重程度。转换视图仅在所有监督内容保持可见和可读时才保留其源目标。丢失内容的视图被拒绝或根据 3.2.1 节分配可见内容裁剪目标。图 3通用数据合成产生的代表性页面。画廊涵盖结构化技术报告、公式丰富的教育页面和长篇学术页面展示了语义上下文、元素组成、页面密度、排版和版面组织的联合变化。纸张、复印和传输效果。纸张纹理、老化、污渍和墨水褪色或渗色模拟纸张和印刷的变化。打印、复印和扫描引入半色调图案、模糊、条纹和对比度损失而数字传输增加调整大小、重新编码和压缩伪影。效果根据分辨率和笔画宽度缩放保留文本、公式和表格线之间的相关差异。物理采集。表面图和约束网格改变透视、页面曲率和折痕遵循文档去扭曲表示 [6, 48]。光照遵循采样几何以产生空间一致的阴影和曝光变化。屏幕重拍建模显示到相机的采样链产生摩尔纹和彩色边缘相机效果还包括运动或深度相关模糊。难度和可观测性控制。内容保留和局部可读性决定准入专家分歧表示难度但不确立目标有效性。变体保留其干净页面的重复组标识因此语义支持统计将源计数一次而采样控制变体暴露。图 4 说明了这些变换。阶段 I 将 3.2.1 节中的干净数据采样器 qclean 与经过验证的外观变体相结合。退化流采样一条干净记录和一个保留其目标的变换。期望的退化 token 份额由内部验证选择公式 5 将干净和退化份额转换为记录选择概率定义 q1。重复组上限限制重复视图实际 token 暴露与记录抽取分开监控。所得解析器 θ1 支持阶段 II 诊断判断剩余弱点是需要重放、新收集还是有针对性的合成。3.3 阶段 II能力诊断和有针对性改进阶段 II 围绕 θ1θ1 的弱点构建一个约 500 万条记录的改进池。残差错误是阶段 I 之后剩余的解析错误重放是在高质量阶段 I 示例上的持续训练。我们将页面或组件级错误超过审查阈值的记录称为高错误记录因为这可能反映标注错误或不可读内容改进在将其视为难例之前验证目标可靠性。图 5阶段 II 数据构建。一个不相交的分配探针确定聚类级残差优先级而训练池挖掘提供单独审计的难例流。经过验证的检索和有针对性页面程序合成随后为代表性不足的模式添加示例然后在固定预算下根据残差错误分配训练 token。高错误审计。高错误候选检查其他三种可能的错误原因。不正确的目标可能遗漏内容、错误排序区域或包含无效标记。OCR-EDR 的渲染感知诊断和修复使用 DocEDR 比较图像、可编辑目标和渲染输出 [62]修复必须保持结构有效且视觉一致。重复或未能停止的输出获得解码失败标签。由于裁剪、模糊、遮挡或低分辨率而无法读取的内容被排除在难例训练之外但仍可能有助于评估鲁棒性。人工审查员和更强的多模态模型验证困难的图像-目标对和结构化输出。3.3.2 视觉-结构聚类和覆盖诊断聚类按视觉结构和组件组成对阶段 I 记录进行分组以揭示反复出现的失败。这些组在拟合后使用内容、语言、版面 and 采集元数据进行描述。代表性失败将组优先级转化为数据请求例如中文数学文本、嵌套表格或跨区域阅读关系。请求通过真实数据检索或有针对性合成3.3.3 节满足添加内容在重新分配之前通过监督、可靠性和重复检查。图 6 显示了两个示例聚类。图 6全局无监督聚类获得的代表性组。手写页面共享横线纸纹理、笔画组织和自由形式注释模式而彩色教科书则按章节框架、示例、练习块、图表和插图解释分组。3.3.3 残差驱动的有针对性数据合成有针对性合成使用 3.2.3 节中的页面程序家族为 3.3.2 节中经过验证的请求生成示例。它专注于模型仍然解析不佳的结构而非广泛覆盖。请求指定失败的 element 关系、版面或语言组合。候选被渲染、验证并使用 3.3.2 节中冻结的表示和聚类中心进行分配渲染后每个候选被重新编码并分配到最近的冻结聚类中心。优先级指导构建而内容和风格变化保持多样性。当生成器无法满足请求时需要新的真实数据或扩展生成器并进行相同的验证检查。用于困难元素家族的页面程序。公式程序组合行内记号、显示方程、推导、分段表达式和具有一致变量含义的解释包括中文数学文本。表格程序改变边框、嵌套表头、合并单元格和混合单元格内容。跨元素程序连接标题、注释、参考文献和方程。版面控制改变列数、密度、邻接和阅读顺序而内容和风格多样性防止重复模板。共同生成的监督和聚类验证。语义 HTML 编译器联合生成图像、元素区域和类别、阅读顺序 Markdown、HTML 表格和源 LaTeX。示例仅当其目标与可见内容匹配、包含请求的结构并解决已识别的弱点时才被接受。固定聚类分配本身并不能确立目标难度已被再现。合成记录保留源信息和程序标识符并带有家族、程序和重复组上限。因此它们的贡献可以与新的真实数据、难例和重放区分开来。图 7 说明了代表性构建。图 7针对诊断出的低覆盖能力的代表性有针对性构建(a) 公式丰富的组合(b) 表格丰富的组合(c) 多区域考试结构(d) 密集报纸结构。3.3.4 有针对性数据添加后的训练重新平衡3.4 实验设置和控制我们对两阶段方法使用匹配的模型和优化设置。每个模型规模内的比较评估完整训练协议而不是隔离单个数据变化的影响。3.4.1 训练阶段和数据分配阶段 I 使用约 4000 万条记录的广泛覆盖池阶段 II 使用约 500 万条记录的改进池和高质量阶段 I 重放。训练前记录经过质量检查、跨源去重和基准重叠筛选。页面和派生视图共享内容组标识以进行划分分配。分配探针被排除在训练、挖掘和最终评估之外而挖掘样本属于训练划分。阶段 I 广泛覆盖训练。阶段 I 使用 3.2 节中的页面和组件级监督联合更新视觉编码器和语言模型。源和外观份额以损失中包含的目标 token 指定并用公式 5 转换为记录概率。优化遵循公式 3训练份额按输入粒度跟踪并对每个重复组的重复采样设置限制。所得检查点初始化诊断和受控阶段 II 比较。阶段 II 能力改进。阶段 II 结合经过验证的难例、有针对性真实和合成添加以及广泛重放。难例来自训练池挖掘或单独审查的标注候选并针对最终目标进行评估。添加内容解决阶段 I 覆盖中审计出的缺口。图 8等预算聚类重新平衡。(a) 页面元素聚类支持(b) 版面和结构难度(c) 重新平衡前后的外观和采集条件。灰色虚线和绿色实线轮廓分别表示重新平衡前和后的混合浅灰色单位轮廓表示均匀支持。在每个面板内期望 target-token 支持归一化为均值 1.0两个轮廓中的值具有相同总和。添加和重放形成残差流分配到单独上限难例流的记录在该采样角色中被排除。公式 10-12 定义重新平衡和流组合公式 5 提供 token 到记录的转换。采样角色改变暴露而不改变目标。池大小计算唯一合格记录并排除探针重复抽取不增加这些计数。预算 B1 和 B2 反而约束每个阶段消耗的监督目标 token。暴露。训练日志记录源、输入粒度 and 重复组标识符、目标份额和采样概率、重放和增强策略以及总 token 预算。计划与实际 token 份额与记录抽取计数一起跟踪以区分语料库大小和训练暴露。3.4.2 骨干、输出表示和训练控制WeVisDoc 使用 2B 和 4B Qwen3-VL-Instruct 骨干 [1]。两个规模都保留原生动态分辨率视觉 TransformerViT、自回归大语言模型LLM、分词器和位置编码且均未引入外部文档检测器、OCR 引擎、表格解析器或专用解码器。训练目标和预测共享 3.1 节中的表示阅读顺序 Markdown、HTML 表格和 LaTeX 公式。裁剪保留其可见内容表示。训练归一化与基准特定评分转换保持分离。表 1 报告了 2B 和 4B 运行使用的共享优化设置并仅标注了按阶段不同的设置。阶段 I 更新完整模型而阶段 II 冻结视觉编码器并从相同模型规模的阶段 I 检查点改进语言模型。不同的设备和累积配置在两个规模上保持全局批量 512 个序列。这里 β1 和 β2 是 AdamW 的一阶和二阶矩衰减率ϵϵ 提供数值稳定化。3.4.3 推理和评估训练池推理支持错误分析和难例挖掘单独的分配探针估计组残差3.3.2 节。阈值和混合设置在预先指定的训练池折上校准而非最终基准。这些诊断结果指导数据构建不是额外的评估集。表 1报告的检查点的训练设置。阶段特定设置明确标注所有未标注设置由阶段 I 和阶段 II 共享。项目设置初始化阶段 IQwen3-VL-Instruct阶段 II相应的阶段 I 检查点可训练模块阶段 IViT 和 LLM 骨干阶段 II仅 LLM 骨干ViT 冻结优化器Fused AdamW, β1 0.9, β2 0.95, ε 10−8学习率5×10−6余弦衰减500 步预热权重衰减 / 梯度裁剪0.1 / 1.0全局批量大小512序列长度8,192数值和系统设置bfloat16、梯度检查点、FlashAttention、DeepSpeed ZeRO-2公共基准推理仅在数据集内容和训练配置固定后执行。在报告的基准上相同规模的模型使用附录 A 中复现的通用文档解析系统提示以及共享的图像预处理策略和确定性解码配置。预测直接以共享解析表示生成无需外部重排序或内容级校正每个基准在相同评估器下用其官方协议对所有受控变体评分。对于鲁棒性我们对每个检查点重复推理三次并报告平均基准分数。4 实验我们在两个互补层面评估 WeVisDoc。首先我们将最终的 2B 和 4B 模型与现有系统在 OmniDocBench v1.6 和 PureDocBench 上进行比较。其次我们通过两个模型规模上的阶段 I-阶段 II 比较评估能力感知改进的总体效果并检查每个基准划分中代表性预测的相应变化。4.1 评估设置OmniDocBench v1.6文档多样性下的覆盖。OmniDocBench v1.6 [39] 包含 1,651 个文档页面涵盖多样的文档类型、版面、语言以及文本、公式、表格和阅读顺序结构的组合。我们使用该基准评估异构、自然发生的内容和版面条件下的文档解析。PureDocBench配对退化鲁棒性。PureDocBench [27] 用源派生真实值补充基于标注的评估。其审计在 OmniDocBench v1.5 的 21,353 个评估器评分块中发现了 2,580 个确认的标注错误这一发现并不估计 v1.6 的错误率但推动了对独立生成、精确可追踪目标的评估。PureDocBench 包含来自 10 个领域和 66 个子类别的 1,475 个 HTML/CSS 源页面。每个源被渲染为对齐的 Clean、Digital Degraded 和 Real Degraded 视图共享相同真实值后两个赛道分别涵盖十种合成退化场景和四种物理或屏幕介导采集流水线。指标。两个基准报告 TextEdit、FormulaCDM、TableTEDS 和 ROEdit以及 Overall 分数。公式 13 将 Overall 定义为文本准确率、FormulaCDM 和 TableTEDS 的算术平均基线。我们比较三类互补的文档解析系统通用 VLM、流水线解析器和专用端到端 OCR 模型。这种分组区分了通用多模态规模、模块化解析和文档特定端到端专业化。端到端组包括 FD-RL [65]它使用格式解耦强化学习。在基线中上标 * 表示用我们的评估流水线在所述基准协议下产生的结果未标注结果取自先前工作。4.2 主要结果表 2 报告了 OmniDocBench v1.6 比较。WeVisDoc-4B 在所比较的端到端专家中建立了新的最先进水平达到 95.38 Overall比之前领先结果提高 0.64 分。它还在 TextEdit (0.036)、FormulaCDM (96.81)、TableTEDS_S (95.34) 和 ROEdit (0.125) 上领先。WeVisDoc-2B 以 95.06 Overall 提供顶级端到端性能同时具有 95.94 FormulaCDM、93.03 TableTEDS 和 95.26 TableTEDS_S。这些结果使两个规模都处于领先的端到端解析前沿4B 模型设定了最强的聚合结果。由于 OmniDocBench 使用标注派生真实值此比较以冻结的 v1.6 基准和评估器修订为条件。表 2OmniDocBench v1.6 上文档解析结果的比较。我们报告 Overall 以及文本、公式、表格和阅读顺序指标我们的结果是三次推理运行的平均值。上标 * 表示用我们的评估流水线获得的基线结果而未标注基线结果取自先前工作 [24, 61]。粗体和下划线突出每个模型系列中的两个领先结果。基线行按 Overall 从低到高排序我们的模型单独报告在端到端系列末尾。模型类型模型规模Overall↑TextEdit↓FormulaCDM↑TableTEDS↑TableTEDS_S↑ROEdit↓通用 VLMInternVL3.5-241B [52]241B83.760.13089.9574.3579.780.215Kimi K2.5 [46]1T84.530.10783.5080.7684.000.211GPT-5.2 [38]–86.590.11488.2182.9587.930.193Qwen3-VL-235B [1]235B89.780.06392.5583.0786.750.166Gemini 3 Flash [9]–92.620.06695.1689.2993.510.172Gemini 3 Pro [14]–92.910.06495.9989.1592.960.165Ovis2.6-30B-A3B [32]30B93.700.03595.1789.4492.400.135流水线解析器Dolphin-1.5 [12]0.3B86.520.09487.4981.4384.820.167MonkeyOCR-pro-3B [26]3B88.570.07488.7484.3588.620.189Dolphin-v2 [13]3B89.500.06991.0184.4087.440.150OpenDoc-0.1B [10]0.1B90.670.04993.0283.8887.450.140MinerU2.5 [37]1.2B93.040.04595.7787.8891.470.130Youtu-Parsing [21]2.5B93.740.04493.6392.0295.000.116PaddleOCR-VL-1.5 [5]0.9B94.930.03896.8991.6794.370.130GLM-OCR [11]0.9B95.220.04497.1892.8395.390.133MinerU2.5-Pro [51]1.2B95.750.03697.4593.4295.920.120PaddleOCR-VL-1.6 [61]0.9B96.330.03397.4994.7697.110.127端到端专家Nanonets-OCR2* [34]3B83.200.10880.3580.1085.260.211OCRFlux-3B* [4]3B83.310.12688.7573.7877.980.217POINTS-Reader [30]3B83.370.09685.7273.9877.400.198Nanonets-OCR-s [33]3B83.610.10881.4680.1884.510.213olmOCR-2-7B [41]7B85.510.10688.8478.3282.810.223olmOCR [40]7B85.740.13988.1083.0087.170.216DeepSeek-OCR* [54]3B86.310.07784.7181.8786.070.171OCRVerse [66]4B88.600.06389.6182.4486.270.163UniRec-0.1B* [10]0.1B88.910.08892.1483.4086.790.146DeepSeek-OCR 2 [55]3B90.250.05091.8483.8987.750.144dots.ocr [25]3B90.770.04889.9587.1890.580.138FD-RL* [65]4B91.210.05592.9286.2290.920.145HunyuanOCR [45]1B92.030.04888.6092.3793.990.138dots.mocr* [63]3B92.570.04292.0989.7892.920.133FireRed-OCR [44]2B93.260.03795.4488.0491.060.131Logics-Parsing-v2 [31]4B93.330.04195.6588.4291.980.137Qianfan-OCR [8]4B93.900.04095.0890.5393.310.130Unlimited-OCR [58]3B-A0.5B93.920.04295.7990.1693.320.129HunyuanOCR-1.5 [24]1B94.740.03994.5093.6794.710.129WeVisDoc (Ours)2B95.060.03895.9493.0395.260.130WeVisDoc (Ours)4B95.380.03696.8192.9595.340.125表 3 报告了 PureDocBench 比较。WeVisDoc-4B 建立了最高报告的 Avg3 为 75.54超过领先的广泛领域基线 Qwen3.5-122B-A10B 1.43 分。在两个规模上阶段 II 都改善了 OmniDocBench Overall 和所有三个 PureDocBench 赛道。2B 模型在 OmniDocBench 上增益 1.56 分在 Avg3 上增益 1.74 分而 4B 模型分别增益 1.16 和 2.35 分。改进最大的是 Digital Degraded2B 和 4B 分别为 2.38 和 2.55和 Real Degraded2.37 和 4.03。Clean 性能在 2B 仅变化 0.46在 4B 仅变化 0.49。这种模式与阶段 II 对分布尾部和采集引起的外观偏移的预期重点一致但分阶段比较并未将残差感知分配与其他阶段 II 干预隔离开来。附录 B.1 提供了定位代表性结构和识别错误的分阶段定性比较。特别是图 12(b) 显示了拍摄的中文合同中姓名转录错误的纠正和公式序列化的恢复。附录 B.2 提供了跨通用、公式丰富、表格丰富以及扫描或拍摄文档的额外端到端预测。5 结论和未来工作我们提出了 WeVisDoc一个数据-centric 框架通过语义覆盖、结构保持退化和能力感知改进来专门化端到端文档解析器。在 2B 和 4B 规模上实例化WeVisDoc 在 OmniDocBench v1.6 上达到 95.06 和 95.38 的 Overall 分数在 PureDocBench 上达到 73.86 和 75.54 的 Avg3 分数。4B 模型在所有四个设置中均在所比较的端到端解析器中建立了最先进性能而 2B 模型以一半参数量提供顶级性能。分阶段比较显示完整能力改进阶段后的一致增益尽管它们并未隔离其各个干预措施。总之这些结果支持将训练混合视为语料库覆盖和模型能力之间可测量的接口而不是数据集的静态集合。当前证据仍受基准覆盖和合成退化保真度的限制。尽管 4B 模型在 Real Degraded 页面上建立了新的端到端最先进水平手写、历史扫描、严重损坏文档和更广泛采集条件仍未得到充分测量。残差重新平衡还依赖于探针集、表示模型、聚类选择和评估器并引入额外计算。因此未来工作将优先考虑更广泛的真实采集数据、更稳定和可解释的能力估计以及更低成本的混合更新同时跨额外语言和文档领域进行评估。高风险部署应继续将模型输出与来源控制和适当的人工审查配对。