1
引言
在信息爆炸的时代，AI研究者面临着从海量文档中提取高质量数据的挑战。随着大语言模型在各个领域的广泛应用，有效地处理和整合文档信息成为了基础性的任务。这些文档形式多样，包括学术文献、行业报告、会议PPT、课本、说明书及合同单据等，通常以PDF或网页的形式存在，内容复杂且格式不一。
在这样的背景下，如何将这些信息转化为统一、易于分析的格式，尤其是Markdown，显得尤为重要。两个关键挑战主要集中在：
布局信息分析：如何精准识别和提取不同的文档元素，包括文本、标题、说明、图片、表格和公式。
组件关系处理：如何理解并处理这些布局组件之间的关系，以确保信息的连贯性和逻辑性。
MinerU是一款功能强大的开源文档与网页数据提取工具，旨在简化AI数据处理流程。它不仅能够将包含图片、表格、公式等多模态内容的PDF文档精准转化为清晰、易于分析的Markdown格式，还可以从网页中快速提取正式内容，剔除广告等干扰信息。此外，MinerU支持将多种格式（如epub、mobi、docx等）批量转换为Markdown，大幅提升数据处理的效率。
代码开源链接：
https://github.com/opendatalab/MinerU/
2
技术解析
MinerU 是一款功能强大的文档提取工具，目前由两个主要模块构成，旨在高效处理各种文档格式并提升用户的工作效率。
1. Magic-PDF
Magic-PDF 模块专注于 PDF 文档的提取与转换，能够将复杂的 PDF 内容无缝转换为 Markdown 格式。其核心功能包括：
快速识别 PDF 版面元素：该模块能够智能识别和去除页眉、页脚、脚注等非正文内容，保留文档的结构与格式。这包括对标题、段落、列表等内容的精准保留，确保最终的 Markdown 文档结构清晰且易于阅读。
多模态内容提取：Magic-PDF 能够有效提取 PDF 文档中的图片、表格和公式。无论是学术论文、报告还是其他类型的文档，Magic-PDF 确保转化后的 Markdown 格式不仅准确，还具备良好的可读性和逻辑性。
高效处理复杂文档：针对含有复杂布局和多层次结构的 PDF 文档，Magic-PDF 采用先进的解析算法，能够识别并提取关键内容，确保重要信息不会在转换过程中丢失。无论是科研文献还是业务报告，用户都能轻松获取所需数据。
2. Magic-Doc
Magic-Doc 模块专注于网页和电子书的信息提取，支持处理多种类型的网页内容。其主要功能包括：
广告剔除：该模块能够快速识别并去除广告和其他干扰信息，使用户能够专注于提取正文、评论、歌词及视频文字等关键信息。通过这一功能，用户可以节省大量时间，迅速获取所需内容。
电子书格式转换：Magic-Doc 支持将多达 8 种电子书格式（如 EPUB、MOBI、PPTX、DOCX 等）快速转换为 Markdown。转换过程确保文本与图片的全面适配，使电子书内容以最优格式呈现，便于后续编辑和分享。
优化用户体验：通过简化提取过程，Magic-Doc 为用户提供更便捷的信息获取方式，减少了手动整理的时间和精力。该模块的设计考虑到用户的实际需求，力求在操作简便的同时保证高效性和准确性。
MinerU PDF文档提取流程
由于PDF文档通常包含比网页和电子书更复杂的元素，处理起来更具挑战性和代表性，本文将重点介绍MinerU如何实现高质量的文档数据提取。
MinerU的PDF文档提取主要由以下四个环节构成：
1. 文档分类预处理
分类识别：MinerU支持对输入的PDF文档进行分类，判断其类型（如文本型PDF、图层型PDF、扫描版PDF等）。
元数据提取：系统在初始阶段提取PDF元数据，检测是否存在乱码，并进行PDF类型识别，为后续处理提供指导。
2. 模型解析与PDF内容提取
布局区块检测：利用高质量的PDF模型解析工具链，准确定位标题、正文、图片、表格、脚注及边注等重要元素。
公式处理：针对科学论文中的公式，系统能精确定位并提取，确保数学表达式的准确性。
光学字符识别（OCR）：对于扫描版PDF，使用OCR技术提取准确的文本内容，最终将信息存储为JSON格式。
PDF内容提取模型（MinerU使用的模型）：
布局检测：使用LayoutLMv3模型进行区域检测，确保信息以正确格式呈现。
公式检测：使用YOLOv8进行公式检测，涵盖行内和行间公式，提升提取能力。
公式识别：使用UniMERNet确保公式的准确性和可读性。
光学字符识别：使用PaddleOCR进行文本识别，尤其对扫描版PDF文档至关重要。
3. 管线处理与多种格式输出
后处理：模型处理的数据将输入管线进行后处理，包括确定块级别顺序和删减无用元素。
输出格式：确保输出文档的流畅性和可读性，处理方式包括坐标修复、高IoU处理、图片与表格描述合并等。
中间态转换：文档信息转化为统一的中间态：middle-json，开发者可根据需求自定义输出格式。
4. PDF提取结果质检
质检流程：团队利用由多种类型文档（如论文、教材、试卷和研报）组成的人工标注PDF自测评测集，对整个流程进行检测，以保证提取效果的不断提升。
可视化工具：借助可视化质检工具，团队对PDF提取结果进行人工质检与标注，反馈至模型训练，进一步增强模型能力。
3
MinerU的优势
广泛适用性
MinerU 能够处理多种格式，包括 PDF、网页和电子书，满足学术研究和企业工作中的多样化数据提取需求，广泛适用于不同领域和场景。精准高效
凭借先进的模型，MinerU 能准确识别和提取各种文档元素，能够高效处理复杂布局，确保数据处理的质量与速度。良好用户体验
MinerU 的操作界面简洁明了，自动化流程便于用户使用，用户无需专业技术知识即可轻松上手，极大节省时间和精力。开源可扩展
作为开源工具，MinerU 具备良好的可扩展性和可定制性，开发者可以根据具体需求进行优化改进，为不同领域的应用提供更多可能性。
4
函数计算应用中心
随着云计算技术的迅速发展，Serverless架构正成为企业提升资源利用效率、加速业务创新的关键技术。通过“无服务器”架构，开发者可以将更多精力投入到业务逻辑中，而无需关注底层基础设施的配置和维护。
然而，Serverless应用的生命周期管理仍然是许多团队面临的挑战。为了解决这些问题，Serverless应用中心应运而生。它提供了集成的开发、部署和运维平台，支持Serverless应用的全生命周期管理，使企业能够更便捷地借助Serverless架构实现快速的业务迭代与创新。
4.1 优势
Serverless应用中心提供了资源管理、应用模板等功能，简化了开发和运维过程，并带来以下关键优势：
快速一站式部署
无需复杂的构建、打包过程，通过Serverless应用中心，开发者可以直接将应用一键式部署至云端环境，省时省力。平台提供了灵活的操作方式，帮助开发团队以最小的配置实现快速上线。资源集中管理
在传统Serverless开发中，资源往往分散在不同的云服务中。而Serverless应用中心通过“应用”作为管理的核心单元，使开发者可以在一个平台内集中管理所有资源，从而降低操作复杂性，提升运维效率。多样化模板支持，助力业务快速启动
应用中心提供多场景的业务模板，包括Web开发、人工智能、文本处理等应用，帮助开发者快速创建应用。这些模板遵循最佳实践设计，开发者可直接利用，减少了开发成本并保障了项目质量。可视化操作，友好的用户体验
Serverless应用中心提供直观的控制台界面，使开发者能够通过拖拽和点击快速完成应用配置与部署，降低了学习曲线，无论初学者还是有经验的开发者都可以快速上手。
4.2 功能
Serverless应用中心的核心功能涵盖从模板配置到应用发布的各个环节，形成了高效的闭环，极大地提升了Serverless应用的开发和运维效率。
应用模板和框架支持
应用中心提供丰富的应用模板，涵盖Web应用、人工智能、文本处理等场景，帮助开发者快速验证原型，并且具备灵活性和可定制性，以适应多种业务需求。高效的部署与更新机制
Serverless应用中心支持批量操作，让开发者可以一次性完成多个函数的更新和维护，尤其适合需要频繁迭代的应用。例如，在流媒体应用中，可以通过批量操作实现视频转码和实时推流服务的快速更新。结构化的应用与函数组织管理
Serverless应用中心将“应用”作为核心管理单元，使开发者能够更直观地管理多个函数，确保复杂业务场景下的高效运作。借助Serverless应用中心，开发者可以将所有相关资源整合到单一应用中，实现跨函数的统一管理。
4.3 应用与函数的区别
在Serverless架构中，函数和应用是两个核心概念。函数是Serverless架构的基本单元，负责处理独立的业务逻辑，而应用则是多个函数和资源的集合，构成完整的业务模块。两者的不同之处主要体现在以下方面：
4.4 函数计算最佳实践
创建应用
在应用中心页面，可以看到多种场景以及场景化应用。您可以单击任意应用所在卡片上的详情，查看应用详情，然后根据业务情况选择合适的应用。
登录函数计算控制台，在左侧导航栏，单击应用中心。
在应用中心页面，选择通过模板创建应用，在下方模板区域，找到目标应用模板，将光标放到该卡片，然后单击查看详情，可以查看该应用的具体介绍及使用说明。
单击立即创建。
在创建应用页面，根据提示填写各配置项。部分应用提供可修改的配置文件，可按应用需求下载配置文件修改后再上传文件。
单击创建并部署默认环境。
跳转到函数详情页面，等待资源部署完成。
在控制台完成业务功能部署，完成会出现触发器url。通过该地址访问应用。
点击上传pdf文档，选择转换页数
点击Convert，转换完成
点击markdown rending可查看渲染结果，点击markdown text可查看markdown文本，点击下载链接，可下载zip包
如需修改配置，可在函数详情中进行修改。
5
总结
随着Serverless技术的不断成熟，Serverless应用中心也在持续优化，力求为用户提供更全面的功能和更强的云服务集成能力。展望未来，Serverless应用中心有望在模板管理、资源配置、环境设置以及流水线管理等方面进一步完善。这些改进将助力企业在瞬息万变的市场环境中实现更加敏捷的业务响应和创新驱动的成长，从而提高其竞争力和市场适应能力。通过优化这些关键功能，Serverless应用中心将成为企业数字化转型的重要支撑，帮助企业在快速发展的科技浪潮中把握机遇。
函数计算产品，敬请期待！
更多技术和产品文章，请关注👆
如果您对哪个产品感兴趣，欢迎留言给我们，我们会定向邀文~
360智汇云是以"汇聚数据价值，助力智能未来"为目标的企业应用开放服务平台，融合360丰富的产品、技术力量，为客户提供平台服务。
目前，智汇云提供数据库、中间件、存储、大数据、人工智能、计算、网络、视联物联与通信等多种产品服务以及一站式解决方案，助力客户降本增效，累计服务业务1000+。
智汇云致力于为各行各业的业务及应用提供强有力的产品、技术服务，帮助企业和业务实现更大的商业价值。
官网：https://zyun.360.cn 或搜索“360智汇云”
客服电话：4000052360
