IBM开源新模型，可完美、快速转换PDF文档格式，附源码详细部署教程使用教程。
docling 是一个由 DS4SD（Data Science for Social Development）团队开发的开源项目，旨在帮助文档化软件项目。该项目提供了一个基于 Flask 的 Web 应用程序，用于托管文档，并支持 Markdown 格式。
将 PDF 文档转换为机器可处理的格式一直是一个极具挑战性的难题，这主要是因为 PDF 在格式、标准化和结构特征等方面存在着极为显著的差异。
例如，不同的 PDF 文档可能使用了各种各样的排版方式、字体样式和图像嵌入方式，有些可能还使用了特殊的字体编码或加密技术，进一步增加了数据处理的难度。
为了解决这些难题，IBM的研究人员基于PDF解析器、大模型、OCR等多种技术开发了Docling模型，可将PDF文档保留全部格式的情况下快速转换成JSON、 Markdown格式。
开源地址：https://github.com/DS4SD/docling
Docling模型使用了模块化设计方法，将整个PDF文档处理流程拆解为一系列连续的操作步骤，每个步骤都由专门的模块来执行。这不仅提升了执行效率和准确率，还极大增强了模型的扩展性和灵活性。
在Docling架构中，PDF后端扮演着重要角色。主要负责将PDF文档解析为机器可读的格式，包括提取文本内容及其在页面上的几何坐标，以及渲染每个页面的位图图像。为后续所有操作奠定基础。
为了应对PDF文档格式的多样性和复杂性，Docling提供了多种PDF后端选项。其中，基于qpdf库开发的自定义PDF解析器，是默认的PDF后端。为了满足不同场景的需求，还提供了基于pypdfium的PDF后端作为备选方案。
在PDF后端完成初步解析后，Docling的两个布局分析模型和表格结构识别模型，对数据做进一步处理。布局分析模型基于RT-DETR架构，通过在DocLayNet数据集上进行再训练，能够准确地预测页面图像上各种元素的边界框和类别。使Docling能够理解文档的详细布局，包括阅读顺序、图形位置以及表格结构的恢复。
表格结构识别模型TableFormer则主要用于识别表格结构，能够预测给定表格的逻辑行和列结构，并确定哪些表格单元属于列标题、行标题或表格主体。帮助Docling在处理表格时，能够应对各种复杂情况，如无边框线、空单元格、跨行或跨列的单元格等。
为了进一步提升Docling的处理能力，尤其是在处理扫描的PDF或页面上嵌入的位图图像时，Docling还提供了可选的OCR支持。通过集成EasyOCR这一流行的第三方OCR库，Docling能够识别和转写图像中的文字，从而扩展在文档处理方面的应用范围。
为了评估 Docling的转换效率，研究人员使用arXiv 的3篇论文和两本 IBM书总共225 页搭建了一个测试数据集。
在测试过程中，使用了两种可用的 PDF 后端，并分别设置了不同的线程预算，一次将线程预算固定为 4，另一次固定为 16，在苹果M3 Max笔记本和英特尔Xeon E5 – 2690平台上执行。
结果显示，Docling可以完美、快速将 PDF 文档转换为 JSON、 Markdown 格式，并且能够理解页面布局、阅读顺序，定位图表并恢复表格结构，还能提取文档的元数据，例如，标题、作者、参考文献和语言等。
在使用4线程时，处理时间为103秒，每秒处理页面数为 2.18 页，峰值内存使用为 6.20GB；使用 16 线程时，处理时间为177秒，每秒处理页面数为1.27页。
docling是一个用于将PDF文档转换为JSON或Markdown格式的Python库，它依赖于PyTorch库，并且支持OCR（光学字符识别）功能。以下是部署和使用docling的详细步骤：
部署步骤
-
安装依赖
首先，你需要安装Python和pip。然后，你可以使用pip安装docling：pip install docling -
安装PyTorch
docling依赖于PyTorch库，你可以根据你的系统环境选择合适的PyTorch版本进行安装。例如，对于Linux系统，你可以使用以下命令：pip install torch torchvision torchaudio -
配置环境变量
为了限制CPU线程的使用，你可以设置OMP_NUM_THREADS环境变量。例如，如果你想限制使用4个CPU线程，你可以使用以下命令：export OMP_NUM_THREADS=4
使用步骤
-
转换单个文档
你可以使用docling的convert_single函数来转换单个PDF文档。例如，如果你想转换一个名为document.pdf的PDF文档，你可以使用以下代码：from docling.document_converter import DocumentConverter source = "document.pdf" # PDF路径或URL converter = DocumentConverter() result = converter.convert_single(source)print(result.render_as_markdown()) # 输出Markdown格式 print(result.render_as_doctags()) # 输出Doc Tags格式 -
批量转换文档
你可以使用docling的convert函数来批量转换PDF文档。例如，如果你想转换一个包含多个PDF文档的目录，你可以使用以下代码：from docling.document_converter import DocumentConverter from docling.datamodel.conversion_input import DocumentConversionInput from docling.datamodel.limits import DocumentLimits source_dir = "path/to/source/directory" # PDF文档目录路径 output_dir = "path/to/output/directory" # 输出目录路径 converter = DocumentConverter(artifacts_path=output_dir) conv_input = DocumentConversionInput.from_paths(paths=[source_dir], limits=DocumentLimits(max_num_pages=100, max_file_size=20971520)) results = converter.convert(conv_input)for result in results:print(result.render_as_markdown()) # 输出Markdown格式 print(result.render_as_doctags()) # 输出Doc Tags格式 -
使用命令行工具
你也可以使用docling的命令行工具来转换PDF文档。例如，如果你想转换一个名为document.pdf的PDF文档，你可以使用以下命令：docling document.pdf
部署和使用 docling 的步骤：
1. 克隆仓库
首先，您需要克隆 docling 的 GitHub 仓库到本地机器：
git clone https://github.com/DS4SD/docling.git
cd docling
2. 创建虚拟环境
为了隔离项目的依赖关系，建议在一个虚拟环境中安装所需的包。如果您还没有安装 virtualenv，可以先安装它：
pip install virtualenv
然后，在项目目录下创建一个新的虚拟环境：
virtualenv venv
source venv/bin/activate # 对于 macOS 和 Linux
# 或者
venv\Scripts\activate # 对于 Windows
3. 安装依赖
在激活的虚拟环境中安装项目所需的依赖：
pip install -r requirements.txt
4. 初始化数据库
docling 使用 SQLite 数据库存储数据，您需要初始化数据库：
flask db init
flask db migrate
flask db upgrade
5. 启动应用
现在可以启动 Flask 应用了：
flask run
默认情况下，Flask 将在 http://127.0.0.1:5000/ 地址监听请求。
6. 访问应用
打开浏览器，访问 http://127.0.0.1:5000/，您应该能看到 docling 的初始页面。
使用说明：
- 创建文档：登录后，您可以创建新的文档条目，并使用 Markdown 格式编写内容。
- 编辑文档：您可以编辑已有的文档，或者删除不再需要的文档。
- 查看文档：通过前端界面查看发布的文档。
注意事项：
- 确保您的系统上已经安装了 Python 和相关依赖。
- 如果您遇到任何 SSL 证书问题，请参考前面提到的解决方案。
- 确保在启动 Flask 应用前，已经成功初始化了数据库。
- 如果您计划在生产环境中部署此应用，建议配置更完善的 Web 服务器（如 Gunicorn）以及使用 HTTPS。
通过以上步骤，您就可以成功部署和使用 docling 应用来管理您的文档了。如果有任何具体的技术问题或疑问，欢迎随时提问！
