文档智能解析技术综述：从版式分析到多模态端到端解析

文档智能解析技术综述：从版式分析到多模态端到端解析

引用

CSDN

1.

https://blog.csdn.net/yjh_SE007/article/details/143423081

文档智能解析技术是将非结构化的文档内容转化为结构化信息的关键技术。本文将为您详细介绍两种主要的文档解析技术：基于版式分析的pipeline解析技术和端到端的多模态文档解析技术，并综述相关数据集，帮助您全面了解这一领域的最新进展。

技术方法

基于版式分析的pipeline解析技术

1. 布局分析

布局检测识别文档的结构元素，如文本块、段落、标题、图像、表格和数学表达式，以及它们的空间坐标和阅读顺序。其中，数学表达式的检测，特别是内联数学表达式，通常单独设置一个检测模型进行处理。

相关数据集：

2. 内容提取

• 文本提取：这一过程利用光学字符识别（OCR）技术进行提取。

相关数据集：

• 数学表达式提取：检测文档区域内的数学符号和结构，并将其转换为标准格式，如LaTeX或MathML。

相关数据集：

• 表格数据与结构提取：表格识别涉及通过识别单元格的布局以及文档图像中行与列之间的关系来检测和解释表格结构。提取的表格数据通常与OCR结果结合，并转换为LaTeX等格式以供进一步使用。

相关数据集：

• 图表识别：此步骤专注于识别不同类型的图表，并提取底层数据及其结构关系。图表中的视觉信息被转换为原始数据表格或结构化格式，如JSON。

相关数据集：

1. 关系整合

这一步基于前面两步骤的结果（坐标，bbox）等，通常是基于规则的系统或专门的阅读顺序模型《【文档智能】符合人类阅读顺序的文档模型-LayoutReader及非官方权重开源》通常被用来维持内容的逻辑关系。

半年前开源的一个阅读顺序模型可供参考：

modelscrope地址：https://modelscope.cn/models/yujunhuinlp/LayoutReader-only-layout-large

端到端的多模态文档解析技术

传统的模块化文档解析系统在特定领域内表现出色，但其架构通常导致联合优化不足，限制了在不同文档类型间的泛化能力。近年来，视觉语言模型（VLMs）的进步为这一领域提供了有前景的替代方案。这些模型，如GPT-4、Qwen、LLaMA和InternVL，能够同时处理视觉和文本数据，促进文档图像到结构化输出的端到端转换。

针对文档图像中的特定挑战——如密集文本、复杂布局以及视觉元素的高度变异性，出现了一些专门设计的大型模型，如Nougat、Fox和GOT。这些模型在处理复杂文档结构时，表现出更强的适应性和准确性。

总结

文档智能解析目前落地的方案还是基于pipeline的形式，端到端的方案目前受限资源速度等因素落地还有些距离。

参考文献

• Document Parsing Unveiled: Techniques, Challenges,and Prospects for Structured Information Extraction