使用Python从PDF文件中提取文本：一份全面指南

从PDF文件中提取表格、图像和纯文本的完整流程

介绍

在大型语言模型（LLMs）及其广泛应用的时代，从简单的文本摘要和翻译到根据情感和财务报告主题预测股票表现，文本数据的重要性前所未有。

有许多类型的文档共享这种非结构化信息，从网络文章和博客帖子到手写信件和诗歌。然而，这些文本数据的一大部分以PDF格式存储和传输。具体而言，已发现每年在Outlook中打开超过20亿个PDF文件，而每天在Google Drive和电子邮件中保存73百万个新PDF文件（2）。

因此，开发一种更系统的方式来处理这些文档并从中提取信息，将使我们能够拥有自动化流程，更好地理解和利用这大量的文本数据。在这个任务中，当然，我们最好的朋友莫过于Python。

然而，在我们开始处理之前，我们需要指定当前存在的不同类型的PDF文件，更具体地说，最常出现的三种类型：

程序生成的PDF：这些PDF是使用W3C技术（如HTML、CSS和JavaScript）或其他软件（如Adobe Acrobat）在计算机上创建的。这种类型的文件可以包含各种组件，如图像、文本和链接，这些都是可搜索和易于编辑的。
传统扫描文档：这些PDF是通过扫描仪或移动应用程序从非电子VoAGIs创建的。这些文件实际上只是一系列存储在PDF文件中的图像。也就是说，出现在这些图像中的元素（如文本或链接）无法被选择或搜索。从本质上讲，PDF文件用作这些图像的容器。
带OCR的扫描文档：在这种情况下，扫描文档后使用光学字符识别（OCR）软件来识别文件中每个图像中的文本，将其转换为可搜索和可编辑的文本。然后，软件将实际文本添加到图像上的一个图层，这样在浏览文件时可以将其作为单独的组件选择。（3）

尽管现在越来越多的机器安装了OCR系统来识别扫描文档中的文本，但仍然有一些文档以图像格式包含整页内容。您可能已经注意到，当您阅读一篇很好的文章并尝试选择一句话时，却选择了整页。这可能是特定OCR机器的限制或其完全缺失的结果。为了不让这些信息在这篇文章中被忽略，我尝试创建了一个过程，也考虑了这些情况，并从我们宝贵且信息丰富的PDF中获得最大的收益。

理论方法

在考虑到所有这些不同类型的PDF文件以及组成它们的各种元素时，有必要对PDF的布局进行初步分析，以确定每个组件所需的适当工具。更具体地说，根据此分析的结果，我们将应用适当的方法从PDF中提取文本，无论是在具有元数据的语料块中呈现的文本，还是在图像中的文本，还是在表格中的结构化文本。在没有OCR的扫描文档中，识别并从图像中提取文本的方法将执行所有繁重的工作。该过程的输出将是一个Python字典，其中包含从PDF文件的每个页面提取的信息。该字典中的每个键将表示文档的页码，其对应的值将是一个包含以下5个嵌套列表的列表：

每个语料块的提取文本
每个语料块中文本的格式，包括字体和大小
从页面上提取的图像中的文本
以结构化格式提取的表格中的文本
页面的完整文本内容

这样，我们可以实现对每个源组件提取的文本进行更合理的分离，有时可以帮助我们更容易地检索通常出现在特定组件中的信息（例如，标志图像中的公司名称）。此外，从文本中提取的元数据，如字体系列和大小，可以用于轻松识别文本标题或重要的突出显示文本，这将有助于我们进一步将文本分割或进行多个不同块的后处理。最后，以LLM能够理解的方式保留结构化表格信息将显著提高对提取数据内关系的推断质量。然后，这些结果可以组合为输出，显示每个页面上出现的所有文本信息。

您可以在下面的图像中看到这种方法的流程图。

安装所有必要的库

在开始这个项目之前，我们应该安装必要的库。我们假设您的计算机上已经安装了Python 3.10或更高版本。否则，您可以从这里安装。然后让我们安装以下库：

PyPDF2：用于从存储库路径中读取PDF文件。

pip install PyPDF2

Pdfminer：用于执行布局分析并从PDF中提取文本和格式。（该库的.six版本是支持Python 3的版本）

pip install pdfminer.six

Pdfplumber：用于识别PDF页面中的表格并从中提取信息。

pip install pdfplumber

Pdf2image：用于将裁剪的PDF图像转换为PNG图像。

pip install pdf2image

PIL：用于读取PNG图像。

pip install Pillow

Pytesseract：使用OCR技术从图像中提取文本。

这个安装稍微复杂一些，因为首先您需要安装Google Tesseract OCR，它是一种基于LSTM模型的OCR机器，用于识别线条和字符模式。

如果您是Mac用户，您可以通过终端使用Brew安装它，然后就可以使用了。

brew install tesseract

对于Windows用户，您可以按照这个链接安装。然后，当您下载并安装软件时，您需要将其可执行路径添加到计算机的环境变量中。或者，您可以使用以下代码直接在Python脚本中包含它们的路径：

pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'

然后您可以安装Python库

pip install pytesseract

最后，我们将在脚本的开头导入所有库。

# To read the PDFimport PyPDF2# To analyze the PDF layout and extract textfrom pdfminer.high_level import extract_pages, extract_textfrom pdfminer.layout import LTTextContainer, LTChar, LTRect, LTFigure# To extract text from tables in PDFimport pdfplumber# To extract the images from the PDFsfrom PIL import Imagefrom pdf2image import convert_from_path# To perform OCR to extract text from images import pytesseract # To remove the additional created filesimport os

现在我们已经准备好了。让我们进入有趣的部分。

使用Python进行文档布局分析

对于初步分析，我们使用了PDFMiner Python库将文档对象中的文本分离成多个页面对象，然后分解和检查每个页面的布局。PDF文件本身缺乏结构化信息，例如段落、句子或人眼可见的单词。相反，它们只理解文本的各个字符以及它们在页面上的位置。因此，PDFMiner试图将页面的内容重构为其各个字符以及它们在文件中的位置。然后，通过比较这些字符与其他字符的距离，组合适当的单词、句子、行和段落。为了实现这一点，该库：

使用高级函数extract_pages()将PDF文件的各个页面分离，并将其转换为LTPage对象。

然后对于每个LTPage对象，从上到下迭代每个元素，并尝试将适当的组件识别为以下之一：

LTFigure，表示PDF中作为另一个PDF文档嵌入页面中的图形或图像的区域。
LTTextContainer，表示矩形区域中的一组文本行，进一步分析为LTTextLine对象的列表。每个LTTextLine对象代表一个LTChar对象的列表，该列表存储文本的单个字符及其元数据。(5)
LTRect表示可以用于给图像创建框架、图形或在LTPage对象中创建表格的二维矩形。

因此，基于页面的重建以及将其元素分类为LTFigure（包含页面的图像或图形）、LTTextContainer（表示页面的文本信息）或LTRect（表示表格的强烈指示），我们可以应用适当的函数来更好地提取信息。

for pagenum, page in enumerate(extract_pages(pdf_path)):    # 迭代组成页面的元素    for element in page:        # 检查元素是否为文本元素        if isinstance(element, LTTextContainer):            # 提取文本的函数            pass            # 提取文本格式的函数            pass        # 检查元素是否为图像        if isinstance(element, LTFigure):            # 将PDF转换为图像的函数            pass            # 使用OCR提取文本的函数            pass        # 检查元素是否为表格        if isinstance(element, LTRect):            # 提取表格的函数            pass            # 将表格内容转换为字符串的函数            pass

现在我们了解了分析过程的一部分，让我们创建所需的函数来从每个组件中提取文本。

定义从PDF中提取文本的函数

从这里开始，从文本容器中提取文本非常简单。

# 创建一个从文本提取文本的函数def text_extraction(element):    # 从内联文本元素中提取文本    line_text = element.get_text()        # 查找文本的格式    # 用文本行中出现的所有格式初始化列表    line_formats = []    for text_line in element:        if isinstance(text_line, LTTextContainer):            # 遍历文本行中的每个字符            for character in text_line:                if isinstance(character, LTChar):                    # 添加字符的字体名称                    line_formats.append(character.fontname)                    # 添加字符的字体大小                    line_formats.append(character.size)    # 在行中查找唯一的字体大小和名称    format_per_line = list(set(line_formats))        # 返回每行文本及其格式的元组    return (line_text, format_per_line)

因此，要从文本容器中提取文本，我们只需使用LTTextContainer元素的get_text()方法。该方法检索组成特定语料库框内单词的所有字符，并将输出存储在文本数据列表中。列表中的每个元素表示容器中包含的原始文本信息。

现在，为了识别此文本的格式，我们通过LTTextContainer对象迭代访问此语料库的每个文本行。在每次迭代中，都会创建一个新的LTTextLine对象，表示此语料库块中的一行文本。然后，我们检查嵌套的行元素是否包含文本。如果是，我们访问每个单独的字符元素作为LTChar，其中包含该字符的所有元数据。从这些元数据中，我们提取两种类型的格式，并将它们存储在一个单独的列表中，与所检查的文本相对应：

字符的字体系列，包括字符是否以粗体或斜体格式显示
字符的字体大小

通常，特定文本块内的字符往往具有一致的格式，除非其中某些字符以粗体方式突出显示。为了方便进一步分析，我们捕获文本中所有字符的文本格式的唯一值，并将其存储在适当的列表中。

定义从图片中提取文本的函数

在这里，我认为这是一个更棘手的部分。

如何处理PDF中的图片中的文本？

首先，我们需要在这里确定存储在PDF中的图像元素与文件本身的格式（如JPEG或PNG）并无区别。因此，为了对它们应用OCR软件，我们首先需要将其从文件中分离出来，然后将其转换为图像格式。

# 创建一个函数来裁剪PDF中的图像元素def crop_image(element, pageObj):    # 获取裁剪图像的坐标    [image_left, image_top, image_right, image_bottom] = [element.x0,element.y0,element.x1,element.y1]     # 使用坐标（左，底，右，顶）裁剪页面    pageObj.mediabox.lower_left = (image_left, image_bottom)    pageObj.mediabox.upper_right = (image_right, image_top)    # 将裁剪后的页面保存为新的PDF    cropped_pdf_writer = PyPDF2.PdfWriter()    cropped_pdf_writer.add_page(pageObj)    # 将裁剪后的PDF保存为新文件    with open('cropped_image.pdf', 'wb') as cropped_pdf_file:        cropped_pdf_writer.write(cropped_pdf_file)# 创建一个将PDF转换为图像的函数def convert_to_images(input_file,):    images = convert_from_path(input_file)    image = images[0]    output_file = "PDF_image.png"    image.save(output_file, "PNG")# 创建一个从图像中读取文本的函数def image_to_text(image_path):    # 读取图像    img = Image.open(image_path)    # 从图像中提取文本    text = pytesseract.image_to_string(img)    return text

为了实现这一点，我们按照以下流程进行操作：

我们使用从PDFMiner检测到的LTFigure对象的元数据来裁剪图像框，利用其在页面布局中的坐标。然后，我们使用PyPDF2库将其另存为我们目录中的新PDF。
然后，我们使用pdf2image库中的convert_from_file()函数将目录中的所有PDF文件转换为图像列表，并将它们以PNG格式保存。
最后，现在我们有了图像文件，我们使用PIL模块的Image包，并利用pytesseract的image_to_string()函数来读取它们并从图像中提取文本，使用tesseract OCR引擎。

因此，此过程返回从图像中提取的文本，我们将其保存在输出字典的第三个列表中。该列表包含从检查的页面上提取的图像的文本信息。

定义从表格中提取文本的函数

在本节中，我们将从PDF页面中提取出逻辑结构更为清晰的表格文本。这比从语料库中提取文本要复杂一些，因为我们需要考虑信息的粒度以及表格中数据点之间形成的关系。

尽管有几个用于从PDF中提取表格数据的库，其中Tabula-py是其中最知名的之一，但我们已经确定了其功能上的某些限制。

我们认为最明显的限制是该库使用表格文本中的换行特殊字符\n来标识表格的不同行。在大多数情况下，这种方法效果很好，但当单元格中的文本被换行成2行或更多行时，它无法正确捕获，导致添加了不必要的空行并且丢失了提取单元格的上下文。

您可以看到下面的示例，我们尝试使用tabula-py从表格中提取数据：

然后，提取的信息以Pandas DataFrame的形式输出，而不是字符串。在大多数情况下，这可能是一种理想的格式，但是对于考虑文本的转换器来说，这些结果在输入模型之前需要进行转换。

为此，我们使用了pdfplumber库来解决这个问题。首先，它是基于我们用于初步分析的pdfminer.six构建的，这意味着它包含类似的对象。此外，它的表格检测方法是基于线元素及其交点构建包含文本的单元格，然后构建表格本身。这样，当我们识别到表格的单元格时，我们可以仅提取单元格内的内容，而不必考虑需要渲染多少行。然后，当我们拥有表格的内容时，我们将其格式化为类似表格的字符串并存储在适当的列表中。

# 从页面提取表格def extract_table(pdf_path, page_num, table_num):    # 打开pdf文件    pdf = pdfplumber.open(pdf_path)    # 找到所需页面    table_page = pdf.pages[page_num]    # 提取所需表格    table = table_page.extract_tables()[table_num]    return table# 将表格转换为适当的格式def table_converter(table):    table_string = ''    # 遍历表格的每一行    for row_num in range(len(table)):        row = table[row_num]        # 去除包装文本中的换行符        cleaned_row = [item.replace('\n', ' ') if item is not None and '\n' in item else 'None' if item is None else item for item in row]        # 将表格转换为字符串         table_string+=('|'+'|'.join(cleaned_row)+'|'+'\n')    # 去除最后的换行符    table_string = table_string[:-1]    return table_string

为了实现这一目标，我们创建了两个函数：extract_table()用于将表格的内容提取为嵌套列表，table_converter()用于将这些列表的内容连接成类似表格的字符串。

在extract_table()函数中：

我们打开PDF文件。
我们导航到PDF文件的所需页面。
从pdfplumber在页面上找到的表格列表中，我们选择所需的表格。
我们提取表格的内容，并将其输出为表示每行的嵌套列表的列表。

在table_converter()函数中：

我们迭代每个嵌套列表，并清理其内容，去除来自任何换行文本的不必要的换行符。
我们使用|符号将每行的每个元素连接起来，以创建表格单元格的结构。
最后，我们在末尾添加一个换行符以换行到下一行。

这将产生一个文本字符串，以呈现表格的内容，而不会丢失其中呈现的数据的细节。

将所有内容组合在一起

现在，我们已经准备好了代码的所有组件，让我们将它们全部添加到一个完全功能的代码中。您可以从这里复制代码，或者可以在我的Github存储库中找到它以及示例PDF。

# 找到PDF路径pdf_path = 'OFFER 3.pdf'# 创建PDF文件对象pdfFileObj = open(pdf_path, 'rb')# 创建PDF阅读器对象pdfReaded = PyPDF2.PdfReader(pdfFileObj)# 创建字典以提取每个图像的文本text_per_page = {}# 从PDF中提取页面for pagenum, page in enumerate(extract_pages(pdf_path)):        # 初始化从页面提取文本所需的变量    pageObj = pdfReaded.pages[pagenum]    page_text = []    line_format = []    text_from_images = []    text_from_tables = []    page_content = []    # 初始化所检查的表格数量    table_num = 0    first_element= True    table_extraction_flag= False    # 打开pdf文件    pdf = pdfplumber.open(pdf_path)    # 找到所需页面    page_tables = pdf.pages[pagenum]    # 找到页面上的表格数量    tables = page_tables.find_tables()    # 找到所有元素    page_elements = [(element.y1, element) for element in page._objs]    # 按照出现在页面中的顺序对所有元素进行排序     page_elements.sort(key=lambda a: a[0], reverse=True)    # 找到组成页面的元素    for i,component in enumerate(page_elements):        # 提取元素在PDF中顶部的位置        pos= component[0]        # 提取页面布局的元素        element = component[1]                # 检查元素是否为文本元素        if isinstance(element, LTTextContainer):            # 检查文本是否出现在表格中            if table_extraction_flag == False:                # 使用函数提取文本并进行格式化                (line_text, format_per_line) = text_extraction(element)                # 将每行的文本添加到页面文本                page_text.append(line_text)                # 将包含文本的每行的格式添加到列表中                line_format.append(format_per_line)                page_content.append(line_text)            else:                # 忽略出现在表格中的文本                pass        # 检查是否为图像元素        if isinstance(element, LTFigure):            # 从PDF中裁剪图像            crop_image(element, pageObj)            # 将裁剪后的pdf转换为图像            convert_to_images('cropped_image.pdf')            # 从图像中提取文本            image_text = image_to_text('PDF_image.png')            text_from_images.append(image_text)            page_content.append(image_text)            # 在文本和格式列表中添加占位符            page_text.append('image')            line_format.append('image')        # 检查是否为表格元素        if isinstance(element, LTRect):            # 如果是第一个矩形元素            if first_element == True and (table_num+1) <= len(tables):                # 找到表格的边界框                lower_side = page.bbox[3] - tables[table_num].bbox[3]                upper_side = element.y1                 # 从表格中提取信息                table = extract_table(pdf_path, pagenum, table_num)                # 将表格信息转换为结构化字符串格式                table_string = table_converter(table)                # 将表格字符串附加到列表中                text_from_tables.append(table_string)                page_content.append(table_string)                # 将标志设置为True，以避免再次提取内容                table_extraction_flag = True                # 使其成为另一个元素                first_element = False                # 在文本和格式列表中添加占位符                page_text.append('table')                line_format.append('table')            # 检查我们是否已经从页面中提取了表格            if element.y0 >= lower_side and element.y1 <= upper_side:                pass            elif not isinstance(page_elements[i+1][1], LTRect):                table_extraction_flag = False                first_element = True                table_num+=1    # 创建字典的键    dctkey = 'Page_'+str(pagenum)    # 将嵌套列表作为页面键的值添加到字典中    text_per_page[dctkey]= [page_text, line_format, text_from_images,text_from_tables, page_content]# 关闭pdf文件对象pdfFileObj.close()# 删除创建的额外文件os.remove('cropped_image.pdf')os.remove('PDF_image.png')# 显示页面内容result = ''.join(text_per_page['Page_0'][4])print(result)

上面的脚本将会：

导入必要的库。

使用pyPDF2库打开PDF文件。

提取PDF的每一页并遍历以下步骤。

检查页面上是否有表格，并使用pdfplumner创建一个表格列表。

查找页面中嵌套的所有元素，并按照它们在布局中出现的顺序进行排序。

然后对于每个元素：

检查它是否是一个文本容器，并且不出现在表格元素中。然后使用text_extraction()函数提取文本以及其格式，否则跳过此文本。

检查它是否是一个图像，并使用crop_image()函数从PDF中裁剪图像组件，使用convert_to_images()将其转换为图像文件，并使用OCR和image_to_text()函数从中提取文本。

检查它是否是一个矩形元素。在这种情况下，我们检查第一个矩形是否是页面表格的一部分，如果是，则进行以下步骤：

找到表格的边界框，以便不再使用text_extraction()函数提取其文本。
提取表格的内容并将其转换为字符串。
然后添加一个布尔参数来说明我们从表格中提取文本。
此过程将在落入表格边界框的最后一个LTRect和布局中的下一个元素不是矩形对象之后结束。（所有组成表格的其他对象将被跳过）

处理的输出将存储在每次迭代的5个列表中，命名为：

page_text：包含从PDF中的文本容器中获取的文本（当文本是从其他元素中提取的时，将放置占位符）
line_format：包含上述提取的文本的格式（当文本是从其他元素中提取的时，将放置占位符）
text_from_images：包含从页面上提取的图像中提取的文本
text_from_tables：包含表格内容的类似表格的字符串
page_content：包含在页面上呈现的所有文本的元素列表

所有列表将存储在一个字典中，该字典将表示每次检查的页面编号。

之后，我们将关闭PDF文件。

然后，我们将删除在过程中创建的所有附加文件。

最后，我们可以通过连接page_content列表的元素来显示页面的内容。

结论

这是我认为利用了许多库的最佳特性并使过程对我们可能遇到的各种类型的PDF和元素具有弹性的一种方法，尽管PDFMiner承担了大部分的重活。此外，关于文本格式的信息可以帮助我们识别潜在的标题，将文本分成不同的逻辑部分，而不仅仅是每页的内容，并帮助我们识别更重要的文本。

然而，总会有更高效的方法来完成这个任务，尽管我相信这种方法更具包容性，但我真的很期待与您讨论解决这个问题的新方法和更好的方法。

📖 参考资料：

https://www.techopedia.com/12-practical-large-language-model-llm-applications
https://www.pdfa.org/wp-content/uploads/2018/06/1330_Johnson.pdf
https://pdfpro.com/blog/guides/pdf-ocr-guide/#:~:text=OCR technology reads text from, a searchable and editable PDF.
https://pdfminersix.readthedocs.io/en/latest/topic/converting_pdf_to_text.html#id1
https://github.com/pdfminer/pdfminer.six