Als Python Entwickler stoßen wir oft auf Situationen, in denen wir Daten aus verschiedenen Quellen und Formaten wie PDFs, CSV, HTML und mehr extrahieren müssen. In diesem Artikel werden wir uns eingehend mit dem Parsen von Daten aus PDF-Dateien beschäftigen und einige Python-Pakete vorstellen, die für das Parsen anderer Datenformate nützlich sind.
#!trpst#trp-gettext data-trpgettextoriginal=3118#!trpen#This article was written in German, automatically translated into other languages and editorially reviewed. We welcome feedback at the end of the article.#!trpst#/trp-gettext#!trpen#
PDF-Dateien in Python parsen
PDF ist ein Standarddateiformat, das umfassend zum Teilen und Drucken von Dokumenten verwendet wird. Leider ist es nicht das einfachste Format, wenn es um die Datenextraktion geht, aufgrund seiner komplexen Struktur. Glücklicherweise bietet Python mehrere Bibliotheken, die uns helfen können, Daten aus PDF-Dateien zu extrahieren, wie PyPDF2 und PDFMiner.
PyPDF2
PyPDF2 ist eine reine Python-Bibliothek, die als PDF-Toolkit entwickelt wurde. Sie ist in der Lage, Dokumentinformationen zu extrahieren, Dokumente seitenweise zu teilen, Seiten zusammenzuführen, Seiten zuzuschneiden und PDF-Dateien zu verschlüsseln und zu entschlüsseln.
Hier ist ein einfaches Beispiel für die Verwendung von PyPDF2 zum Extrahieren von Text aus einer PDF-Datei:
import PyPDF2
def extract_text_from_pdf(file_path):
pdf_file_obj = open(file_path, 'rb')
pdf_reader = PyPDF2.PdfFileReader(pdf_file_obj)
text = ""
for page_num in range(pdf_reader.numPages):
page_obj = pdf_reader.getPage(page_num)
text += page_obj.extractText()
pdf_file_obj.close()
return text
print(extract_text_from_pdf('example.pdf'))
# Weitere Informationen gibt es in unserem PyPDF2 Post.
PDFMiner
Während PyPDF2 ein hervorragendes Tool für grundlegende PDF-Verarbeitungsaufgaben ist, leistet es nicht immer gute Arbeit, wenn es darum geht, Text zu extrahieren, der sein ursprüngliches Layout beibehält. Hier kommt PDFMiner ins Spiel. Es konzentriert sich auf das Abrufen und Analysieren von Textdaten aus PDF-Dateien.
Hier ist ein einfaches Beispiel, wie man PDFMiner verwendet, um Text zu extrahieren:
from pdfminer.high_level import extract_text
def extract_text_from_pdf(file_path):
text = extract_text(file_path)
return text
print(extract_text_from_pdf('example.pdf'))PDFQuery
PDFQuery ist eine schlanke Python-Bibliothek, die eine Kombination aus XML und jQuery-Syntax verwendet, um PDFs zu parsen. Es ist besonders hilfreich, wenn Sie die genaue Position der Daten in einer PDF-Datei kennen, die Sie extrahieren möchten.
import pdfquery
def extract_data_from_pdf(file_path):
pdf = pdfquery.PDFQuery(file_path)
pdf.load()
label = pdf.pq('LTTextLineHorizontal:contains("Your Label")')
return label
data = extract_data_from_pdf('Beispiel.pdf')
print(data)
Tabula-py
Wenn Ihre PDFs aus Tabellen bestehen, ist Tabula-py die ideale Bibliothek für die Extraktion. Es ist ein einfacher Wrapper für Tabula, der das Lesen von Tabellen in einem PDF in DataFrame-Objekte ermöglicht.
import tabula
def extract_table_from_pdf(file_path):
df = tabula.read_pdf(file_path, pages='all')
return df
df = extract_table_from_pdf('Beispiel.pdf')
print(df)
PDFBox
PDFBox ist eine Java-Bibliothek, die nützlich für PDF-bezogene Aufgaben ist und auch einen Python-Wrapper, python-pdfbox, bietet. Obwohl die Funktionalität im Vergleich zur ursprünglichen Java-Bibliothek etwas eingeschränkt ist, kann sie Text, Metadaten und Bilder extrahieren.
import pdfbox
def extract_text_from_pdf(file_path):
p = pdfbox.PDFBox()
text = p.extract_text(file_path)
return text
text = extract_text_from_pdf('Beispiel.pdf')
print(text)
Slate
Slate baut auf PDFMiner auf, um eine einfachere API für die Textextraktion aus PDF-Dateien zu bieten. Es wird jedoch seit mehreren Jahren nicht mehr gewartet, so dass es möglicherweise nicht perfekt mit neueren Python-Versionen funktioniert.
import slate
with open('Beispiel.pdf', 'rb') as f:
document = slate.PDF(f)
text = " ".join(document)
print(text)
PDFPlumber
Diese Bibliothek bietet umfangreiche Funktionen zum Extrahieren von Text, Tabellen und sogar visuellen Elementen aus PDFs. Sie baut auf PDFMiner auf und bietet eine benutzerfreundlichere API.
import pdfplumber
def extract_text_from_pdf(file_path):
with pdfplumber.open(file_path) as pdf:
first_page = pdf.pages[0]
text = first_page.extract_text()
return text
print(extract_text_from_pdf('Beispiel.pdf'))
Jede dieser Bibliotheken hat ihre eigenen Stärken und Schwächen, und die beste Wahl hängt von den Details der vorliegenden Aufgabe ab. Bitte bewerten Sie sorgfältig Ihre Anforderungen und die PDF-Dateien, mit denen Sie arbeiten, wenn Sie eine Bibliothek auswählen.
Konfuzio SDK
Konfuzio ist ein ausgefeiltes Software-Entwicklungskit (SDK), das hilft, Daten aus komplexen und unstrukturierten Dokumenten zu parsen, einschließlich PDFs. Die Stärke von Konfuzio liegt in seiner Fähigkeit, maschinelles Lernen für die Informationsextraktion zu nutzen. Es ist nicht nur ein Textextraktor – es kann den Kontext und die Beziehungen in Ihrem Dokument verstehen.
Hier geht es zu den PDF Tutorials mit dem Python SDK von Konfuzio.
Andere Datenparser in Python
Jenseits von PDFs bietet Python eine Fülle von Bibliotheken zum Parsen verschiedener Datenformate. Hier sind ein paar Beispiele.
CSV-Parsing: pandas
Die pandas-Bibliothek ist ein leistungsfähiges Werkzeug zur Datenmanipulation, das auch das Parsen von CSV-Dateien vereinfacht:
import pandas as pd
def parse_csv(file_path):
df = pd.read_csv(file_path)
return df
df = parse_csv('example.csv')
print(df.head())
Dieses Skript liest eine CSV-Datei in einen pandas DataFrame ein, der eine 2-dimensionale beschriftete Datenstruktur mit möglicherweise unterschiedlichen Spaltentypen ist.
HTML-Parsing: Beautiful Soup
Beautiful Soup ist eine Python-Bibliothek, die zum Zweck des Web-Scrapings verwendet wird, um Daten aus HTML- und XML-Dateien zu ziehen.
from bs4 import BeautifulSoup
import requests
def parse_html(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
return soup
soup = parse_html('https://www.example.com')
print(soup.prettify())
Dieses Skript holt den HTML-Inhalt einer Webseite und parst ihn in ein BeautifulSoup-Objekt, das Sie durchsuchen können, um Daten zu extrahieren.
JSON-Parsing: json
Die Standardbibliothek von Python enthält das json-Modul, das Ihnen das Kodieren und Parsen von JSON-Daten ermöglicht.
import json
def parse_json(json_string):
data = json.loads(json_string)
return data
data = parse_json('{"key": "value"}')
print(data)
Dieses Skript parst eine JSON-Zeichenkette in ein Python-Wörterbuch.
Schlussfolgerung
In diesem Artikel haben wir nur an der Oberfläche des Datenparsings in Python gekratzt. Abhängig von Ihren spezifischen Bedürfnissen und der Komplexität Ihrer Daten müssen Sie möglicherweise auch andere Bibliotheken und Tools in Betracht ziehen. Die hier bereitgestellten Pakete und Beispiele sollten Ihnen jedoch einen guten Ausgangspunkt für die meisten gängigen Daten-Parsing-Aufgaben bieten.
