PDFs bezwingen: Dokumentenanalyse über reinen Text hinaus

Talk for Bitkom e.V. AK Legal Tech (Berlin, 10.12.2025)

NLP und Data Science könnten so einfach sein, wenn all unsere Daten als sauberer, reiner Text vorlägen. Doch in der Praxis sind sie meist versteckt in PDFs, Word-Dokumenten, Scans und anderen Formaten, deren Verarbeitung sich als Albtraum erwiesen hat. In diesem Talk präsentiere ich einen neuen, modularen Ansatz für die Entwicklung von robusten Systemen für Dokumentenanalyse mit Hilfe von modernsten Modellen und dem großartigen Python-Ökosystem. Ich zeige, wie wir von PDFs zu strukturierten Daten gelangen und sogar vollständig benutzerdefinierte Informationsextraktions-Pipelines für spezifische Anwendungsfälle aus der Praxis erstellen können.

Für die praktischen Beispiele verwende ich spaCy, sowie die Bibliothek und Layoutanalysemodelle von Docling. Ich thematisiere außerdem optische Zeichenerkennung (OCR) für bildbasierten Text, die Verwendung von bewährten NLP-Techniken, und Strategien zur Erstellung von Trainings- und Evaluationsdaten für Informationsextraktionsaufgaben wie Textklassifizierung und Entitätserkennung anhand von PDFs und anderen Dokumenten.

Blogpost: https://explosion.ai/blog/pdfs-nlp-structured-data

Transcript

1. Dokumentenanalyse über reinen Text hinaus Ines Montani Explosion
2. Softwarefirma spezialisiert auf Entwicklertools für KI, Machine Learning und NLP explosion.ai Gründung Ines Montani Gründerin & CEO
3. Open-Source-Bibliothek für industriestarkes Natural Language Processing spacy.io Downloads
4. Open-Source-Bibliothek für industriestarkes Natural Language Processing spacy.io LLMs können spaCy-Code schreiben! Downloads
5. Modernes und skriptbares Annotationstool für Machine-Learning- Entwicklung prodigy.ai Firmen Nutzer:innen
6. Modernes und skriptbares Annotationstool für Machine-Learning- Entwicklung prodigy.ai Alex Smith Entwicklerin Kim Miller Analyst GPT-5 API Firmen Nutzer:innen
7. Dokumente
8. Unternehmen wollen elektronische Kopien, die Papierdokumente 1:1 abbilden. Dokumente
9. Unternehmen wollen elektronische Kopien, die Papierdokumente 1:1 abbilden. Dokumente
10. Dokumente “Source of Truth”
11. “Ich habe die Daten in einem PDF.” “Ich habe die Daten auf meinem Computer.” Dokumente “Source of Truth”
12. explosion.ai/blog/human-in-the-loop-distillation Im Kern bestehen viele NLP-Systeme aus flachen Klassifizierungen. Wir können diese in einen einzelnen Prompt packen, oder sie in kleinere Teile zerlegen. Viele Klassifizierungsaufgaben lassen sich heutzutage einfach lösen – aber sie werden viel komplexer, wenn ein Modell sie alle gleichzeitig bearbeiten muss.
13. docling-project.github.io/docling Open-Source-Bibliothek und Modelle für Dokumenten- verarbeitung Docling Technical Report (Auer et al., 2024)
14. docling-project.github.io/docling einheitliches strukturiertes Format DoclingDocument Open-Source-Bibliothek und Modelle für Dokumenten- verarbeitung Docling Technical Report (Auer et al., 2024)
15. docling-project.github.io/docling einheitliches strukturiertes Format DoclingDocument Open-Source-Bibliothek und Modelle für Dokumenten- verarbeitung Docling Technical Report (Auer et al., 2024) genau wie spaCys Doc-Objekt
16. github.com/explosion/spacy-layout
17. github.com/explosion/spacy-layout
18. github.com/explosion/spacy-layout verarbeite und erstelle ein spaCy Doc
19. github.com/explosion/spacy-layout textbasierter Inhalt verarbeite und erstelle ein spaCy Doc
20. github.com/explosion/spacy-layout textbasierter Inhalt Dokumentenlayout verarbeite und erstelle ein spaCy Doc
21. github.com/explosion/spacy-layout textbasierter Inhalt Dokumentenlayout verarbeite und erstelle ein spaCy Doc
22. github.com/explosion/spacy-layout textbasierter Inhalt Layout-Sektionen Dokumentenlayout verarbeite und erstelle ein spaCy Doc
23. github.com/explosion/spacy-layout textbasierter Inhalt Layout-Sektionen Dokumentenlayout Inhalt, Tokens, O sets verarbeite und erstelle ein spaCy Doc
24. github.com/explosion/spacy-layout textbasierter Inhalt Layout-Sektionen Sektions-Typ Dokumentenlayout Inhalt, Tokens, O sets verarbeite und erstelle ein spaCy Doc
25. github.com/explosion/spacy-layout textbasierter Inhalt Layout-Sektionen Sektions-Typ Dokumentenlayout Bounding Box Inhalt, Tokens, O sets verarbeite und erstelle ein spaCy Doc
26. github.com/explosion/spacy-layout PDF
27. github.com/explosion/spacy-layout Transformer-basierte Pipeline für Englisch PDF
28. github.com/explosion/spacy-layout Transformer-basierte Pipeline für Englisch PDF Doc-Objekt Verarbeitung
29. github.com/explosion/spacy-layout Transformer-basierte Pipeline für Englisch PDF wende Pipeline auf Doc an Doc-Objekt NLP-Pipeline Doc-Objekt Verarbeitung
30. github.com/explosion/spacy-layout Doc-Objekt Entitäten, Wortarten, syntaktische Beziehungen, … Transformer-basierte Pipeline für Englisch PDF wende Pipeline auf Doc an Doc-Objekt NLP-Pipeline Doc-Objekt Verarbeitung
32. Layout- analyse Natural Language Processing
33. explosion.ai/blog/pdfs-nlp-structured-data
34. explosion.ai/blog/pdfs-nlp-structured-data Doc-Objekt Verarbeitung PDF
35. explosion.ai/blog/pdfs-nlp-structured-data Doc-Objekt Verarbeitung PDF Doc-Objekt NLP-Pipeline
36. explosion.ai/blog/pdfs-nlp-structured-data Doc-Objekt Verarbeitung PDF Doc-Objekt NLP-Pipeline Annotation
37. explosion.ai/blog/pdfs-nlp-structured-data Doc-Objekt Verarbeitung PDF Doc-Objekt NLP-Pipeline Annotation Transfer Learning
38. explosion.ai/blog/pdfs-nlp-structured-data Doc-Objekt Verarbeitung PDF Doc-Objekt NLP-Pipeline Annotation Transfer Learning Prüfe die Rolle von Layout-Features Wie wichtig sind sie wirklich? Was können wir abstrahieren, um besser zu generalisieren?
39. prodigy.ai/docs/plugins $ prodigy pdf.spans.manual papers blank:en ./pdfs -- label EVENT,PLACE -- focus text,list_item
40. prodigy.ai/docs/plugins $ prodigy pdf.spans.manual papers blank:en ./pdfs -- label EVENT,PLACE -- focus text,list_item Rezept
41. prodigy.ai/docs/plugins $ prodigy pdf.spans.manual papers blank:en ./pdfs -- label EVENT,PLACE -- focus text,list_item Rezept Input-Daten
42. prodigy.ai/docs/plugins $ prodigy pdf.spans.manual papers blank:en ./pdfs -- label EVENT,PLACE -- focus text,list_item Rezept Input-Daten Sektionen
43. prodigy.ai/docs/plugins $ prodigy pdf.spans.manual papers blank:en ./pdfs -- label EVENT,PLACE -- focus text,list_item Rezept Input-Daten Sektionen
44. prodigy.ai/docs/plugins $ prodigy pdf.spans.manual papers blank:en ./pdfs -- label EVENT,PLACE -- focus text,list_item Rezept Input-Daten Sektionen gespeichert in Datenset
45. $ prodigy train ./models -- ner papers - - eval-split 0.3
46. $ prodigy train ./models -- ner papers - - eval-split 0.3 Output
47. $ prodigy train ./models -- ner papers - - eval-split 0.3 Output Datenset
48. $ prodigy train ./models -- ner papers - - eval-split 0.3 Output Datenset % für Evaluation
49. $ prodigy train ./models -- ner papers - - eval-split 0.3 NLP-Modell Output Datenset % für Evaluation
50. $ prodigy train ./models -- ner papers - - eval-split 0.3 NLP-Modell Output Datenset wende PDF-Verarbeitung an % für Evaluation
51. $ prodigy train ./models -- ner papers - - eval-split 0.3 NLP-Modell Output Datenset wende PDF-Verarbeitung an wende Modell an % für Evaluation
52. $ prodigy train ./models -- ner papers - - eval-split 0.3 NLP-Modell Output Datenset wende PDF-Verarbeitung an wende Modell an skaliere Dokumentenverarbeitung Produktion % für Evaluation
53. aufgaben- spezifischer Output Prompt Input LLM GPT-5 API
54. aufgaben- spezifischer Output Prompt Input LLM GPT-5 API Input aufgaben- spezifischer Output
55. aufgaben- spezifischer Output Prompt Input LLM GPT-5 API Input aufgaben- spezifischer Output destillierte aufgabenspezifische Komponenten
56. aufgaben- spezifischer Output Prompt Input LLM GPT-5 API Input aufgaben- spezifischer Output destillierte aufgabenspezifische Komponenten modular
57. aufgaben- spezifischer Output Prompt Input LLM GPT-5 API Input aufgaben- spezifischer Output destillierte aufgabenspezifische Komponenten modular klein & schnell
58. aufgaben- spezifischer Output Prompt Input LLM GPT-5 API Input aufgaben- spezifischer Output destillierte aufgabenspezifische Komponenten modular klein & schnell datenprivat
59. aufgaben- spezifischer Output Prompt Input LLM GPT-5 API Input aufgaben- spezifischer Output destillierte aufgabenspezifische Komponenten modular klein & schnell datenprivat Fallstudie: S&P Global explosion.ai/blog/sp-global-commodities 6 MB Modellgröße 10× schnellere Datenentwicklung Hochsicherheitsumgebung
61. Arbeite mit einem einheitlichen, strukturierten Format und hole deine Daten so früh wie möglich aus PDFs. PDFs sind keine gute Quelle der Wahrheit
62. Kombiniere Dokumentenverarbeitung mit eigenständig entwickelten NLP-Komponenten. Modularität ist deine Superpower Arbeite mit einem einheitlichen, strukturierten Format und hole deine Daten so früh wie möglich aus PDFs. PDFs sind keine gute Quelle der Wahrheit
63. Kombiniere Dokumentenverarbeitung mit eigenständig entwickelten NLP-Komponenten. Modularität ist deine Superpower Modelle für Layoutanalyse werden stets besser, schneller and kleiner! Wir sind noch ganz am Anfang Arbeite mit einem einheitlichen, strukturierten Format und hole deine Daten so früh wie möglich aus PDFs. PDFs sind keine gute Quelle der Wahrheit
64. Kombiniere Dokumentenverarbeitung mit eigenständig entwickelten NLP-Komponenten. Modularität ist deine Superpower Modelle für Layoutanalyse werden stets besser, schneller and kleiner! Wir sind noch ganz am Anfang Arbeite mit einem einheitlichen, strukturierten Format und hole deine Daten so früh wie möglich aus PDFs. PDFs sind keine gute Quelle der Wahrheit Keine Kompromisse bei E ff izienz und Privatsphäre!
65. Explosion spaCy Prodigy Mastodon Bluesky explosion.ai spacy.io prodigy.ai @ines@sigmoid.social @inesmontani.bsky.social LinkedIn