OOP 2025: Generative AI: LLM-basierte Anwendungen - Top Patterns & Lösungen für nahtlose Integration

Generative Al jenseits des Buzzword-Bingos. In diesem Vortrag präsentiert Christian Weyer konkrete Patterns und Lösungen für die Integration von Large Language Models (LLMs) in eigene Softwarearchitekturen. Wichtige Themen wie Semantic Routing, RAG, Structured Output oder Observability werden mit Code-Beispielen illustriert. Es erwartet Entwickler und Architekten ein pragmatischer Einblick zur Umsetzung in eigenen Projekten.

Transcript

1. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration Christian Weyer | Co-Founder & CTO | Thinktecture AG | christian.weyer@thinktecture.com
2. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration LLM- ALL-THE-THINGS? 2
3. Language Models understand and generate semantically rich human language, transforming it into text or structured data for both humans and machines. Embedding Models capture semantic meaning by encoding human language into numerical vector representations, facilitating understanding, comparison, and retrieval for both humans and machines. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration 3 🫱 🫲 Semantic AI
4. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration MODELS FOR OUR SOFTWARE 4
5. § Language models (LLMs, SLMs) are always part of end-to-end architectures § Everything goes into LM’s context via API calls § System prompt § User query § LMs enable human language as a first-class citizen 🤯 § Extending access possibilities to our software Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration End-to-end integration 5 Clients Services LLMs Desktop Web Mobile Service A Service B Service C API Gateway Monitoring LLM 1 LLM 2
6. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration Classical applications & UIs 6
7. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration EXTENDED END-TO-END SOLUTIONS 7
8. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration 8 C4 system context diagram
9. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration PATTERN RAG (RETRIEVAL-AUGMENTED GENERATION) 9
10. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration “Talk to your data” Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Results Question Answ er LLM 10 Embedding Model Embedding Model 💡 Indexing / Embedding Question Answering .md, .docx, .pdf etc. “Lorem ipsum…?” 💡 Vector DB
11. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration PATTERN STRUCTURED OUTPUT 11
12. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration Structured data from unstructured input - for API calling 12 “OK, when is my colleague CW available for a two- days workshop?” System Prompt (with employee data) + Schema / Function Calling (for structured output) (Web) API for Availability business logic
13. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration PATTERN SEMANTIC GUARDING & ROUTING 13
14. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration Semantics-based decisions for user interactions 14 Guarding (e.g. prompt injection) Routing (selecting correct target) “Lorem ipsum…?” Semantic Engine (Fine-tuned Language Model, Embedding Model) Target RAG 1 Target Structured Output & API Call Target RAG 2
15. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration PATTERN / SOLUTION OBSERVABILITY 15
16. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration Things can get… overwhelming 16
17. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration End-to-end tracing - with OpenTelemetry 17
18. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration END-TO-END SOLUTION ILLUSTRATED 18
19. Semantic routing Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration "Talk to your systems” 19 Web App / Watch App Speech-to-Text Internal Gateway (Python FastAPI) LLM / SLM Text-to-Speech Transcribe spoken text Transcribed text Check for experts availability with text Extract { experts, booking times } from text Structured JSON data (Function calling) Generate response with availability Response Response with experts availability 🔉 Speech-to-text for response Response audio Internal Business API (node.js – veeeery old) Query Availability API Availability When is CL…? CL will be…
20. Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration Recap: Top Semantic AI patterns & solutions – for end-to-end software engineering 20 RAG (Retrieval-Augmented Generation) Structured Output Semantic Guarding & Routing Observability
21. Thank you! Christian Weyer https://thinktecture.com/christian-weyer christian.weyer@thinktecture.com 21
22. § Technology catalyst § AI-powered solutions § Pragmatic end-to-end architectures § Microsoft Regional Director § Microsoft MVP for AI § Google GDE for Web AI christian.weyer@thinktecture.com @christianweyer https://www.thinktecture.com Generative AI: LLM-basierte Anwendungen Top Patterns & Lösungen für nahtlose Integration Christian Weyer Co-Founder & CTO @ Thinktecture AG 22