OOP 2025: Generative AI: LLM-basierte Anwendungen - Top Patterns & Lösungen für nahtlose Integration
Slide 1
Slide 1 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen
für nahtlose Integration
Christian Weyer | Co-Founder & CTO | Thinktecture AG | [email protected]
Slide 2
Slide 2 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
LLM-
ALL-THE-THINGS?
2
Slide 3
Slide 3 text
Language Models
understand and generate
semantically rich human language,
transforming it into
text or structured data
for both humans and machines.
Embedding Models
capture semantic meaning
by encoding human language into
numerical vector representations,
facilitating understanding,
comparison, and retrieval
for both humans and machines.
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
3
🫱
🫲
Semantic AI
Slide 4
Slide 4 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
MODELS FOR OUR
SOFTWARE
4
Slide 5
Slide 5 text
§ Language models (LLMs, SLMs)
are always part of end-to-end
architectures
§ Everything goes into LM’s context
via API calls
§ System prompt
§ User query
§ LMs enable human language as a first-class citizen 🤯
§ Extending access possibilities to our software
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
End-to-end integration
5
Clients
Services
LLMs
Desktop Web
Mobile
Service A
Service B
Service C
API Gateway
Monitoring
LLM 1
LLM 2
Slide 6
Slide 6 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
Classical applications & UIs
6
Slide 7
Slide 7 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
EXTENDED
END-TO-END
SOLUTIONS
7
Slide 8
Slide 8 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
8
C4 system context
diagram
Slide 9
Slide 9 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
PATTERN
RAG
(RETRIEVAL-AUGMENTED GENERATION)
9
Slide 10
Slide 10 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
“Talk to your data”
Cleanup & Split Text Embedding
Question
Text Embedding
Save
Query
Relevant Results
Question
Answ
er
LLM
10
Embedding
Model
Embedding
Model 💡
Indexing / Embedding Question Answering
.md, .docx,
.pdf etc.
“Lorem ipsum…?”
💡
Vector DB
Slide 11
Slide 11 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
PATTERN
STRUCTURED OUTPUT
11
Slide 12
Slide 12 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
Structured data from unstructured input - for API calling
12
“OK, when is
my colleague
CW available
for a two-
days
workshop?”
System
Prompt
(with employee
data)
+
Schema /
Function
Calling
(for structured
output)
(Web) API
for Availability
business logic
Slide 13
Slide 13 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
PATTERN
SEMANTIC GUARDING
& ROUTING
13
Slide 14
Slide 14 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
Semantics-based decisions for user interactions
14
Guarding
(e.g. prompt injection)
Routing
(selecting correct target)
“Lorem
ipsum…?”
Semantic Engine
(Fine-tuned
Language Model,
Embedding Model)
Target
RAG 1
Target
Structured Output
&
API Call
Target
RAG 2
Slide 15
Slide 15 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
PATTERN / SOLUTION
OBSERVABILITY
15
Slide 16
Slide 16 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
Things can get… overwhelming
16
Slide 17
Slide 17 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
End-to-end tracing - with OpenTelemetry
17
Slide 18
Slide 18 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
END-TO-END
SOLUTION
ILLUSTRATED
18
Slide 19
Slide 19 text
Semantic
routing
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
"Talk to your systems”
19
Web App / Watch App Speech-to-Text Internal Gateway
(Python FastAPI)
LLM / SLM
Text-to-Speech
Transcribe
spoken text
Transcribed
text
Check for experts availability
with text
Extract { experts, booking times }
from text
Structured JSON data
(Function calling)
Generate response with
availability
Response
Response with experts availability
🔉 Speech-to-text for
response
Response audio
Internal Business API
(node.js – veeeery old)
Query
Availability API
Availability
When is
CL…?
CL will
be…
Slide 20
Slide 20 text
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
Recap: Top Semantic AI patterns & solutions –
for end-to-end software engineering
20
RAG
(Retrieval-Augmented
Generation)
Structured
Output
Semantic
Guarding &
Routing
Observability
Slide 21
Slide 21 text
Thank you!
Christian Weyer
https://thinktecture.com/christian-weyer
[email protected]
21
Slide 22
Slide 22 text
§ Technology catalyst
§ AI-powered solutions
§ Pragmatic end-to-end architectures
§ Microsoft Regional Director
§ Microsoft MVP for AI
§ Google GDE for Web AI
[email protected] @christianweyer https://www.thinktecture.com
Generative AI: LLM-basierte Anwendungen
Top Patterns & Lösungen für nahtlose Integration
Christian Weyer
Co-Founder & CTO @ Thinktecture AG
22