LLMs im Griff: Observability, Tracing und Security

Der Einsatz von LLMs oder GenAI stellt neue Anforderungen an Observability. Ein- und Ausgaben von LLMs sind absolut unvorhersehbar, gerade im Einsatz in der Kundenkommunikation (z. B. als Chatbot). Dem Tracing kommt hier eine wesentlich Bedeutung zu, da so komplette Chatverläufe nachvollzogen werden können. In diesem Vortrag beleuchte ich neue Werkzeuge, die uns helfen, den Einsatz von LLMs in Java Microservices zu überwachen. Ich stelle Langfuse als spezialisierte Tracing-Lösung vor und beleuchte, wie eigene Metriken in Langchain4j erhoben werden können. Ich zeige, wie aktuelle Verbrauchsmetriken z. B. von Google Gemini in Prometheus überführt werden können, um gezielt zu alarmieren. Ich zeige, wie wir verhindern, dass sensible Daten im Tracing landen und wie wir Securityangriffe detailliert nachvollziehen können. Denn: Tracing und Security gehen im speziellen Chatbotumfeld Hand in Hand.

Transcript

1. Torsten Bøgh Köster (@tboeghk) LLMs im Griff
2. @tboeghk
3. Recap: Observability Observability for LLM apps Tracing LLM apps Beyond tracing
4. Can you understand what's happening inside your systems, just by asking questions from the outside? Can you answer new questions without shipping new code?
7. 🪵 Must: annotated log messages
8. Must: rich default metrics instance 🤖 cloud ⛅ app 🚀
9. Observability for LLM applications
11. ➡ Prompt injection
12. ➡ Non-determinstic
13. Motication: OWASP Top 10 ➡ Dedicated OWASP top 10
14. ➡ External infrastructure
15. ➡ Function calling accuracy
16. ➡ Knowledge cut-off
17. How do we tackle this?
18. ♻ Forget logs
19. 💡 LLM provider metrics 💡 LLM application metrics 🤷 LLM interactions
20. 💡 LLM provider metrics
22. 💡 LLM application metrics
24. 🤷 LLM interactions
25. 🛟 Tracing to the rescue
26. de-facto standard OTEL
27. OTEL Span Format
28. Otel GenAI Attributes
30. Langfuse integration via OTEL
31. 🪧 Demo time
33. 🪧 Langfuse Demo
34. Taming LLMs beyond tracing
35. ✅ Acceptance testing ✅ ✅ ✅
36. ✅ RAG evaluation Wieviel Milch sollte ein 9 T age alter Säugling pro Mahlzeit trinken und wieviele Mahlzeiten benötigt er in 24h? Query extraction? Correct selection? Best Embeddings? Best Embeddings? Documents chunked? Document contents? Context used? What part of context used? Context hallucinated? Response quality? Context correctly cited?
38. ✅ LLM as a judge
39. ✅ Red team testing
40. ✅ Red team testing
41. ✅ Red team testing
42. 🪧 Promptfoo demo
43. Conclusion