LLMs im Griff: Observability, Tracing und Security

Der Einsatz von LLMs oder GenAI stellt neue Anforderungen an Observability. Ein- und Ausgaben von LLMs sind absolut unvorhersehbar, gerade im Einsatz in der Kundenkommunikation (z. B. als Chatbot). Dem Tracing kommt hier eine wesentlich Bedeutung zu, da so komplette Chatverläufe nachvollzogen werden können. In diesem Vortrag beleuchte ich neue Werkzeuge, die uns helfen, den Einsatz von LLMs in Java Microservices zu überwachen. Ich stelle Langfuse als spezialisierte Tracinglösung vor und beleuchte, wie eigene Metriken in Langchain4j erhoben werden können. Ich zeige, wie aktuelle Verbrauchsmetriken z. B. von Google Gemini in Prometheus überführt werden können, um gezielt zu alarmieren. Ich zeige, wie wir verhindern, dass sensitive Daten im Tracing landen und wie wir Securityangriffe detailliert nachvollziehen können. Denn: Tracing und Security geht im speziellen Chatbot-Umfeld Hand in Hand.

Transcript

1. Torsten Bøgh Köster (@tboeghk) LLMs im Glriff
2. @tboeghk
3. Recap: Observability Observability for LLM apps Tracing LLM apps Beyond tracing
4. Can you understand what's happening inside your systems, just by asking questions from the outside? Can you answer new questions without shipping new code?
9. Observability for LLM applications
11. ➡ Prompt injection
12. ➡ Non-determinstic
13. Motication: OWASP Top 10 ➡ Dedicated OWASP top 10
14. ➡ External infrastructure
15. ➡ Function calling accuracy
16. ➡ Knowledge cut-off
17. How do we tackle this?
18. ♻ Forget logs
19. 💡 LLM provider metrics
21. 💡 LLM application metrics
23. 🤷 LLM interactions
24. 🛟 Tracing to the rescue
25. Otel Span Format
26. Otel GenAI Attributes
28. 🪧 Demo time
30. Langfuse integration via OTEL
31. 🪧 Langfuse Demo
32. Taming LLMs beyond tracing
33. ✅ Acceptance testing ✅ ✅ ✅
34. ✅ RAG evaluation Wieviel Milch sollte ein 9 T age alter Säugling pro Mahlzeit trinken und wieviele Mahlzeiten benötigt er in 24h? Query extraction? Correct selection? Best Embeddings? Best Embeddings? Documents chunked? Document contents? Context used? What part of context used? Context hallucinated? Response quality? Context correctly cited?
35. ✅ LLM as a judge
36. ✅ Red team testing
38. 🪧 Promptfoo demo
39. Conclusion