Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Wir tauchen tief in die Welt des Tracings und Debuggings generativer KI-Anwendungen ein, um die oft als "Black Box" wahrgenommenen Prozesse zugänglicher und transparenter zu machen. Mit Fokus auf modernen Large Language Models (LLMs) und deren Anwendungen, werden wir an praktischen Beispielen die effektive Nutzung von Werkzeugen wie LangFuse und LangSmith zur Beobachtung, Analyse und Verbesserung dieser Systeme betrachten.

Los geht es mit einer Einführung in die Herausforderungen beim Debugging generativer AI-Workflows und wie diese mit den fortschrittlichen Funktionen von LangFuse und LangSmith bewältigt werden können. Der Schwerpunkt liegt dabei auf der zunehmenden Komplexität von LLM-Anwendungen, die umfangreiche Abstraktionen wie dynamische Prompts, Antworten von Retrievern und Tools, komplexe Chains und Agents nutzen. Hier können die verschachtelten Traces in LangFuse oder LangSmith dabei helfen, das Geschehen besser zu verstehen und die Ursachen von Problemen zu ergründen. Anschließend gehen wir auf die Analyse und das Tracking von Metriken wie Kosten, Latenzzeiten und Qualität der LLMs ein.

Ziel des Talks ist es, den Teilnehmern die Werkzeuge und Kenntnisse an die Hand zu geben, um ihre generativen AI-Workflows effizienter zu gestalten und die Transparenz und Kontrolle über ihre KI-Systeme zu erhöhen.

Transcript

1. Generative AI Infodays Bonn 27.5.-29.5.24 Transparente AI: Tracing- und Debugging- Techniken für LLM-Anwendungen Marco Frodl marco.frodl@thinktecture.com Principal Consultant for Generative AI @marcofrodl
2. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen Our GenAI Demo RAG-App Building Blocks Streamlit Vector- DB Python LLM LangChain
3. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen How to Debug/Trace Generative AI-Apps?
4. Generative AI Advanced RAG - AI-based Retriever Selection About Me Marco Frodl Principal Consultant for Generative AI Thinktecture AG X: @marcofrodl E-Mail: marco.frodl@thinktecture.com https://www.thinktecture.com/thinktects/marco-frodl/
5. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen Demo: RAG-App (with Issues)
6. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
7. Definition & Details Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen LangChain Callbacks LangChain provides a callbacks system that allows you to hook into the various stages of your LLM application. This is useful for logging, monitoring, streaming, and other tasks. CallbackHandlers are objects that implement the CallbackHandler interface, which has a method for each event that can be subscribed to. The CallbackManager will call the appropriate method on each handler when the event is triggered. https://python.langchain.com/v0.1/docs/modules/callbacks/
8. Definition & Details Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen LangChain Callbacks https://python.langchain.com/v0.1/docs/modules/callbacks/
9. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen Demo: RAG-App (with Tracing)
10. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
11. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
12. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
13. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
14. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
15. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
16. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
17. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen
18. Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen Pricing for Langfuse and LangSmith
19. Thank you! Any questions? Marco Frodl @marcofrodl Principal Consultant for Generative AI