Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 1

Slide 1 text

Generative AI Infodays Bonn 27.5.-29.5.24 Transparente AI: Tracing- und Debugging- Techniken für LLM-Anwendungen Marco Frodl [email protected] Principal Consultant for Generative AI @marcofrodl

Slide 2

Slide 2 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen Our GenAI Demo RAG-App Building Blocks Streamlit Vector- DB Python LLM LangChain

Slide 3

Slide 3 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen How to Debug/Trace Generative AI-Apps?

Slide 4

Slide 4 text

Generative AI Advanced RAG - AI-based Retriever Selection About Me Marco Frodl Principal Consultant for Generative AI Thinktecture AG X: @marcofrodl E-Mail: [email protected] https://www.thinktecture.com/thinktects/marco-frodl/

Slide 5

Slide 5 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen Demo: RAG-App (with Issues)

Slide 6

Slide 6 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 7

Slide 7 text

Definition & Details Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen LangChain Callbacks LangChain provides a callbacks system that allows you to hook into the various stages of your LLM application. This is useful for logging, monitoring, streaming, and other tasks. CallbackHandlers are objects that implement the CallbackHandler interface, which has a method for each event that can be subscribed to. The CallbackManager will call the appropriate method on each handler when the event is triggered. https://python.langchain.com/v0.1/docs/modules/callbacks/

Slide 8

Slide 8 text

Definition & Details Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen LangChain Callbacks https://python.langchain.com/v0.1/docs/modules/callbacks/

Slide 9

Slide 9 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen Demo: RAG-App (with Tracing)

Slide 10

Slide 10 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 11

Slide 11 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 12

Slide 12 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 13

Slide 13 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 14

Slide 14 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 15

Slide 15 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 16

Slide 16 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 17

Slide 17 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Slide 18

Slide 18 text

Generative AI Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen Pricing for Langfuse and LangSmith

Slide 19

Slide 19 text

Thank you! Any questions? Marco Frodl @marcofrodl Principal Consultant for Generative AI