Advanced RAG Strategies for Optimal Retrieval System Selection in Generative AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Marco Frodl Principal Consultant for Generative AI @marcofrodl

Special Day Generative AI für Business-Anwendungen Thema Sprecher Datum, Uhrzeit Generative AI: Large Language Models – Szenarien, Use Cases und Patterns für Business-Anwendungen Christian Weyer DI, 13. Februar 2024, 10.45 bis 11.45 Generative AI: A Story About LLM Prompting (and how Tools like TypeChat Can Help) Rainer Stropek DI, 13. Februar 2024, 12.15 bis 13.15 Generative AI: Semantische Suche und LLMs jenseits des Hello World- RAG-Tutorials Sebastian Gingter DI, 13. Februar 2024, 15.30 bis 16.30 Generative AI: Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Marco Frodl DI, 13. Februar 2024, 17.00 bis 18.00 Generative AI: Private GPT LLMs: Azure OpenAI Service sicher deployen mit Terraform Kenny Pflug DI, 13. Februar 2024, 19.00 bis 20.00

Why is it important? Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Generative AI User Input AI Processing Generated Output OpenAI GPTx DALL-E 3 GPT-4 Vision Whisper Text Text Text-to-Speech (TTS-1) Natural language is our new code

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl What is RAG? https://aws.amazon.com/what-is/retrieval-augmented-generation/ RAG = Ingestion + Retrieval

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: RAG

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl About Me Marco Frodl Principal Consultant for Generative AI Thinktecture AG X: @marcofrodl E-Mail: [email protected] https://www.thinktecture.com/thinktects/marco-frodl/

Ingestion Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell Splitted (smaller) parts Embedding- Model Embedding 𝑎 𝑏 𝑐 … Vector- Database Document Metadata: Reference to original document

Our sample content Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: Ingestion

Similarity search in a Vector DB Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell

Ingestion++ HyQE: Hypothetical Question Embedding Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple Advanced RAG in a nutshell LLM, e.g. GPT-3.5-turbo Transformed document Write 3 questions, which are answered by the following document. Chunk of Document Embedding- Model Embedding 𝑎 𝑏 𝑐 … Vector- Database Metadata: content of original chunk

Ask me anything Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG Question Prepare Search Search Results Question Answer LLM Vector DB Embedding Model Question as Vector Workflow Terms - Retriever - Chain Elements Embedding- Model Vector- DB Python LLM Langchain 🦜🔗

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: Simple RAG

Similarity search in a Vector DB – Limits with K Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell

Similarity search in a Vector DB – Threshold Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl How to Debug/Trace Generative AI-Apps?

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: Debugging

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl GenAI Observability

Just one Vector DB? Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl What’s wrong with Simple RAG?

Just one Vector DB/Retriever? • Multiple Generative AI-Apps • Scaling and Load Balancing • Query Parameter per Retriever • Hosting (Environment, Product) • Fast Updates & Re-Indexing • Access Rights • Custom Retriever Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl What’s wrong with Simple RAG? On-Premise AI-Apps Cloud Docs Public Tickets Features Website Sales Docs Internal Tickets 🦜🔗 ✅ ✅ ✅

Best source determination before the search Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG Question Retriever Selection 0-N Search Results Question Answer LLM Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or

Best source determination before the search Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG Retriever Selection LLM Vector DB A Vector DB B or

Best source determination before the search Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG Question Retriever Selection 0-N Search Results Question Answer LLM Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or Question Prepare Search Search Results Question Answer LLM Vector DB Embedding Model Question as Vector

Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: Dynamic Retriever Selection with AI P

Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG

Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG

Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG

Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG

Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG

Thank you! Any questions? Marco Frodl @marcofrodl Principal Consultant for Generative AI