BASTA! Spring 2024: Generative AI: Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl

Retrieval Augmented Generation (RAG) ist einer der am stärksten nachgefragten Use-Cases für Generative AI und Large Language Models. Dabei werden semantisch passende Informationsfragmente zu einer Userfrage in Vektor-DBs bzw. einem Retriever gesucht und von der AI zu einer passenden Antwort zusammengefasst. In Unternehmen gibt es jedoch häufig nicht nur eine, sondern viele Datenquellen mit unterschiedlichen Datenarten verteilt über verschiedene Hosting-Modelle. Da die Abfrage aller Quellen keine gute Idee wäre, braucht es eine Entscheidung für die richtige Quelle - hier kann Generative AI helfen, die Userfrage zu analysieren und mit den besten Suchparametern nur gegen die optimal Datenquelle zu lenken, um so die Qualität der Antworten zu verbessern. Marco Frodl von der Thinktecture AG zeigt in dieser Session wie mit dem Python Framework LangChain die Implementierung der dafür notwendigen MultiRetrievalQA-Chain kurz und elegant gelingt.

Transcript

1. Advanced RAG Strategies for Optimal Retrieval System Selection in Generative AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Marco Frodl Principal Consultant for Generative AI @marcofrodl
2. Special Day Generative AI für Business-Anwendungen Thema Sprecher Datum, Uhrzeit Generative AI: Large Language Models – Szenarien, Use Cases und Patterns für Business-Anwendungen Christian Weyer DI, 13. Februar 2024, 10.45 bis 11.45 Generative AI: A Story About LLM Prompting (and how Tools like TypeChat Can Help) Rainer Stropek DI, 13. Februar 2024, 12.15 bis 13.15 Generative AI: Semantische Suche und LLMs jenseits des Hello World- RAG-Tutorials Sebastian Gingter DI, 13. Februar 2024, 15.30 bis 16.30 Generative AI: Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Marco Frodl DI, 13. Februar 2024, 17.00 bis 18.00 Generative AI: Private GPT LLMs: Azure OpenAI Service sicher deployen mit Terraform Kenny Pflug DI, 13. Februar 2024, 19.00 bis 20.00
3. Why is it important? Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Generative AI User Input AI Processing Generated Output OpenAI GPTx DALL-E 3 GPT-4 Vision Whisper Text Text Text-to-Speech (TTS-1) Natural language is our new code
4. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl What is RAG? https://aws.amazon.com/what-is/retrieval-augmented-generation/ RAG = Ingestion + Retrieval
5. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: RAG
6. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl
7. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl About Me Marco Frodl Principal Consultant for Generative AI Thinktecture AG X: @marcofrodl E-Mail: marco.frodl@thinktecture.com https://www.thinktecture.com/thinktects/marco-frodl/
8. Ingestion Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell Splitted (smaller) parts Embedding- Model Embedding 𝑎 𝑏 𝑐 … Vector- Database Document Metadata: Reference to original document
9. Our sample content Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell
10. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: Ingestion
11. Similarity search in a Vector DB Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell
12. Ingestion++ HyQE: Hypothetical Question Embedding Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple Advanced RAG in a nutshell LLM, e.g. GPT-3.5-turbo Transformed document Write 3 questions, which are answered by the following document. Chunk of Document Embedding- Model Embedding 𝑎 𝑏 𝑐 … Vector- Database Metadata: content of original chunk
13. Ask me anything Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG Question Prepare Search Search Results Question Answer LLM Vector DB Embedding Model Question as Vector Workflow Terms - Retriever - Chain Elements Embedding- Model Vector- DB Python LLM Langchain 🦜🔗
14. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: Simple RAG
15. Similarity search in a Vector DB – Limits with K Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell
16. Similarity search in a Vector DB – Threshold Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Simple RAG in a nutshell
17. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl How to Debug/Trace Generative AI-Apps?
18. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: Debugging
19. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl GenAI Observability
20. Just one Vector DB? Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl What’s wrong with Simple RAG?
21. Just one Vector DB/Retriever? • Multiple Generative AI-Apps • Scaling and Load Balancing • Query Parameter per Retriever • Hosting (Environment, Product) • Fast Updates & Re-Indexing • Access Rights • Custom Retriever Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl What’s wrong with Simple RAG? On-Premise AI-Apps Cloud Docs Public Tickets Features Website Sales Docs Internal Tickets 🦜🔗 ✅ ✅ ✅
22. Best source determination before the search Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG Question Retriever Selection 0-N Search Results Question Answer LLM Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or
23. Best source determination before the search Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG Retriever Selection LLM Vector DB A Vector DB B or
24. Best source determination before the search Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG Question Retriever Selection 0-N Search Results Question Answer LLM Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or Question Prepare Search Search Results Question Answer LLM Vector DB Embedding Model Question as Vector
25. Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Demo: Dynamic Retriever Selection with AI P
26. Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG
27. Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG
28. Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG
29. Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG
30. Dynamic Retriever Selection with AI Generative AI Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Advanced RAG
31. Thank you! Any questions? Marco Frodl @marcofrodl Principal Consultant for Generative AI