Advanced RAG - AI-basierte Retriever-Auswahl mit Turbo durch Semantic Router

Retrieval Augmented Generation (RAG) verwendet Daten aus Retrieval-Systemen wie Vector-DBs, um die relevanten Informationen zur Beantwortung einer Benutzeranfrage zu finden. In Real-World-Szenarien geht es häufig um mehrere Quellen (Retriever) mit unterschiedlichen Datenarten. Um den zur Frage passenden Retriever auszuwählen, können wir eine MultiRoute-Chain nutzen. Hierbei wählt das LLM dynamisch die semantisch am besten passende Datenquelle für die Suche. Allerdings verlängert dieser Ansatz die Antwortzeit unseres AI-Workflows und kostet Tokens - also Geld.

Geht das auch schneller und günstiger? Ja! Ein Semantic Router nutzt für die Quellenauswahl kein LLM sondern ein Embedding Modell. Dieser Ansatz liefert eine mit einem LLM vergleichbare Qualität bei der Quellenauswahl, jedoch in Millisekunden und zu einem Bruchteil der Kosten.

Mit Live-Coding implementieren wir in einem Sample unter Verwendung des LangChain-Frameworks zuerst eine MultiRoute-Chain und optimieren dann auf eine Variante mit Semantic Router. Letztendlich zeigen beide Ansätze, wie die Leistung von RAG bei der Beantwortung von Benutzeranfragen deutlich verbessert werden kann.

Transcript

1. Generative AI Infodays 18.11.-20.11.24 Advanced RAG: AI-basierte Retriever-Auswahl mit Turbo Marco Frodl marco.frodl@thinktecture.com Principal Consultant for Generative AI @marcofrodl
2. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀 https://www.aurelio.ai/semantic-router Semantic Router is a superfast decision-making layer for your LLMs and agents. Rather than waiting for slow, unreliable LLM generations to make tool-use or safety decisions, we use the magic of semantic vector space — routing our requests using semantic meaning.
3. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀 https://www.aurelio.ai/semantic-router Semantic Router is a superfast decision-making layer for your LLMs and agents. Rather than waiting for slow, unreliable LLM generations to make tool-use or safety decisions, we use the magic of semantic vector space — routing our requests using semantic meaning. It’s perfect for: input guarding, topic routing, tool-use decisions.
4. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo But why? Safety Speed Budget
5. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀 in Numbers In my RAG example, a Semantic Router using remote services is 3.4 times faster than an LLM and it is 30 times less expensive. A local Semantic Router is 7.7 times faster than an LLM and it is 60 times less expensive.
6. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo About Me Marco Frodl Principal Consultant for Generative AI Thinktecture AG X: @marcofrodl E-Mail: marco.frodl@thinktecture.com LinkedIn: https://www.linkedin.com/in/marcofrodl/ https://www.thinktecture.com/thinktects/marco-frodl/
7. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Refresher: What is RAG? “Retrieval-Augmented Generation (RAG) extends the capabilities of LLMs to an organization's internal knowledge, all without the need to retrain the model.
8. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Refresher: What is RAG? https://aws.amazon.com/what-is/retrieval-augmented-generation/ “Retrieval-Augmented Generation (RAG) extends the capabilities of LLMs to an organization's internal knowledge, all without the need to retrain the model. It references an authoritative knowledge base outside of its training data sources before generating a response”
9. Ask me anything Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Simple RAG Question Prepare Search Search Results Question Answer LLM Vector DB Embedding Model Question as Vector Workflow Terms - Retriever - Chain Elements Embedding- Model Vector- DB Python LLM LangChain
10. Our sample content Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Simple RAG in a nutshell
11. Which retriever do you want? Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Multiple Retriever
12. Best source determination before the search Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Advanced RAG Question Retriever Selection 0-N Search Results Question Answer LLM Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or
13. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Demo: Dynamic Retriever Selection with LLM
14. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Embedding Model
15. Best source determination before the search Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Advanced RAG Question Retriever Selection 0-N Search Results Question Answer LLM Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or
16. Best source determination before the search Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Advanced RAG w/ Semantic Router Question Retriever Selection 0-N Search Results Question Answer Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or Embedding Model
17. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Demo: Semantic Router with RAG
18. LLM as Router Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🐌
19. Semantic Router with remote embedding model Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀
20. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Demo: Semantic Router running locally
21. Semantic Router with local embedding model Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀
22. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Speed & Budget in Numbers
23. Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Yes, please! Safety Speed Budget
24. Thank you! Any questions? Marco Frodl @marcofrodl Principal Consultant for Generative AI