BASTA Mainz 16.9.-20.9.24 Advanced RAG: AI-basierte Retriever-Auswahl mit Turbo Marco Frodl [email protected] Principal Consultant for Generative AI @marcofrodl

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀 https://www.aurelio.ai/semantic-router Semantic Router is a superfast decision-making layer for your LLMs and agents. Rather than waiting for slow, unreliable LLM generations to make tool-use or safety decisions, we use the magic of semantic vector space — routing our requests using semantic meaning.

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo But why? Safety Speed Budget

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀 in Numbers In my RAG example, a Semantic Router using remote services is 3.4 times faster than an LLM and it is 30 times less expensive. A local Semantic Router is 7.7 times faster than an LLM and it is 60 times less expensive.

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo About Me Marco Frodl Principal Consultant for Generative AI Thinktecture AG X: @marcofrodl E-Mail: [email protected] https://www.thinktecture.com/thinktects/marco-frodl/

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Refresher: What is RAG? “Retrieval-Augmented Generation (RAG) extends the capabilities of LLMs to an organization's internal knowledge, all without the need to retrain the model.

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Refresher: What is RAG? https://aws.amazon.com/what-is/retrieval-augmented-generation/ “Retrieval-Augmented Generation (RAG) extends the capabilities of LLMs to an organization's internal knowledge, all without the need to retrain the model. It references an authoritative knowledge base outside of its training data sources before generating a response”

Ask me anything Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Simple RAG Question Prepare Search Search Results Question Answer LLM Vector DB Embedding Model Question as Vector Workflow Terms - Retriever - Chain Elements Embedding- Model Vector- DB Python LLM LangChain

Our sample content Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Simple RAG in a nutshell

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Demo: Simple RAG

Which retriever do you want? Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Multiple Retriever

Just one Vector DB/Retriever? • Multiple Generative AI-Apps • Scaling and Hosting • Query Parameter per Retriever • Prompts per Retriever • Fast Updates & Re-Indexing • Access Rights • Custom Retriever Advanced RAG AI-basierte Retriever-Auswahl mit Turbo What’s wrong with Simple RAG? On-Premise AI-Apps Cloud Docs Public Tickets Features Website Sales Docs Internal Tickets

Best source determination before the search Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Advanced RAG Question Retriever Selection 0-N Search Results Question Answer LLM Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Demo: Dynamic Retriever Selection with LLM

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Embedding Model

Best source determination before the search Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Advanced RAG w/ Semantic Router Question Retriever Selection 0-N Search Results Question Answer Embedding Model Vector DB A Question as Vector Vector DB B LLM Prepare Search or Embedding Model

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Demo: Semantic Router

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Demo: Semantic Router with RAG

LLM as Router Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🐌

Semantic Router with remote embedding model Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Demo: Semantic Router running locally

Semantic Router with local embedding model Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Turbo 🚀

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Speed & Budget in Numbers

Advanced RAG AI-basierte Retriever-Auswahl mit Turbo Yes, please! Safety Speed Budget

Thank you! Any questions? Marco Frodl @marcofrodl Principal Consultant for Generative AI