Share
Generative AI und Architektur
Künstliche Intelligenz ist auf dem Vormarsch. Egal ob Qualitätssicherung in der Produktion, Retourenmanagement im Onlinehandel oder Customer-Support via Chatbot: KI eröffnet bisher noch nicht dagewesene Möglichkeiten, die eigenen Prozesse und Geschäftsmodelle deutlich zu verbessern. Aber wie lässt sich KI in die eigene Softwarearchitektur integrieren? Wer befindet über das richtige Modell und den richtigen Algorithmus? Und wie wird über die hinreichende Quantität/Qualität von Daten entschieden? Die Rolle des KI-Architekten scheint geboren. Die Session zeigt anhand eines durchgehenden Beispiels aus dem Umfeld Generative AI, welche architektonischen Herausforderungen im Laufe eines KI-basierten Softwareprojekts auftreten und wie diese bestmöglich gemeistert werden können.
Lars Roewekamp PRO
Transcript
168 slides
-
Generative AI Vom Prototypen zum produktiven Einsatz #WISSENTEILEN powered by
Lars Röwekamp | open knowledge GmbH -
Generative AI Vom Prototypen zum produktiven Einsatz … und was
das alles mit Architektur zu tun hat! #WISSENTEILEN powered by Lars Röwekamp | open knowledge GmbH -
(Architecture, Cloud, AI & ML) Lars Röwekamp @mobileLarson CIO New
Technologies OPEN KNOWLEDGE -
Ist das eine Katze? Neuronale Netze aka traditionelle KI Ist
das eine Katze? -
Das ist eine Katze Das ist keine Katze Neuronale Netze
aka traditionelle KI fit Neural Network Katze Katze Katze Katze Hund Hund -
Ist das eine Katze? Neuronale Netze aka traditionelle KI infer
trained Neural Network mit Mustererkennug für Bilder von Katzen -
Generative AI Model Prompting Was ist eine Katze? Eine Katze
ist* … und sieht so aus. Generative AI aka generierende KI *basierend auf meinem Weltwissen -
Generative AI vs traditionelle Neuronale Netze Predictive ML Model Generative
Model lernt / erkennt Beziehungen zwischen Daten und Label lernt / versteht Zusammenhänge in unstrukturierten Daten Label neuer Content Label Daten Unstrukturierte Daten -
Generative AI unter der Haube Large Language Model Mary had
a … Large Language Model Mary had a little … Next Token red little delicious … Probability 0.2 0.4 0.1 … Next Token mouse lamb kettle … Probability 0.2 0.3 0.2 … -
Generative AI unter der Haube 1. queen – woman +
man = king 2. doctor – man + woman = nurse Male-Female Verb Tense Country-Capital -
Generative AI unter der Haube Transformer (LLM Layer) John wants
his bank to cash the … ? word2vec style vectors -
Generative AI unter der Haube Transformer (LLM Layer) John wants
his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state -
Generative AI unter der Haube Transformer (LLM Layer) John wants
his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state Key-Vector: btw I‘am a noun describing a male person. Query-Vector: btw I‘am seeking for a noun describing a male person. -
Generative AI unter der Haube Transformer (LLM Layer) John wants
his bank to cash the … ? Transformer (LLM Layer) context aka hidden state John wants his bank to cash the … ? (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) ( ... ) -
Generative AI unter der Haube Transformer (LLM Layer) John wants
his bank to cash the … ? John (main character, male, married to Cheryl, cousin of Donald, from Minnesota, currently in Boise, … ) wants his bank to cash the … ? -
Generative AI unter der Haube Transformer (LLM Layer) John wants
his bank to cash the … ? Transformer (LLM Layer) John wants his bank to cash the … (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) Enough context information to be able to „guess“ the next word. check ( ... ) -
GenAI by Example Health Care & Pharmaceuticals Advertisment & Marketing
Media & Entertainment Production & Manufactoring Financial Services Software Development -
GenAI by Example „Know Your Business!“ *wenn du am Ende
erfolgreich sein möchtest. -
GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics
Model Selection Prompt Engineering 2 1 -
GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics
Model Selection Prompt Engineering 2 Model Selection 1 Welches Model? Welche Parameter? Welche Infrastruktur? Welche Lizenz? Welches Preismodell? Welche Governance? -
GenAI Basics Model Selection „Was misst ein AI-Benchmark?“ • Allgemeinwissen
• Programmierung • Mathematik • ... Offizielle Benchmarks oftmals Teil der Trainigsdaten! • Kreativität • Faktenwissen • Logik -
GenAI Basics Model Selection aka „Wie finde ich das passende
Model für mich?“ -
GenAI Basics Model Selection aka „Wie finde ich das passende
Model für mich?“ • für mein Problem • für meine Daten • für meinen Kontext • für meinen Geldbeutel -
GenAI Basics Model Selection aka „Wie finde ich das passende
Model für mich?“ Public, Private, Sizes, Purpose Data Privacy, Security, Explainability Complexity, Business Area Latency, Cost, Customizeability Traininig, Runtime, Availability Team Skills, Computational Power Availability Governance Use Case Performance Data Resources „Know Your Use-Case!“ *wenn du am Ende erfolgreich sein möchtest. -
GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics
Model Integration Prompt Engineering 2 Model Selection 1 Passendes Model gefunden. Aber wie spreche ich es aus meiner Anwendung heraus an? -
Model A-small „Was ist das schönste Reiseziel?“ Model Provider model-name
model-parameter provider-parameter prompt Model A-big Model B e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration -
Model X mini „Was ist das schönste Reiseziel?“ Model Provider
II model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration -
Model X mini „Was ist das schönste Reiseziel?“ Model Provider
II Provider II Client API model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … GenAI Basics Model Integration -
„Was ist das schönste Reiseziel?“ Hub-Provider Client API model-name model-parameter
hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud based Resources -
„Was ist das schönste Reiseziel?“ Hub-Provider Client API model-name model-parameter
hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud-not-allowed Exception -
„Was ist das schönste Reiseziel?“ Local-Hub Provider Client API model-name
model-parameter hub-provider-parameter prompt e.g. GPT4all, ollama Local hosted Models (Provider III) Local hosted Models (Provider II) Local hosted Models (own or adapted) Local-Hub Provider Dispatcher Local Machine GenAI Basics Model Integration -
GenAI Basics Model Adaption „Welche zusätzlichen Stellschrauben habe ich?“ •
Temperature Grad der „Fantasie“ • Max Tokens Länge der Antwort • Top K Auswahl der Treffer aus den top K Treffern • Top P Auswahl der Treffer aus den top P Prozent • Presence Penalty Wiederholungen werden vermieden • Frequence Penalty Wiederholungen werden gewichtet vermieden -
GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection
Prompt Engineering 2 1 GenAI Basics Prompt Engineering -
GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection
Prompt Engineering 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Chain-of-Thought Prompts Few-Shot Learning GenAI Basics Prompt Engineering -
GenAI Basics Prompt Engineering Role Instruction Example 1 Context Example
n Question Direktive Beispiele Rolle Format(ierung) der Ausgabe weitere Informationen -
GenAI Basics Good Prompt vs. Bad Prompt You I want
to cook something. LR Topic: Recipe Recommendations -
GenAI Basics Good Prompt vs. Bad Prompt You I want
to cook something. LR You Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by- step instructions? LR Output Example Context Question Role Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by-step instructions? You could point at recipes you like from the BBC’s Good Food guide, providing URL’s to recipes you love. Topic: Recipe Recommendations -
GenAI Basics Good Prompt vs. Bad Prompt You I want
to go on holiday. Where should I go? LR You Acting as a travel planner, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? LR Output Example Context Question Role Acting as travel planer, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? Show it holiday sites for hotels you like, describe places you’ve been before and what you loved about them. Topic: Holiyday Planning -
GenAI Basics System Prompt vs. User Prompt System Assistant User
„Du“ Chat-Model Verhalten des Assistenten -
GenAI Basics System Prompt vs. User Prompt System Assistant User
„Du“ Chat-Model Verhalten des Assistenten „Du bist ein freundlicher Assistent und fasst dich stets kurz.“ „Welches ist die schönste Stadt der Welt?“ „Welches ist die schönste Stadt der Welt?“ „Du bist ein Philosoph und neigst zu ausschweifenden Formulierungen.“ „Die ´schönste´ Stadt der Welt ist natürlich subjektiv … “ „Ach, allein schon die Frage nach der schönsten Stadt der Welt ist …“ 51 Wörter 269 Wörter -
GenAI- Model Prompt „Wie beantrage ich Urlaub bei open knowledge?“
GenAI Basics myDomain -
GenAI- Model Prompt „Wie beantrage ich Urlaub bei open knowledge?“
GenAI Basics myDomain + „Urlaubsregelung bei open knowledge“ -
GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei
ok?“ GenAI Basics myDomain + „Urlaubsregelung bei open knowledge“ -
GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei
ok?“ GenAI Basics myDomain + „Urlaubsregelung + Alarmanlage bei open knowledge“ + -
GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei
ok?“ GenAI Basics myDomain + „Alles interne Wissen (Wiki, DB, …) bei open knowledge“ -
GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei
ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Token Limit exceeded Output Size Context Window Size -
GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei
ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Out-of-Budget Exception Context Window Size -
GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei
ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Lost-in-the-Middle Context Window Size -
GenAI Basics myDomain „Was sind Token Limits?“ • Context Window
Size • Output Size • lange Anfragen sind teuer • lange Antworten sind noch teurer -
Source: GenAI Pricing on Medium.com, Ragesh Gohel, March 2024 128.000
Tokens? Kling viel! Ist aber für myDomain in der Regel zu wenig! 128.000 Tokens entsprechen ca. 350 Buchseiten. Harry Potter hat > 1 Mio.Wörter auf über 6.000 Seiten! -
GenAI- Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI
Advanced myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Token Limit exceeded! Output Size Context Window Size -
myGenAI Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI
Advanced myDomain „Alles interne Wissen bei open knowledge“ -
myGenAI Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI
Advanced myDomain „Alles interne Wissen bei open knowledge“ Option 1: Build own Model Option 2: Fine-tune existing Model ERROR: Way to expensive ERROR: Way to complex WARNING: Out-of-Sync -
Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain
„Prompt Enrichment“ „Model Enrichment“ myGenAI Model + -
Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain
„Prompt Enrichment“ „Model Enrichment“ + SOME MAGIC „MAGIC Enrichment“ GenAI- Model -
Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI- Model GenAI
Advanced myDomain „Alles interne Wissen bei open knowledge“ SOME MAGIC -
Prompt „Wie beantrage ich Urlaub bei ok?“ Retrieve Augment Ingesting-
Pipeline Knowledge Database Retriever GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ -
Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge
Database Retriever GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation -
Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge
Database Retriever GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation -
Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge
Database GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation Retriever -
GenAI Advanced RAG Systems „Wie beantrage ich Urlaub bei ok?“
GenAI Model Ingesting-Pipeline (Async.) Retriever Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting UI/UX Query- Embedding -
„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten
Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example -
„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten
Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example -
„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten
Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example -
„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten
Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Id Doc. Id Embedding 1 1 [-0.24, 0.15, …, 0.52] 2 1 [-0.13, 0.95, …, 0.31] […] […] […] Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example -
Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt
der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ -
Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt
der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62] -
Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus
Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62] -
Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus
Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62] & „Wovon handelt der Vortrag […] basierend auf folgendem Kontext: „Durch ein vorgeschaltetes Retrieval, um relevante Informationen aus einer eigenen dynamischen Datenbasis hinzuziehen, können fundierte Antworten geliefert werden.“ -
Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced
RAG Systems „Wie beantrage ich Urlaub bei ok?“ -
Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced
RAG Systems „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! „Wie beantrage ich Urlaub bei ok?“ -
Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Professional
Guardrails „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! -
Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline
GenAI Professional Guardrails „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! Profanity Check -
Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline
GenAI Professional Guardrails „Das kann ich dir leider nicht beantworten! „…. Faules Stück …“ „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! Profanity Check -
Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline
GenAI Professional Guardrails „Welche Netflix-Serie würdest du mir empfehlen?“ „Das fällt nicht in meinen Aufgabenbereich!“ Guarding Topic Check -
Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline
GenAI Professional Guardrails Output-Governance: Toxic Speach, Fact-Checking, Ethical-Guidelines, Cross-Validation, … Input-Evaluation: Prompt-Injection, Jailbreak-Versuche, Themen-Filter, PII-Bereinigung, Rate-Limiting,… Guarding -
Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline
RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Professional Monitoring Guarding -
Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI
Professional Response Quality Monitoring https://docs.confident-ai.com/docs/metrics-llm-evals G-Eval Summerization Answer Relevancy Faithfulness Summerization Hallucination Contextual Recall Contextual Relevancy Contextual Precision -
Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI
Professional Response Quality Monitoring Faithfulness Wird die durch unterstützt? -
Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI
Professional Response Quality Monitoring Passt die zum ? Answer Relevancy -
Best Practices Was sind typische Stolperfallen, in die ich reinlaufen
werde – und wie gehe ich damit um? -
Retrieval Augmented Knowledge Database Retriever Generation Guarding Input Output Ingesting-
Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Best Practices Real Life Survival Guide -
„Die Antworten klingen schlüssig, sind aber falsch!“ GenAI Best Practices
Real Life Survival Guide -
GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline
(Sync.) Top-k Fetching Augmenting Input Hallucination Detection GenAI Best Practices Real Life Survival Guide Self Check Query- Embedding -
UI/UX Guardrails Output Input Hallucination Detection GenAI Best Practices Real
Life Survival Guide Self Check Manakul et al. (2023) -
GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline
(Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Query- Embedding -
GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline
(Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found Query- Embedding -
GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline
(Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found Chunk not relevant Query- Embedding -
Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge
Missing Data Problem: RAG kennt die benötigten Daten nicht. -
Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge
Missing Data Problem: RAG kennt die benötigten Daten nicht. Lösung: Passenden Ingestor implementieren. -
Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge
Missing Data Problem: Snapshot der Daten ist nicht aktuell genug. -
Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge
Missing Data Problem: Snapshot der Daten ist nicht aktuell genug. Lösung: Schnittstelle zum „kontinuierlichen“ Data-Sync. -
Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real
Life RAG #2 Chunk-not-found Challenge Chunk not found Query- Embedding -
Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real
Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Query- Embedding -
Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real
Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #1: Chunk-Sizes und Overlapping adaptieren. Query- Embedding -
Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real
Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #2: Andere Splitter verwenden (e.g. Semantic-Splitter). Query- Embedding -
Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real
Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung#3: Optimierung des Distanz-Thresholds bzw. k aus Top-k Query- Embedding -
Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real
Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #4: Auswahl eines besser geeigneten Embedding-Models. Query- Embedding -
Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real
Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #5: Hypothetical Document Embeddings (HyDE) Input HyDE Query- Embedding -
Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant GenAI
Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding -
Real Life RAG #3 Chunk-not-relevant Challenge Problem: Chunk wird vom
Model nicht als relevant erachtet. Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding -
Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k
Fetching Augmenting Retrieval-Pipeline (Sync.) Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #1: Für den Use-Case besser geeignetes Modell wählen. GenAI Model Query- Embedding -
Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k
Fetching Augmenting Retrieval-Pipeline (Sync.) GenAI Model Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #2: Chunk um zusätzlichen Context erweitern (small-to-big). Chunk Query- Embedding -
GenAI Model UI/UX Guardrails Input Output Ingesting-Pipeline (Async.) Chunking Embedding
Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Query- Embedding -
UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ Retrieve
Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Was gibt es noch zu bedenken? „Alles interne Wissen bei open knowledge“ -
UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve
Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ GenAI Ausblick Multi-Language RAG Knowledge Database -
UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve
Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ Language- Detection Translation Translation Translation GenAI Ausblick Multi-Language RAG Knowledge Database -
UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve
Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ in mehreren Sprachen“ Translation Translation Translation Translation FR_fr language not supported domain specific wording GenAI Ausblick Multi-Language RAG Language- Detection -
UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model
„Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ Knowledge Database GenAI Ausblick Access Control -
UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model
„Wie sehen die geheimen KPIS aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ Knowledge Database GenAI Ausblick Access Control -
UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model
„Wie sehen die geheimen KPIS aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ Token Knowledge Database Input Guardrail Some kind of Attack? Prompt-Injection? Prompt-Abuse? Rate-Limit? GenAI Ausblick Access Control -
UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with
AC Meta Data Retriever GenAI- Model „Wie sehen die geheimen KPIs aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ RBAC via PBF Token Token Input Guardrail GenAI Ausblick Access Control RBAC = Role based Access Control PBF = Permission based Filtering -
UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with
AC Meta Data Retriever GenAI- Model „Wie sehen die Personaldaten von X aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ RBAC via PBF Token Token Input Guardrail Output Guardrail PII: Personally identifiable information? GenAI Ausblick Access Control -
UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model
„Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ Knowledge Database GenAI Ausblick Integration -
„Alles interne Wissen bei open knowledge“ GenAI Ausblick Integration GenAI
based Service A P I ML as a Service Input Output UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ -
UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ Retrieve
Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Multi-Agenten Systeme „Alles interne Wissen bei open knowledge“ -
UI/UX Enterprise Integration „Beantrage meinen Urlaub, bitte!“ Retrieve Augment Ingesting-
Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Multi-Agenten Systeme „Alles interne Wissen bei open knowledge“ -
GenAI Ausblick Multi-Agenten Systeme Retriever Memory Tools Planning Database Prompting
Models API-Call „Folgendes habe ich beantragt: […] „Beantrage meinen Urlaub!“ UI/UX -
Fazit Was sollte ich aus dem Workshop für mich und
mein Team mitnehmen? -
GenAI vom Prototypen zum produktiven Einsatz Was du heute mitnehmen
solltest: • GenAI ist mächtig. Mächtig teuer. • Der Prompt ist dein Freund. • Jedes Modell ist anders. • RAG für eigenes Domänenwissen. • GenAI ist auch nur Software. Dein Use Case bestimmt den richtigen Weg! -
„When deploying Generative AI technology, it is essential to adhere
to best practices including employing models through validation, understanding the model’s limitations, ensuring ethical use, and monitoring for biases continuously.“ (Source: https://www.tredence.com/generative-ai-101) -
#WISSENTEILEN Vielen Dank! #WISSENTEILEN by open knowledge GmbH @_openKnowledge |
@mobileLarson Lars Röwekamp, CIO New Technologies -
GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection
Prompt Engineering 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Chain-of-Thought Prompts Few-Shot Learning GenAI Basics Prompt Engineering -
GenAI Basics Prompt Engineering You Brainstorm a list of product
names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR Prompt Engineering Principles Source: Prompt Engineering for Generative AI, James Phoenix & Mike Taylor, O‘Reilly 2024 -
GenAI Basics Prompt Engineering You Brainstorm a list of product
names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona. 2. Specify Format Define the rules to follow, and the required structure to respond. 3. Provide Examples Insert a deverse set if test cases where the task was done correctly. 4. Evaluate Quality Identify errors and rate responses, Testing what drives performance. You Please rate the product names based on their catchines, uniqueness, simplicity. Rate them on a scale from 1 to 5, with being 5 the highest score. Respond only with a table containing the results. LR ChatGPT Product Name Catchiness Uniqueness Simplicity iFitFoot 4 4 4 iPerfectFit 5 4 3 iShoeSize 3 3 5 5. Devide Labor Split the task into multiple steps, chained together for complex goals. -
GenAI Basics Prompt Engineering You Question: Roger has 5 tennis
balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT The answer is 27. [NOT CORRECT] LR Chain of Thoughts Pattern -
GenAI Basics Prompt Engineering You Question: Roger has 5 tennis
balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT A cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9. [CORRECT] LR „Anstatt das Sprachmodell direkt aufzufordern, das Problem zu lösen, verwenden wir eine Gedankenkette als Aufforderung, um das Modell durch Zwischenschritte zu führen." -
GenAI Basics Prompt Engineering You Please choose the best explanation
to the question: Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, which can combine and grow into snowflakes as they fall through the atmosphere and accumulate on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 1 is the better explanation. It provides a more detailed and complete description of the process. It explains that water vapor freezes into ice crystals in the atmosphere and how these crystals can combine to form snowflakes as they fall through the air before accumulating on the ground. This explanation gives a clearer understanding of the formation process of snow compared to the shorter Explanation 2. LR Few-Shot Learning Pattern ??? -
GenAI Basics Prompt Engineering You Please choose the best explanation
to the question: Question: Why is sky blue? Explanation1: The sky appears blue because of Rayleigh scattering, … making the sky look blue. Explanation2: Due to Rayleigh scattering effect. Answer: Explanation2 Question: What is the cause of earthquakes? Explanation1: Sudden release of energy in the Earth's crust. Explanation2: Earthquakes happen when tectonic plates suddenly slip or break apart, …. cause damage. Answer: Explanation1 Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, … on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 2. LR „Anstatt ein Modell mit vielen, vielen Daten zu füttern, geben wir ihm einige wenige Beispiele zur Orientierung." Beispiel 2 Beispiel 1 ??? -
#WISSENTEILEN #WISSENTEILEN BILDNACHWEIS Folie 21: © photoplotnikov - istockphoto.com Folie
23: © Mix und Match Studios - shutterstock.com Folie 23: © Mix und Match Studios - shutterstock.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or are created by my own.