$30 off During Our Annual Pro Sale. View Details »

Generative AI und Architektur

Generative AI und Architektur

Künstliche Intelligenz ist auf dem Vormarsch. Egal ob Qualitätssicherung in der Produktion, Retourenmanagement im Onlinehandel oder Customer-Support via Chatbot: KI eröffnet bisher noch nicht dagewesene Möglichkeiten, die eigenen Prozesse und Geschäftsmodelle deutlich zu verbessern. Aber wie lässt sich KI in die eigene Softwarearchitektur integrieren? Wer befindet über das richtige Modell und den richtigen Algorithmus? Und wie wird über die hinreichende Quantität/Qualität von Daten entschieden? Die Rolle des KI-Architekten scheint geboren. Die Session zeigt anhand eines durchgehenden Beispiels aus dem Umfeld Generative AI, welche architektonischen Herausforderungen im Laufe eines KI-basierten Softwareprojekts auftreten und wie diese bestmöglich gemeistert werden können.

Lars Roewekamp

November 06, 2024
Tweet

More Decks by Lars Roewekamp

Other Decks in Programming

Transcript

  1. Generative AI Vom Prototypen zum produktiven Einsatz … und was

    das alles mit Architektur zu tun hat! #WISSENTEILEN powered by Lars Röwekamp | open knowledge GmbH
  2. Das ist eine Katze Das ist keine Katze Neuronale Netze

    aka traditionelle KI fit Neural Network Katze Katze Katze Katze Hund Hund
  3. Ist das eine Katze? Neuronale Netze aka traditionelle KI infer

    trained Neural Network mit Mustererkennug für Bilder von Katzen
  4. Generative AI Model Prompting Was ist eine Katze? Eine Katze

    ist* … und sieht so aus. Generative AI aka generierende KI *basierend auf meinem Weltwissen
  5. Generative AI vs traditionelle Neuronale Netze Predictive ML Model Generative

    Model lernt / erkennt Beziehungen zwischen Daten und Label lernt / versteht Zusammenhänge in unstrukturierten Daten Label neuer Content Label Daten Unstrukturierte Daten
  6. Generative AI unter der Haube Large Language Model Mary had

    a … Large Language Model Mary had a little … Next Token red little delicious … Probability 0.2 0.4 0.1 … Next Token mouse lamb kettle … Probability 0.2 0.3 0.2 …
  7. Generative AI unter der Haube 1. queen – woman +

    man = king 2. doctor – man + woman = nurse Male-Female Verb Tense Country-Capital
  8. Generative AI unter der Haube Transformer (LLM Layer) John wants

    his bank to cash the … ? word2vec style vectors
  9. Generative AI unter der Haube Transformer (LLM Layer) John wants

    his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state
  10. Generative AI unter der Haube Transformer (LLM Layer) John wants

    his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state Key-Vector: btw I‘am a noun describing a male person. Query-Vector: btw I‘am seeking for a noun describing a male person.
  11. Generative AI unter der Haube Transformer (LLM Layer) John wants

    his bank to cash the … ? Transformer (LLM Layer) context aka hidden state John wants his bank to cash the … ? (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) ( ... )
  12. Generative AI unter der Haube Transformer (LLM Layer) John wants

    his bank to cash the … ? John (main character, male, married to Cheryl, cousin of Donald, from Minnesota, currently in Boise, … ) wants his bank to cash the … ?
  13. Generative AI unter der Haube Transformer (LLM Layer) John wants

    his bank to cash the … ? Transformer (LLM Layer) John wants his bank to cash the … (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) Enough context information to be able to „guess“ the next word. check ( ... )
  14. GenAI by Example Health Care & Pharmaceuticals Advertisment & Marketing

    Media & Entertainment Production & Manufactoring Financial Services Software Development
  15. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics

    Model Selection Prompt Engineering 2 Model Selection 1 Welches Model? Welche Parameter? Welche Infrastruktur? Welche Lizenz? Welches Preismodell? Welche Governance?
  16. GenAI Basics Model Selection „Was misst ein AI-Benchmark?“ • Allgemeinwissen

    • Programmierung • Mathematik • ... Offizielle Benchmarks oftmals Teil der Trainigsdaten! • Kreativität • Faktenwissen • Logik
  17. GenAI Basics Model Selection aka „Wie finde ich das passende

    Model für mich?“ • für mein Problem • für meine Daten • für meinen Kontext • für meinen Geldbeutel
  18. GenAI Basics Model Selection aka „Wie finde ich das passende

    Model für mich?“ Public, Private, Sizes, Purpose Data Privacy, Security, Explainability Complexity, Business Area Latency, Cost, Customizeability Traininig, Runtime, Availability Team Skills, Computational Power Availability Governance Use Case Performance Data Resources „Know Your Use-Case!“ *wenn du am Ende erfolgreich sein möchtest.
  19. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics

    Model Integration Prompt Engineering 2 Model Selection 1 Passendes Model gefunden. Aber wie spreche ich es aus meiner Anwendung heraus an?
  20. Model A-small „Was ist das schönste Reiseziel?“ Model Provider model-name

    model-parameter provider-parameter prompt Model A-big Model B e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration
  21. Model X mini „Was ist das schönste Reiseziel?“ Model Provider

    II model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration
  22. Model X mini „Was ist das schönste Reiseziel?“ Model Provider

    II Provider II Client API model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … GenAI Basics Model Integration
  23. „Was ist das schönste Reiseziel?“ Hub-Provider Client API model-name model-parameter

    hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud based Resources
  24. „Was ist das schönste Reiseziel?“ Hub-Provider Client API model-name model-parameter

    hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud-not-allowed Exception
  25. „Was ist das schönste Reiseziel?“ Local-Hub Provider Client API model-name

    model-parameter hub-provider-parameter prompt e.g. GPT4all, ollama Local hosted Models (Provider III) Local hosted Models (Provider II) Local hosted Models (own or adapted) Local-Hub Provider Dispatcher Local Machine GenAI Basics Model Integration
  26. GenAI Basics Model Adaption „Welche zusätzlichen Stellschrauben habe ich?“ •

    Temperature Grad der „Fantasie“ • Max Tokens Länge der Antwort • Top K Auswahl der Treffer aus den top K Treffern • Top P Auswahl der Treffer aus den top P Prozent • Presence Penalty Wiederholungen werden vermieden • Frequence Penalty Wiederholungen werden gewichtet vermieden
  27. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection

    Prompt Engineering 2 1 GenAI Basics Prompt Engineering
  28. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection

    Prompt Engineering 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Chain-of-Thought Prompts Few-Shot Learning GenAI Basics Prompt Engineering
  29. GenAI Basics Prompt Engineering Role Instruction Example 1 Context Example

    n Question Direktive Beispiele Rolle Format(ierung) der Ausgabe weitere Informationen
  30. GenAI Basics Good Prompt vs. Bad Prompt You I want

    to cook something. LR Topic: Recipe Recommendations
  31. GenAI Basics Good Prompt vs. Bad Prompt You I want

    to cook something. LR You Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by- step instructions? LR Output Example Context Question Role Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by-step instructions? You could point at recipes you like from the BBC’s Good Food guide, providing URL’s to recipes you love. Topic: Recipe Recommendations
  32. GenAI Basics Good Prompt vs. Bad Prompt You I want

    to go on holiday. Where should I go? LR You Acting as a travel planner, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? LR Output Example Context Question Role Acting as travel planer, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? Show it holiday sites for hotels you like, describe places you’ve been before and what you loved about them. Topic: Holiyday Planning
  33. GenAI Basics System Prompt vs. User Prompt System Assistant User

    „Du“ Chat-Model Verhalten des Assistenten
  34. GenAI Basics System Prompt vs. User Prompt System Assistant User

    „Du“ Chat-Model Verhalten des Assistenten „Du bist ein freundlicher Assistent und fasst dich stets kurz.“ „Welches ist die schönste Stadt der Welt?“ „Welches ist die schönste Stadt der Welt?“ „Du bist ein Philosoph und neigst zu ausschweifenden Formulierungen.“ „Die ´schönste´ Stadt der Welt ist natürlich subjektiv … “ „Ach, allein schon die Frage nach der schönsten Stadt der Welt ist …“ 51 Wörter 269 Wörter
  35. GenAI- Model Prompt „Wie beantrage ich Urlaub bei open knowledge?“

    GenAI Basics myDomain + „Urlaubsregelung bei open knowledge“
  36. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei

    ok?“ GenAI Basics myDomain + „Urlaubsregelung bei open knowledge“
  37. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei

    ok?“ GenAI Basics myDomain + „Urlaubsregelung + Alarmanlage bei open knowledge“ +
  38. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei

    ok?“ GenAI Basics myDomain + „Alles interne Wissen (Wiki, DB, …) bei open knowledge“
  39. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei

    ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Token Limit exceeded Output Size Context Window Size
  40. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei

    ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Out-of-Budget Exception Context Window Size
  41. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei

    ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Lost-in-the-Middle Context Window Size
  42. GenAI Basics myDomain „Was sind Token Limits?“ • Context Window

    Size • Output Size • lange Anfragen sind teuer • lange Antworten sind noch teurer
  43. Source: GenAI Pricing on Medium.com, Ragesh Gohel, March 2024 128.000

    Tokens? Kling viel! Ist aber für myDomain in der Regel zu wenig! 128.000 Tokens entsprechen ca. 350 Buchseiten. Harry Potter hat > 1 Mio.Wörter auf über 6.000 Seiten!
  44. GenAI- Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI

    Advanced myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Token Limit exceeded! Output Size Context Window Size
  45. myGenAI Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI

    Advanced myDomain „Alles interne Wissen bei open knowledge“
  46. myGenAI Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI

    Advanced myDomain „Alles interne Wissen bei open knowledge“ Option 1: Build own Model Option 2: Fine-tune existing Model ERROR: Way to expensive ERROR: Way to complex WARNING: Out-of-Sync
  47. Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain

    „Prompt Enrichment“ „Model Enrichment“ myGenAI Model +
  48. Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain

    „Prompt Enrichment“ „Model Enrichment“ + SOME MAGIC „MAGIC Enrichment“ GenAI- Model
  49. Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI- Model GenAI

    Advanced myDomain „Alles interne Wissen bei open knowledge“ SOME MAGIC
  50. Prompt „Wie beantrage ich Urlaub bei ok?“ Retrieve Augment Ingesting-

    Pipeline Knowledge Database Retriever GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“
  51. Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge

    Database Retriever GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation
  52. Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge

    Database Retriever GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation
  53. Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge

    Database GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation Retriever
  54. GenAI Advanced RAG Systems „Wie beantrage ich Urlaub bei ok?“

    GenAI Model Ingesting-Pipeline (Async.) Retriever Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting UI/UX Query- Embedding
  55. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten

    Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example
  56. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten

    Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example
  57. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten

    Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example
  58. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten

    Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Id Doc. Id Embedding 1 1 [-0.24, 0.15, …, 0.52] 2 1 [-0.13, 0.95, …, 0.31] […] […] […] Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example
  59. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt

    der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“
  60. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt

    der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]
  61. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus

    Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]
  62. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus

    Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62] & „Wovon handelt der Vortrag […] basierend auf folgendem Kontext: „Durch ein vorgeschaltetes Retrieval, um relevante Informationen aus einer eigenen dynamischen Datenbasis hinzuziehen, können fundierte Antworten geliefert werden.“
  63. Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced

    RAG Systems „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! „Wie beantrage ich Urlaub bei ok?“
  64. Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Professional

    Guardrails „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück!
  65. Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline

    GenAI Professional Guardrails „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! Profanity Check
  66. Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline

    GenAI Professional Guardrails „Das kann ich dir leider nicht beantworten! „…. Faules Stück …“ „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! Profanity Check
  67. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline

    GenAI Professional Guardrails „Welche Netflix-Serie würdest du mir empfehlen?“ „Das fällt nicht in meinen Aufgabenbereich!“ Guarding Topic Check
  68. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline

    GenAI Professional Guardrails Output-Governance: Toxic Speach, Fact-Checking, Ethical-Guidelines, Cross-Validation, … Input-Evaluation: Prompt-Injection, Jailbreak-Versuche, Themen-Filter, PII-Bereinigung, Rate-Limiting,… Guarding
  69. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline

    RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Professional Monitoring Guarding
  70. Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI

    Professional Response Quality Monitoring https://docs.confident-ai.com/docs/metrics-llm-evals G-Eval Summerization Answer Relevancy Faithfulness Summerization Hallucination Contextual Recall Contextual Relevancy Contextual Precision
  71. Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI

    Professional Response Quality Monitoring Faithfulness Wird die durch unterstützt?
  72. Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI

    Professional Response Quality Monitoring Passt die zum ? Answer Relevancy
  73. Retrieval Augmented Knowledge Database Retriever Generation Guarding Input Output Ingesting-

    Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Best Practices Real Life Survival Guide
  74. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline

    (Sync.) Top-k Fetching Augmenting Input Hallucination Detection GenAI Best Practices Real Life Survival Guide Self Check Query- Embedding
  75. UI/UX Guardrails Output Input Hallucination Detection GenAI Best Practices Real

    Life Survival Guide Self Check Manakul et al. (2023)
  76. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline

    (Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Query- Embedding
  77. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline

    (Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found Query- Embedding
  78. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline

    (Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found Chunk not relevant Query- Embedding
  79. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge

    Missing Data Problem: RAG kennt die benötigten Daten nicht.
  80. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge

    Missing Data Problem: RAG kennt die benötigten Daten nicht. Lösung: Passenden Ingestor implementieren.
  81. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge

    Missing Data Problem: Snapshot der Daten ist nicht aktuell genug.
  82. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge

    Missing Data Problem: Snapshot der Daten ist nicht aktuell genug. Lösung: Schnittstelle zum „kontinuierlichen“ Data-Sync.
  83. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real

    Life RAG #2 Chunk-not-found Challenge Chunk not found Query- Embedding
  84. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real

    Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Query- Embedding
  85. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real

    Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #1: Chunk-Sizes und Overlapping adaptieren. Query- Embedding
  86. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real

    Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #2: Andere Splitter verwenden (e.g. Semantic-Splitter). Query- Embedding
  87. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real

    Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung#3: Optimierung des Distanz-Thresholds bzw. k aus Top-k Query- Embedding
  88. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real

    Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #4: Auswahl eines besser geeigneten Embedding-Models. Query- Embedding
  89. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real

    Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #5: Hypothetical Document Embeddings (HyDE) Input HyDE Query- Embedding
  90. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant GenAI

    Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding
  91. Real Life RAG #3 Chunk-not-relevant Challenge Problem: Chunk wird vom

    Model nicht als relevant erachtet. Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding
  92. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k

    Fetching Augmenting Retrieval-Pipeline (Sync.) Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #1: Für den Use-Case besser geeignetes Modell wählen. GenAI Model Query- Embedding
  93. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k

    Fetching Augmenting Retrieval-Pipeline (Sync.) GenAI Model Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #2: Chunk um zusätzlichen Context erweitern (small-to-big). Chunk Query- Embedding
  94. GenAI Model UI/UX Guardrails Input Output Ingesting-Pipeline (Async.) Chunking Embedding

    Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Query- Embedding
  95. UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ Retrieve

    Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Was gibt es noch zu bedenken? „Alles interne Wissen bei open knowledge“
  96. UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve

    Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ GenAI Ausblick Multi-Language RAG Knowledge Database
  97. UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve

    Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ Language- Detection Translation Translation Translation GenAI Ausblick Multi-Language RAG Knowledge Database
  98. UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve

    Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ in mehreren Sprachen“ Translation Translation Translation Translation FR_fr language not supported domain specific wording GenAI Ausblick Multi-Language RAG Language- Detection
  99. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model

    „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ Knowledge Database GenAI Ausblick Access Control
  100. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model

    „Wie sehen die geheimen KPIS aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ Knowledge Database GenAI Ausblick Access Control
  101. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model

    „Wie sehen die geheimen KPIS aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ Token Knowledge Database Input Guardrail Some kind of Attack? Prompt-Injection? Prompt-Abuse? Rate-Limit? GenAI Ausblick Access Control
  102. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with

    AC Meta Data Retriever GenAI- Model „Wie sehen die geheimen KPIs aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ RBAC via PBF Token Token Input Guardrail GenAI Ausblick Access Control RBAC = Role based Access Control PBF = Permission based Filtering
  103. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with

    AC Meta Data Retriever GenAI- Model „Wie sehen die Personaldaten von X aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ RBAC via PBF Token Token Input Guardrail Output Guardrail PII: Personally identifiable information? GenAI Ausblick Access Control
  104. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model

    „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ Knowledge Database GenAI Ausblick Integration
  105. „Alles interne Wissen bei open knowledge“ GenAI Ausblick Integration GenAI

    based Service A P I ML as a Service Input Output UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“
  106. UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ Retrieve

    Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Multi-Agenten Systeme „Alles interne Wissen bei open knowledge“
  107. UI/UX Enterprise Integration „Beantrage meinen Urlaub, bitte!“ Retrieve Augment Ingesting-

    Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Multi-Agenten Systeme „Alles interne Wissen bei open knowledge“
  108. GenAI Ausblick Multi-Agenten Systeme Retriever Memory Tools Planning Database Prompting

    Models API-Call „Folgendes habe ich beantragt: […] „Beantrage meinen Urlaub!“ UI/UX
  109. GenAI vom Prototypen zum produktiven Einsatz Was du heute mitnehmen

    solltest: • GenAI ist mächtig. Mächtig teuer. • Der Prompt ist dein Freund. • Jedes Modell ist anders. • RAG für eigenes Domänenwissen. • GenAI ist auch nur Software. Dein Use Case bestimmt den richtigen Weg!
  110. „When deploying Generative AI technology, it is essential to adhere

    to best practices including employing models through validation, understanding the model’s limitations, ensuring ethical use, and monitoring for biases continuously.“ (Source: https://www.tredence.com/generative-ai-101)
  111. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection

    Prompt Engineering 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Chain-of-Thought Prompts Few-Shot Learning GenAI Basics Prompt Engineering
  112. GenAI Basics Prompt Engineering You Brainstorm a list of product

    names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR Prompt Engineering Principles Source: Prompt Engineering for Generative AI, James Phoenix & Mike Taylor, O‘Reilly 2024
  113. GenAI Basics Prompt Engineering You Brainstorm a list of product

    names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona. 2. Specify Format Define the rules to follow, and the required structure to respond. 3. Provide Examples Insert a deverse set if test cases where the task was done correctly. 4. Evaluate Quality Identify errors and rate responses, Testing what drives performance. You Please rate the product names based on their catchines, uniqueness, simplicity. Rate them on a scale from 1 to 5, with being 5 the highest score. Respond only with a table containing the results. LR ChatGPT Product Name Catchiness Uniqueness Simplicity iFitFoot 4 4 4 iPerfectFit 5 4 3 iShoeSize 3 3 5 5. Devide Labor Split the task into multiple steps, chained together for complex goals.
  114. GenAI Basics Prompt Engineering You Question: Roger has 5 tennis

    balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT The answer is 27. [NOT CORRECT] LR Chain of Thoughts Pattern
  115. GenAI Basics Prompt Engineering You Question: Roger has 5 tennis

    balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT A cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9. [CORRECT] LR „Anstatt das Sprachmodell direkt aufzufordern, das Problem zu lösen, verwenden wir eine Gedankenkette als Aufforderung, um das Modell durch Zwischenschritte zu führen."
  116. GenAI Basics Prompt Engineering You Please choose the best explanation

    to the question: Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, which can combine and grow into snowflakes as they fall through the atmosphere and accumulate on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 1 is the better explanation. It provides a more detailed and complete description of the process. It explains that water vapor freezes into ice crystals in the atmosphere and how these crystals can combine to form snowflakes as they fall through the air before accumulating on the ground. This explanation gives a clearer understanding of the formation process of snow compared to the shorter Explanation 2. LR Few-Shot Learning Pattern ???
  117. GenAI Basics Prompt Engineering You Please choose the best explanation

    to the question: Question: Why is sky blue? Explanation1: The sky appears blue because of Rayleigh scattering, … making the sky look blue. Explanation2: Due to Rayleigh scattering effect. Answer: Explanation2 Question: What is the cause of earthquakes? Explanation1: Sudden release of energy in the Earth's crust. Explanation2: Earthquakes happen when tectonic plates suddenly slip or break apart, …. cause damage. Answer: Explanation1 Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, … on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 2. LR „Anstatt ein Modell mit vielen, vielen Daten zu füttern, geben wir ihm einige wenige Beispiele zur Orientierung." Beispiel 2 Beispiel 1 ???
  118. #WISSENTEILEN #WISSENTEILEN BILDNACHWEIS Folie 21: © photoplotnikov - istockphoto.com Folie

    23: © Mix und Match Studios - shutterstock.com Folie 23: © Mix und Match Studios - shutterstock.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or are created by my own.