Generative AI und Architektur

Künstliche Intelligenz ist auf dem Vormarsch. Egal ob Qualitätssicherung in der Produktion, Retourenmanagement im Onlinehandel oder Customer-Support via Chatbot: KI eröffnet bisher noch nicht dagewesene Möglichkeiten, die eigenen Prozesse und Geschäftsmodelle deutlich zu verbessern. Aber wie lässt sich KI in die eigene Softwarearchitektur integrieren? Wer befindet über das richtige Modell und den richtigen Algorithmus? Und wie wird über die hinreichende Quantität/Qualität von Daten entschieden? Die Rolle des KI-Architekten scheint geboren. Die Session zeigt anhand eines durchgehenden Beispiels aus dem Umfeld Generative AI, welche architektonischen Herausforderungen im Laufe eines KI-basierten Softwareprojekts auftreten und wie diese bestmöglich gemeistert werden können.

Transcript

1. Generative AI Vom Prototypen zum produktiven Einsatz #WISSENTEILEN powered by Lars Röwekamp | open knowledge GmbH
2. Generative AI Vom Prototypen zum produktiven Einsatz … und was das alles mit Architektur zu tun hat! #WISSENTEILEN powered by Lars Röwekamp | open knowledge GmbH
3. (Architecture, Cloud, AI & ML) Lars Röwekamp @mobileLarson CIO New Technologies OPEN KNOWLEDGE
4. Was ist GenAI? Wie funktioniert eigentlich dieses „Generative AI“?
6. Ist das eine Katze? Neuronale Netze aka traditionelle KI Ist das eine Katze?
7. Das ist eine Katze Das ist keine Katze Neuronale Netze aka traditionelle KI fit Neural Network Katze Katze Katze Katze Hund Hund
8. Ist das eine Katze? Neuronale Netze aka traditionelle KI infer trained Neural Network mit Mustererkennug für Bilder von Katzen
9. Universelles Weltwissen Generative AI aka generierende KI Generative AI Model learn
10. Generative AI Model Prompting Was ist eine Katze? Eine Katze ist* … und sieht so aus. Generative AI aka generierende KI *basierend auf meinem Weltwissen
11. Generative AI vs traditionelle Neuronale Netze Predictive ML Model Generative Model lernt / erkennt Beziehungen zwischen Daten und Label lernt / versteht Zusammenhänge in unstrukturierten Daten Label neuer Content Label Daten Unstrukturierte Daten
12. Generative AI unter der Haube Large Language Model Mary had a … Large Language Model Mary had a little … Next Token red little delicious … Probability 0.2 0.4 0.1 … Next Token mouse lamb kettle … Probability 0.2 0.3 0.2 …
13. Generative AI unter der Haube Source: http://vectors.nlpl.eu/explore/embeddings/en/MOD_enwiki_upos_skipgram_300_2_2021/cat_NOUN/
14. Generative AI unter der Haube 1. queen – woman + man = king 2. doctor – man + woman = nurse Male-Female Verb Tense Country-Capital
15. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? word2vec style vectors
16. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state
17. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state Key-Vector: btw I‘am a noun describing a male person. Query-Vector: btw I‘am seeking for a noun describing a male person.
18. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? Transformer (LLM Layer) context aka hidden state John wants his bank to cash the … ? (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) ( ... )
19. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John (main character, male, married to Cheryl, cousin of Donald, from Minnesota, currently in Boise, … ) wants his bank to cash the … ?
20. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? Transformer (LLM Layer) John wants his bank to cash the … (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) Enough context information to be able to „guess“ the next word. check ( ... )
21. GenAI by Example? Wo kann ich GenAI heute realistisch nutzen?
22. GenAI by Example Health Care & Pharmaceuticals Advertisment & Marketing Media & Entertainment Production & Manufactoring Financial Services Software Development
23. GenAI by Example „Know Your Business!“ *wenn du am Ende erfolgreich sein möchtest.
24. GenAI Basics Wie baue ich ein erstes, einfaches GenAI System?
25. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics
26. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics Model Selection Prompt Engineering 2 1
27. GenAI explained MODELS
28. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics Model Selection Prompt Engineering 2 Model Selection 1 Welches Model? Welche Parameter? Welche Infrastruktur? Welche Lizenz? Welches Preismodell? Welche Governance?
29. GenAI Basics Model Selection aka „Wie finde ich das passende Model?“
30. Source: https://lifearchitect.ai/ look for „LLM Billboard Charts“
31. GenAI Basics Model Selection „Was misst ein AI-Benchmark?“ • Allgemeinwissen • Programmierung • Mathematik • ... Offizielle Benchmarks oftmals Teil der Trainigsdaten! • Kreativität • Faktenwissen • Logik
32. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“
33. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ • für mein Problem • für meine Daten • für meinen Kontext • für meinen Geldbeutel
34. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ Public, Private, Sizes, Purpose Data Privacy, Security, Explainability Complexity, Business Area Latency, Cost, Customizeability Traininig, Runtime, Availability Team Skills, Computational Power Availability Governance Use Case Performance Data Resources „Know Your Use-Case!“ *wenn du am Ende erfolgreich sein möchtest.
35. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics Model Integration Prompt Engineering 2 Model Selection 1 Passendes Model gefunden. Aber wie spreche ich es aus meiner Anwendung heraus an?
36. Model A-small „Was ist das schönste Reiseziel?“ Model Provider model-name model-parameter provider-parameter prompt Model A-big Model B e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration
37. Model X mini „Was ist das schönste Reiseziel?“ Model Provider II model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration
38. Model X mini „Was ist das schönste Reiseziel?“ Model Provider II Provider II Client API model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … GenAI Basics Model Integration
39. „Was ist das schönste Reiseziel?“ Hub-Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud based Resources
40. „Was ist das schönste Reiseziel?“ Hub-Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud-not-allowed Exception
41. „Was ist das schönste Reiseziel?“ Local-Hub Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. GPT4all, ollama Local hosted Models (Provider III) Local hosted Models (Provider II) Local hosted Models (own or adapted) Local-Hub Provider Dispatcher Local Machine GenAI Basics Model Integration
42. GenAI Basics Model Adaption „Welche zusätzlichen Stellschrauben habe ich?“ • Temperature Grad der „Fantasie“ • Max Tokens Länge der Antwort • Top K Auswahl der Treffer aus den top K Treffern • Top P Auswahl der Treffer aus den top P Prozent • Presence Penalty Wiederholungen werden vermieden • Frequence Penalty Wiederholungen werden gewichtet vermieden
43. GenAI explained PROMPTING
44. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection Prompt Engineering 2 1 GenAI Basics Prompt Engineering
45. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection Prompt Engineering 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Chain-of-Thought Prompts Few-Shot Learning GenAI Basics Prompt Engineering
46. GenAI Basics Prompt Engineering Role Instruction Example 1 Context Example n Question Direktive Beispiele Rolle Format(ierung) der Ausgabe weitere Informationen
47. GenAI Basics Good Prompt vs. Bad Prompt You I want to cook something. LR Topic: Recipe Recommendations
48. GenAI Basics Good Prompt vs. Bad Prompt You I want to cook something. LR You Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by- step instructions? LR Output Example Context Question Role Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by-step instructions? You could point at recipes you like from the BBC’s Good Food guide, providing URL’s to recipes you love. Topic: Recipe Recommendations
49. GenAI Basics Good Prompt vs. Bad Prompt You I want to go on holiday. Where should I go? LR You Acting as a travel planner, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? LR Output Example Context Question Role Acting as travel planer, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? Show it holiday sites for hotels you like, describe places you’ve been before and what you loved about them. Topic: Holiyday Planning
50. GenAI Basics System Prompt vs. User Prompt System Assistant User „Du“ Chat-Model Verhalten des Assistenten
51. GenAI Basics System Prompt vs. User Prompt System Assistant User „Du“ Chat-Model Verhalten des Assistenten „Du bist ein freundlicher Assistent und fasst dich stets kurz.“ „Welches ist die schönste Stadt der Welt?“ „Welches ist die schönste Stadt der Welt?“ „Du bist ein Philosoph und neigst zu ausschweifenden Formulierungen.“ „Die ´schönste´ Stadt der Welt ist natürlich subjektiv … “ „Ach, allein schon die Frage nach der schönsten Stadt der Welt ist …“ 51 Wörter 269 Wörter
52. GenAI explained myDOMAIN
53. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics myDomain
54. GenAI- Model Prompt „Wie beantrage ich Urlaub bei open knowledge?“ GenAI Basics myDomain
55. GenAI- Model Prompt „Wie beantrage ich Urlaub bei open knowledge?“ GenAI Basics myDomain + „Urlaubsregelung bei open knowledge“
56. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain + „Urlaubsregelung bei open knowledge“
57. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain + „Urlaubsregelung + Alarmanlage bei open knowledge“ +
58. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain + „Alles interne Wissen (Wiki, DB, …) bei open knowledge“
59. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Token Limit exceeded Output Size Context Window Size
60. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Out-of-Budget Exception Context Window Size
61. GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Lost-in-the-Middle Context Window Size
62. GenAI Basics myDomain „Was sind Token Limits?“ • Context Window Size • Output Size • lange Anfragen sind teuer • lange Antworten sind noch teurer
63. Source: GenAI Pricing on Medium.com, Ragesh Gohel, March 2024
64. Source: GenAI Pricing on Medium.com, Ragesh Gohel, March 2024 128.000 Tokens? Kling viel! Ist aber für myDomain in der Regel zu wenig! 128.000 Tokens entsprechen ca. 350 Buchseiten. Harry Potter hat > 1 Mio.Wörter auf über 6.000 Seiten!
65. GenAI Advanced Wie kann ich mein eigenes Domänenwissen einbringen und abfragen?
66. GenAI- Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Token Limit exceeded! Output Size Context Window Size
67. myGenAI Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“
68. myGenAI Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ Option 1: Build own Model Option 2: Fine-tune existing Model ERROR: Way to expensive ERROR: Way to complex WARNING: Out-of-Sync
69. Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Prompt Enrichment“ „Model Enrichment“ myGenAI Model +
70. Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Prompt Enrichment“ „Model Enrichment“ + SOME MAGIC „MAGIC Enrichment“ GenAI- Model
71. Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ SOME MAGIC
72. Prompt „Wie beantrage ich Urlaub bei ok?“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“
73. Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge Database Retriever GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation
74. GenAI explained RAG Systems
75. Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge Database Retriever GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation
76. Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge Database GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation Retriever
77. GenAI Advanced RAG Systems „Wie beantrage ich Urlaub bei ok?“ GenAI Model Ingesting-Pipeline (Async.) Retriever Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting UI/UX Query- Embedding
78. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example
79. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example
80. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example
81. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Id Doc. Id Embedding 1 1 [-0.24, 0.15, …, 0.52] 2 1 [-0.13, 0.95, …, 0.31] […] […] […] Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example
82. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“
83. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]
84. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]
85. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62] & „Wovon handelt der Vortrag […] basierend auf folgendem Kontext: „Durch ein vorgeschaltetes Retrieval, um relevante Informationen aus einer eigenen dynamischen Datenbasis hinzuziehen, können fundierte Antworten geliefert werden.“
86. Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced RAG Systems „Wie beantrage ich Urlaub bei ok?“
87. Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced RAG Systems „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! „Wie beantrage ich Urlaub bei ok?“
88. GenAI Professional Was fehlt noch für einen nachhaltigen produktiven Betrieb?
89. Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Professional Guardrails „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück!
90. Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline GenAI Professional Guardrails „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! Profanity Check
91. Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline GenAI Professional Guardrails „Das kann ich dir leider nicht beantworten! „…. Faules Stück …“ „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! Profanity Check
92. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails „Welche Netflix-Serie würdest du mir empfehlen?“ „Das fällt nicht in meinen Aufgabenbereich!“ Guarding Topic Check
93. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails Output-Governance: Toxic Speach, Fact-Checking, Ethical-Guidelines, Cross-Validation, … Input-Evaluation: Prompt-Injection, Jailbreak-Versuche, Themen-Filter, PII-Bereinigung, Rate-Limiting,… Guarding
94. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Professional Monitoring Guarding
95. Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Response Quality Monitoring https://docs.confident-ai.com/docs/metrics-llm-evals G-Eval Summerization Answer Relevancy Faithfulness Summerization Hallucination Contextual Recall Contextual Relevancy Contextual Precision
96. Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Response Quality Monitoring Faithfulness Wird die durch unterstützt?
97. Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Response Quality Monitoring Passt die zum ? Answer Relevancy
98. Best Practices Was sind typische Stolperfallen, in die ich reinlaufen werde – und wie gehe ich damit um?
99. Retrieval Augmented Knowledge Database Retriever Generation Guarding Input Output Ingesting- Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Best Practices Real Life Survival Guide
100. „Die Antworten klingen schlüssig, sind aber falsch!“ GenAI Best Practices Real Life Survival Guide
101. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Input Hallucination Detection GenAI Best Practices Real Life Survival Guide Self Check Query- Embedding
102. UI/UX Guardrails Output Input Hallucination Detection GenAI Best Practices Real Life Survival Guide Self Check Manakul et al. (2023)
103. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Query- Embedding
104. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found Query- Embedding
105. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found Chunk not relevant Query- Embedding
106. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data
107. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: RAG kennt die benötigten Daten nicht.
108. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: RAG kennt die benötigten Daten nicht. Lösung: Passenden Ingestor implementieren.
109. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: Snapshot der Daten ist nicht aktuell genug.
110. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: Snapshot der Daten ist nicht aktuell genug. Lösung: Schnittstelle zum „kontinuierlichen“ Data-Sync.
111. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Query- Embedding
112. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Query- Embedding
113. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #1: Chunk-Sizes und Overlapping adaptieren. Query- Embedding
114. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #2: Andere Splitter verwenden (e.g. Semantic-Splitter). Query- Embedding
115. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung#3: Optimierung des Distanz-Thresholds bzw. k aus Top-k Query- Embedding
116. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #4: Auswahl eines besser geeigneten Embedding-Models. Query- Embedding
117. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #5: Hypothetical Document Embeddings (HyDE) Input HyDE Query- Embedding
118. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding
119. Real Life RAG #3 Chunk-not-relevant Challenge Problem: Chunk wird vom Model nicht als relevant erachtet. Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding
120. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #1: Für den Use-Case besser geeignetes Modell wählen. GenAI Model Query- Embedding
121. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) GenAI Model Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #2: Chunk um zusätzlichen Context erweitern (small-to-big). Chunk Query- Embedding
122. GenAI Model UI/UX Guardrails Input Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Query- Embedding
123. Ausblick Was ist neben der reinen Wissensabfrage noch alles möglich?
124. UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Was gibt es noch zu bedenken? „Alles interne Wissen bei open knowledge“
125. GenAI explained I18N
126. UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ GenAI Ausblick Multi-Language RAG Knowledge Database
127. UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ Language- Detection Translation Translation Translation GenAI Ausblick Multi-Language RAG Knowledge Database
128. UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ in mehreren Sprachen“ Translation Translation Translation Translation FR_fr language not supported domain specific wording GenAI Ausblick Multi-Language RAG Language- Detection
129. GenAI explained ACCESS CONTROL
130. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ Knowledge Database GenAI Ausblick Access Control
131. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Wie sehen die geheimen KPIS aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ Knowledge Database GenAI Ausblick Access Control
132. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Wie sehen die geheimen KPIS aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ Token Knowledge Database Input Guardrail Some kind of Attack? Prompt-Injection? Prompt-Abuse? Rate-Limit? GenAI Ausblick Access Control
133. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with AC Meta Data Retriever GenAI- Model „Wie sehen die geheimen KPIs aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ RBAC via PBF Token Token Input Guardrail GenAI Ausblick Access Control RBAC = Role based Access Control PBF = Permission based Filtering
134. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with AC Meta Data Retriever GenAI- Model „Wie sehen die Personaldaten von X aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ RBAC via PBF Token Token Input Guardrail Output Guardrail PII: Personally identifiable information? GenAI Ausblick Access Control
135. GenAI explained INTEGRATION
136. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ Knowledge Database GenAI Ausblick Integration
137. „Alles interne Wissen bei open knowledge“ GenAI Ausblick Integration GenAI based Service A P I ML as a Service Input Output UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“
138. GenAI explained AGENTS
139. UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Multi-Agenten Systeme „Alles interne Wissen bei open knowledge“
140. UI/UX Enterprise Integration „Beantrage meinen Urlaub, bitte!“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Multi-Agenten Systeme „Alles interne Wissen bei open knowledge“
141. GenAI Ausblick Multi-Agenten Systeme Retriever Memory Tools Planning Database Prompting Models API-Call „Folgendes habe ich beantragt: […] „Beantrage meinen Urlaub!“ UI/UX
142. Fazit Was sollte ich aus dem Workshop für mich und mein Team mitnehmen?
143. GenAI vom Prototypen zum produktiven Einsatz Was du heute mitnehmen solltest: • GenAI ist mächtig. Mächtig teuer. • Der Prompt ist dein Freund. • Jedes Modell ist anders. • RAG für eigenes Domänenwissen. • GenAI ist auch nur Software. Dein Use Case bestimmt den richtigen Weg!
144. „When deploying Generative AI technology, it is essential to adhere to best practices including employing models through validation, understanding the model’s limitations, ensuring ethical use, and monitoring for biases continuously.“ (Source: https://www.tredence.com/generative-ai-101)
146. Zeit für Fragen? Immer!
147. #WISSENTEILEN Vielen Dank! #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies
148. GenAI explained Bonusmaterial: PROMPTING
149. GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection Prompt Engineering 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Chain-of-Thought Prompts Few-Shot Learning GenAI Basics Prompt Engineering
150. GenAI Basics Prompt Engineering Looking for inspiration? Go to https://github.com/mustvlad/ChatGPT-System-Prompts
151. GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR Prompt Engineering Principles Source: Prompt Engineering for Generative AI, James Phoenix & Mike Taylor, O‘Reilly 2024
152. GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona. 2. Specify Format Define the rules to follow, and the required structure to respond. 3. Provide Examples Insert a deverse set if test cases where the task was done correctly. 4. Evaluate Quality Identify errors and rate responses, Testing what drives performance. You Please rate the product names based on their catchines, uniqueness, simplicity. Rate them on a scale from 1 to 5, with being 5 the highest score. Respond only with a table containing the results. LR ChatGPT Product Name Catchiness Uniqueness Simplicity iFitFoot 4 4 4 iPerfectFit 5 4 3 iShoeSize 3 3 5 5. Devide Labor Split the task into multiple steps, chained together for complex goals.
153. GenAI Basics Prompt Engineering You Question: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT The answer is 27. [NOT CORRECT] LR Chain of Thoughts Pattern
154. GenAI Basics Prompt Engineering You Question: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT A cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9. [CORRECT] LR „Anstatt das Sprachmodell direkt aufzufordern, das Problem zu lösen, verwenden wir eine Gedankenkette als Aufforderung, um das Modell durch Zwischenschritte zu führen."
155. GenAI Basics Prompt Engineering LR Source: https://promptengineering.org/master-prompting-concepts-chain-of-thought-prompting/
156. GenAI Basics Prompt Engineering You Please choose the best explanation to the question: Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, which can combine and grow into snowflakes as they fall through the atmosphere and accumulate on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 1 is the better explanation. It provides a more detailed and complete description of the process. It explains that water vapor freezes into ice crystals in the atmosphere and how these crystals can combine to form snowflakes as they fall through the air before accumulating on the ground. This explanation gives a clearer understanding of the formation process of snow compared to the shorter Explanation 2. LR Few-Shot Learning Pattern ???
157. GenAI Basics Prompt Engineering You Please choose the best explanation to the question: Question: Why is sky blue? Explanation1: The sky appears blue because of Rayleigh scattering, … making the sky look blue. Explanation2: Due to Rayleigh scattering effect. Answer: Explanation2 Question: What is the cause of earthquakes? Explanation1: Sudden release of energy in the Earth's crust. Explanation2: Earthquakes happen when tectonic plates suddenly slip or break apart, …. cause damage. Answer: Explanation1 Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, … on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 2. LR „Anstatt ein Modell mit vielen, vielen Daten zu füttern, geben wir ihm einige wenige Beispiele zur Orientierung." Beispiel 2 Beispiel 1 ???
158. GenAI explained Bonusmaterial: RAG in Action
164. GenAI explained Bonusmaterial: Nützliches
165. Hands-on GenAI Models
166. Source: https://lifearchitect.ai/ look for „Models Table“
167. Der Blick über den RAG-Tellerrand: Cognitive Architecture blog.langchain.dev/what-is-a-cognitive-architecture Wir sind hier
168. #WISSENTEILEN #WISSENTEILEN BILDNACHWEIS Folie 21: © photoplotnikov - istockphoto.com Folie 23: © Mix und Match Studios - shutterstock.com Folie 23: © Mix und Match Studios - shutterstock.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or are created by my own.