Generative AI und Architektur

Slide 1

Slide 1 text

Generative AI Vom Prototypen zum produktiven Einsatz #WISSENTEILEN powered by Lars Röwekamp | open knowledge GmbH

Slide 2

Slide 2 text

Generative AI Vom Prototypen zum produktiven Einsatz … und was das alles mit Architektur zu tun hat! #WISSENTEILEN powered by Lars Röwekamp | open knowledge GmbH

Slide 3

Slide 3 text

(Architecture, Cloud, AI & ML) Lars Röwekamp @mobileLarson CIO New Technologies OPEN KNOWLEDGE

Slide 4

Slide 4 text

Was ist GenAI? Wie funktioniert eigentlich dieses „Generative AI“?

Slide 5

Slide 5 text

No content

Slide 6

Slide 6 text

Ist das eine Katze? Neuronale Netze aka traditionelle KI Ist das eine Katze?

Slide 7

Slide 7 text

Das ist eine Katze Das ist keine Katze Neuronale Netze aka traditionelle KI fit Neural Network Katze Katze Katze Katze Hund Hund

Slide 8

Slide 8 text

Ist das eine Katze? Neuronale Netze aka traditionelle KI infer trained Neural Network mit Mustererkennug für Bilder von Katzen

Slide 9

Slide 9 text

Universelles Weltwissen Generative AI aka generierende KI Generative AI Model learn

Slide 10

Slide 10 text

Generative AI Model Prompting Was ist eine Katze? Eine Katze ist* … und sieht so aus. Generative AI aka generierende KI *basierend auf meinem Weltwissen

Slide 11

Slide 11 text

Generative AI vs traditionelle Neuronale Netze Predictive ML Model Generative Model lernt / erkennt Beziehungen zwischen Daten und Label lernt / versteht Zusammenhänge in unstrukturierten Daten Label neuer Content Label Daten Unstrukturierte Daten

Slide 12

Slide 12 text

Generative AI unter der Haube Large Language Model Mary had a … Large Language Model Mary had a little … Next Token red little delicious … Probability 0.2 0.4 0.1 … Next Token mouse lamb kettle … Probability 0.2 0.3 0.2 …

Slide 13

Slide 13 text

Generative AI unter der Haube Source: http://vectors.nlpl.eu/explore/embeddings/en/MOD_enwiki_upos_skipgram_300_2_2021/cat_NOUN/

Slide 14

Slide 14 text

Generative AI unter der Haube 1. queen – woman + man = king 2. doctor – man + woman = nurse Male-Female Verb Tense Country-Capital

Slide 15

Slide 15 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? word2vec style vectors

Slide 16

Slide 16 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state

Slide 17

Slide 17 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state Key-Vector: btw I‘am a noun describing a male person. Query-Vector: btw I‘am seeking for a noun describing a male person.

Slide 18

Slide 18 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? Transformer (LLM Layer) context aka hidden state John wants his bank to cash the … ? (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) ( ... )

Slide 19

Slide 19 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John (main character, male, married to Cheryl, cousin of Donald, from Minnesota, currently in Boise, … ) wants his bank to cash the … ?

Slide 20

Slide 20 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? Transformer (LLM Layer) John wants his bank to cash the … (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) Enough context information to be able to „guess“ the next word. check ( ... )

Slide 21

Slide 21 text

GenAI by Example? Wo kann ich GenAI heute realistisch nutzen?

Slide 22

Slide 22 text

GenAI by Example Health Care & Pharmaceuticals Advertisment & Marketing Media & Entertainment Production & Manufactoring Financial Services Software Development

Slide 23

Slide 23 text

GenAI by Example „Know Your Business!“ *wenn du am Ende erfolgreich sein möchtest.

Slide 24

Slide 24 text

GenAI Basics Wie baue ich ein erstes, einfaches GenAI System?

Slide 25

Slide 25 text

GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics

Slide 26

Slide 26 text

GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics Model Selection Prompt Engineering 2 1

Slide 27

Slide 27 text

GenAI explained MODELS

Slide 28

Slide 28 text

GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics Model Selection Prompt Engineering 2 Model Selection 1 Welches Model? Welche Parameter? Welche Infrastruktur? Welche Lizenz? Welches Preismodell? Welche Governance?

Slide 29

Slide 29 text

GenAI Basics Model Selection aka „Wie finde ich das passende Model?“

Slide 30

Slide 30 text

Source: https://lifearchitect.ai/ look for „LLM Billboard Charts“

Slide 31

Slide 31 text

GenAI Basics Model Selection „Was misst ein AI-Benchmark?“ • Allgemeinwissen • Programmierung • Mathematik • ... Offizielle Benchmarks oftmals Teil der Trainigsdaten! • Kreativität • Faktenwissen • Logik

Slide 32

Slide 32 text

GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“

Slide 33

Slide 33 text

GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ • für mein Problem • für meine Daten • für meinen Kontext • für meinen Geldbeutel

Slide 34

Slide 34 text

GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ Public, Private, Sizes, Purpose Data Privacy, Security, Explainability Complexity, Business Area Latency, Cost, Customizeability Traininig, Runtime, Availability Team Skills, Computational Power Availability Governance Use Case Performance Data Resources „Know Your Use-Case!“ *wenn du am Ende erfolgreich sein möchtest.

Slide 35

Slide 35 text

GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics Model Integration Prompt Engineering 2 Model Selection 1 Passendes Model gefunden. Aber wie spreche ich es aus meiner Anwendung heraus an?

Slide 36

Slide 36 text

Model A-small „Was ist das schönste Reiseziel?“ Model Provider model-name model-parameter provider-parameter prompt Model A-big Model B e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration

Slide 37

Slide 37 text

Model X mini „Was ist das schönste Reiseziel?“ Model Provider II model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration

Slide 38

Slide 38 text

Model X mini „Was ist das schönste Reiseziel?“ Model Provider II Provider II Client API model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … GenAI Basics Model Integration

Slide 39

Slide 39 text

„Was ist das schönste Reiseziel?“ Hub-Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud based Resources

Slide 40

Slide 40 text

Slide 41

Slide 41 text

„Was ist das schönste Reiseziel?“ Local-Hub Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. GPT4all, ollama Local hosted Models (Provider III) Local hosted Models (Provider II) Local hosted Models (own or adapted) Local-Hub Provider Dispatcher Local Machine GenAI Basics Model Integration

Slide 42

Slide 42 text

GenAI Basics Model Adaption „Welche zusätzlichen Stellschrauben habe ich?“ • Temperature Grad der „Fantasie“ • Max Tokens Länge der Antwort • Top K Auswahl der Treffer aus den top K Treffern • Top P Auswahl der Treffer aus den top P Prozent • Presence Penalty Wiederholungen werden vermieden • Frequence Penalty Wiederholungen werden gewichtet vermieden

Slide 43

Slide 43 text

GenAI explained PROMPTING

Slide 44

Slide 44 text

GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection Prompt Engineering 2 1 GenAI Basics Prompt Engineering

Slide 45

Slide 45 text

GenAI- Model Prompt „Was ist das schönste Reiseziel?“ Model Selection Prompt Engineering 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Chain-of-Thought Prompts Few-Shot Learning GenAI Basics Prompt Engineering

Slide 46

Slide 46 text

GenAI Basics Prompt Engineering Role Instruction Example 1 Context Example n Question Direktive Beispiele Rolle Format(ierung) der Ausgabe weitere Informationen

Slide 47

Slide 47 text

GenAI Basics Good Prompt vs. Bad Prompt You I want to cook something. LR Topic: Recipe Recommendations

Slide 48

Slide 48 text

GenAI Basics Good Prompt vs. Bad Prompt You I want to cook something. LR You Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by- step instructions? LR Output Example Context Question Role Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by-step instructions? You could point at recipes you like from the BBC’s Good Food guide, providing URL’s to recipes you love. Topic: Recipe Recommendations

Slide 49

Slide 49 text

GenAI Basics Good Prompt vs. Bad Prompt You I want to go on holiday. Where should I go? LR You Acting as a travel planner, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? LR Output Example Context Question Role Acting as travel planer, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? Show it holiday sites for hotels you like, describe places you’ve been before and what you loved about them. Topic: Holiyday Planning

Slide 50

Slide 50 text

GenAI Basics System Prompt vs. User Prompt System Assistant User „Du“ Chat-Model Verhalten des Assistenten

Slide 51

Slide 51 text

GenAI Basics System Prompt vs. User Prompt System Assistant User „Du“ Chat-Model Verhalten des Assistenten „Du bist ein freundlicher Assistent und fasst dich stets kurz.“ „Welches ist die schönste Stadt der Welt?“ „Welches ist die schönste Stadt der Welt?“ „Du bist ein Philosoph und neigst zu ausschweifenden Formulierungen.“ „Die ´schönste´ Stadt der Welt ist natürlich subjektiv … “ „Ach, allein schon die Frage nach der schönsten Stadt der Welt ist …“ 51 Wörter 269 Wörter

Slide 52

Slide 52 text

GenAI explained myDOMAIN

Slide 53

Slide 53 text

GenAI- Model Prompt „Was ist das schönste Reiseziel?“ GenAI Basics myDomain

Slide 54

Slide 54 text

GenAI- Model Prompt „Wie beantrage ich Urlaub bei open knowledge?“ GenAI Basics myDomain

Slide 55

Slide 55 text

GenAI- Model Prompt „Wie beantrage ich Urlaub bei open knowledge?“ GenAI Basics myDomain + „Urlaubsregelung bei open knowledge“

Slide 56

Slide 56 text

GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain + „Urlaubsregelung bei open knowledge“

Slide 57

Slide 57 text

GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain + „Urlaubsregelung + Alarmanlage bei open knowledge“ +

Slide 58

Slide 58 text

GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain + „Alles interne Wissen (Wiki, DB, …) bei open knowledge“

Slide 59

Slide 59 text

GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Token Limit exceeded Output Size Context Window Size

Slide 60

Slide 60 text

GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Out-of-Budget Exception Context Window Size

Slide 61

Slide 61 text

GenAI- Model Prompt „Wie schalte ich die Alarmanlage scharf bei ok?“ GenAI Basics myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Lost-in-the-Middle Context Window Size

Slide 62

Slide 62 text

GenAI Basics myDomain „Was sind Token Limits?“ • Context Window Size • Output Size • lange Anfragen sind teuer • lange Antworten sind noch teurer

Slide 63

Slide 63 text

Source: GenAI Pricing on Medium.com, Ragesh Gohel, March 2024

Slide 64

Slide 64 text

Source: GenAI Pricing on Medium.com, Ragesh Gohel, March 2024 128.000 Tokens? Kling viel! Ist aber für myDomain in der Regel zu wenig! 128.000 Tokens entsprechen ca. 350 Buchseiten. Harry Potter hat > 1 Mio.Wörter auf über 6.000 Seiten!

Slide 65

Slide 65 text

GenAI Advanced Wie kann ich mein eigenes Domänenwissen einbringen und abfragen?

Slide 66

Slide 66 text

GenAI- Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ + ERROR: Token Limit exceeded! Output Size Context Window Size

Slide 67

Slide 67 text

myGenAI Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“

Slide 68

Slide 68 text

myGenAI Model Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ Option 1: Build own Model Option 2: Fine-tune existing Model ERROR: Way to expensive ERROR: Way to complex WARNING: Out-of-Sync

Slide 69

Slide 69 text

Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Prompt Enrichment“ „Model Enrichment“ myGenAI Model +

Slide 70

Slide 70 text

Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI Advanced myDomain „Prompt Enrichment“ „Model Enrichment“ + SOME MAGIC „MAGIC Enrichment“ GenAI- Model

Slide 71

Slide 71 text

Prompt „Wie beantrage ich Urlaub bei ok?“ GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ SOME MAGIC

Slide 72

Slide 72 text

Prompt „Wie beantrage ich Urlaub bei ok?“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“

Slide 73

Slide 73 text

Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge Database Retriever GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation

Slide 74

Slide 74 text

GenAI explained RAG Systems

Slide 75

Slide 75 text

Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge Database Retriever GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation

Slide 76

Slide 76 text

Prompt „Wie beantrage ich Urlaub bei ok?“ Ingesting- Pipeline Knowledge Database GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation Retriever

Slide 77

Slide 77 text

GenAI Advanced RAG Systems „Wie beantrage ich Urlaub bei ok?“ GenAI Model Ingesting-Pipeline (Async.) Retriever Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting UI/UX Query- Embedding

Slide 78

Slide 78 text

Slide 79

Slide 79 text

„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“

Slide 83

Slide 83 text

Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62] & „Wovon handelt der Vortrag […] basierend auf folgendem Kontext: „Durch ein vorgeschaltetes Retrieval, um relevante Informationen aus einer eigenen dynamischen Datenbasis hinzuziehen, können fundierte Antworten geliefert werden.“

Slide 86

Slide 86 text

Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced RAG Systems „Wie beantrage ich Urlaub bei ok?“

Slide 87

Slide 87 text

Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced RAG Systems „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! „Wie beantrage ich Urlaub bei ok?“

Slide 88

Slide 88 text

GenAI Professional Was fehlt noch für einen nachhaltigen produktiven Betrieb?

Slide 89

Slide 89 text

Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Professional Guardrails „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück!

Slide 90

Slide 90 text

Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline GenAI Professional Guardrails „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! Profanity Check

Slide 91

Slide 91 text

Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline GenAI Professional Guardrails „Das kann ich dir leider nicht beantworten! „…. Faules Stück …“ „Wie beantrage ich Urlaub bei ok?“ „Wer so arbeitet wie du braucht keinen Urlaub. Faules Stück! Profanity Check

Slide 92

Slide 92 text

Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails „Welche Netflix-Serie würdest du mir empfehlen?“ „Das fällt nicht in meinen Aufgabenbereich!“ Guarding Topic Check

Slide 93

Slide 93 text

Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails Output-Governance: Toxic Speach, Fact-Checking, Ethical-Guidelines, Cross-Validation, … Input-Evaluation: Prompt-Injection, Jailbreak-Versuche, Themen-Filter, PII-Bereinigung, Rate-Limiting,… Guarding

Slide 94

Slide 94 text

Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Professional Monitoring Guarding

Slide 95

Slide 95 text

Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Response Quality Monitoring https://docs.confident-ai.com/docs/metrics-llm-evals G-Eval Summerization Answer Relevancy Faithfulness Summerization Hallucination Contextual Recall Contextual Relevancy Contextual Precision

Slide 96

Slide 96 text

Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Response Quality Monitoring Faithfulness Wird die durch unterstützt?

Slide 97

Slide 97 text

Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Response Quality Monitoring Passt die zum ? Answer Relevancy

Slide 98

Slide 98 text

Best Practices Was sind typische Stolperfallen, in die ich reinlaufen werde – und wie gehe ich damit um?

Slide 99

Slide 99 text

Retrieval Augmented Knowledge Database Retriever Generation Guarding Input Output Ingesting- Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Best Practices Real Life Survival Guide

Slide 100

Slide 100 text

„Die Antworten klingen schlüssig, sind aber falsch!“ GenAI Best Practices Real Life Survival Guide

Slide 101

Slide 101 text

GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Input Hallucination Detection GenAI Best Practices Real Life Survival Guide Self Check Query- Embedding

Slide 102

Slide 102 text

UI/UX Guardrails Output Input Hallucination Detection GenAI Best Practices Real Life Survival Guide Self Check Manakul et al. (2023)

Slide 103

Slide 103 text

GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Query- Embedding

Slide 104

Slide 104 text

Slide 105

Slide 105 text

Slide 106

Slide 106 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data

Slide 107

Slide 107 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: RAG kennt die benötigten Daten nicht.

Slide 108

Slide 108 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: RAG kennt die benötigten Daten nicht. Lösung: Passenden Ingestor implementieren.

Slide 109

Slide 109 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: Snapshot der Daten ist nicht aktuell genug.

Slide 110

Slide 110 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: Snapshot der Daten ist nicht aktuell genug. Lösung: Schnittstelle zum „kontinuierlichen“ Data-Sync.

Slide 111

Slide 111 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Query- Embedding

Slide 112

Slide 112 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Query- Embedding

Slide 113

Slide 113 text

Slide 114

Slide 114 text

Slide 115

Slide 115 text

Slide 116

Slide 116 text

Slide 117

Slide 117 text

Slide 118

Slide 118 text

Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding

Slide 119

Slide 119 text

Real Life RAG #3 Chunk-not-relevant Challenge Problem: Chunk wird vom Model nicht als relevant erachtet. Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding

Slide 120

Slide 120 text

Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #1: Für den Use-Case besser geeignetes Modell wählen. GenAI Model Query- Embedding

Slide 121

Slide 121 text

Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) GenAI Model Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #2: Chunk um zusätzlichen Context erweitern (small-to-big). Chunk Query- Embedding

Slide 122

Slide 122 text

GenAI Model UI/UX Guardrails Input Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Query- Embedding

Slide 123

Slide 123 text

Ausblick Was ist neben der reinen Wissensabfrage noch alles möglich?

Slide 124

Slide 124 text

UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Was gibt es noch zu bedenken? „Alles interne Wissen bei open knowledge“

Slide 125

Slide 125 text

GenAI explained I18N

Slide 126

Slide 126 text

UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ GenAI Ausblick Multi-Language RAG Knowledge Database

Slide 127

Slide 127 text

UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ Language- Detection Translation Translation Translation GenAI Ausblick Multi-Language RAG Knowledge Database

Slide 128

Slide 128 text

UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ in mehreren Sprachen“ Translation Translation Translation Translation FR_fr language not supported domain specific wording GenAI Ausblick Multi-Language RAG Language- Detection

Slide 129

Slide 129 text

GenAI explained ACCESS CONTROL

Slide 130

Slide 130 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Alles interne Wissen bei open knowledge“ „Wie beantrage ich Urlaub bei ok?“ Knowledge Database GenAI Ausblick Access Control

Slide 131

Slide 131 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model „Wie sehen die geheimen KPIS aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ Knowledge Database GenAI Ausblick Access Control

Slide 132

Slide 132 text

Slide 133

Slide 133 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with AC Meta Data Retriever GenAI- Model „Wie sehen die geheimen KPIs aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ RBAC via PBF Token Token Input Guardrail GenAI Ausblick Access Control RBAC = Role based Access Control PBF = Permission based Filtering

Slide 134

Slide 134 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with AC Meta Data Retriever GenAI- Model „Wie sehen die Personaldaten von X aus bei ok?“ „Alles interne Wissen bei open knowledge“ inkl GF-Info, etc.“ RBAC via PBF Token Token Input Guardrail Output Guardrail PII: Personally identifiable information? GenAI Ausblick Access Control

Slide 135

Slide 135 text

GenAI explained INTEGRATION

Slide 136

Slide 136 text

Slide 137

Slide 137 text

„Alles interne Wissen bei open knowledge“ GenAI Ausblick Integration GenAI based Service A P I ML as a Service Input Output UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“

Slide 138

Slide 138 text

GenAI explained AGENTS

Slide 139

Slide 139 text

UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei ok?“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Multi-Agenten Systeme „Alles interne Wissen bei open knowledge“

Slide 140

Slide 140 text

UI/UX Enterprise Integration „Beantrage meinen Urlaub, bitte!“ Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Ausblick Multi-Agenten Systeme „Alles interne Wissen bei open knowledge“

Slide 141

Slide 141 text

GenAI Ausblick Multi-Agenten Systeme Retriever Memory Tools Planning Database Prompting Models API-Call „Folgendes habe ich beantragt: […] „Beantrage meinen Urlaub!“ UI/UX

Slide 142

Slide 142 text

Fazit Was sollte ich aus dem Workshop für mich und mein Team mitnehmen?

Slide 143

Slide 143 text

GenAI vom Prototypen zum produktiven Einsatz Was du heute mitnehmen solltest: • GenAI ist mächtig. Mächtig teuer. • Der Prompt ist dein Freund. • Jedes Modell ist anders. • RAG für eigenes Domänenwissen. • GenAI ist auch nur Software. Dein Use Case bestimmt den richtigen Weg!

Slide 144

Slide 144 text

„When deploying Generative AI technology, it is essential to adhere to best practices including employing models through validation, understanding the model’s limitations, ensuring ethical use, and monitoring for biases continuously.“ (Source: https://www.tredence.com/generative-ai-101)

Slide 145

Slide 145 text

No content

Slide 146

Slide 146 text

Zeit für Fragen? Immer!

Slide 147

Slide 147 text

#WISSENTEILEN Vielen Dank! #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies

Slide 148

Slide 148 text

GenAI explained Bonusmaterial: PROMPTING

Slide 149

Slide 149 text

Slide 150

Slide 150 text

GenAI Basics Prompt Engineering Looking for inspiration? Go to https://github.com/mustvlad/ChatGPT-System-Prompts

Slide 151

Slide 151 text

Slide 152

Slide 152 text

GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona. 2. Specify Format Define the rules to follow, and the required structure to respond. 3. Provide Examples Insert a deverse set if test cases where the task was done correctly. 4. Evaluate Quality Identify errors and rate responses, Testing what drives performance. You Please rate the product names based on their catchines, uniqueness, simplicity. Rate them on a scale from 1 to 5, with being 5 the highest score. Respond only with a table containing the results. LR ChatGPT Product Name Catchiness Uniqueness Simplicity iFitFoot 4 4 4 iPerfectFit 5 4 3 iShoeSize 3 3 5 5. Devide Labor Split the task into multiple steps, chained together for complex goals.

Slide 153

Slide 153 text

GenAI Basics Prompt Engineering You Question: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT The answer is 27. [NOT CORRECT] LR Chain of Thoughts Pattern

Slide 154

Slide 154 text

GenAI Basics Prompt Engineering You Question: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT A cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9. [CORRECT] LR „Anstatt das Sprachmodell direkt aufzufordern, das Problem zu lösen, verwenden wir eine Gedankenkette als Aufforderung, um das Modell durch Zwischenschritte zu führen."

Slide 155

Slide 155 text

GenAI Basics Prompt Engineering LR Source: https://promptengineering.org/master-prompting-concepts-chain-of-thought-prompting/

Slide 156

Slide 156 text

GenAI Basics Prompt Engineering You Please choose the best explanation to the question: Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, which can combine and grow into snowflakes as they fall through the atmosphere and accumulate on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 1 is the better explanation. It provides a more detailed and complete description of the process. It explains that water vapor freezes into ice crystals in the atmosphere and how these crystals can combine to form snowflakes as they fall through the air before accumulating on the ground. This explanation gives a clearer understanding of the formation process of snow compared to the shorter Explanation 2. LR Few-Shot Learning Pattern ???

Slide 157

Slide 157 text

GenAI Basics Prompt Engineering You Please choose the best explanation to the question: Question: Why is sky blue? Explanation1: The sky appears blue because of Rayleigh scattering, … making the sky look blue. Explanation2: Due to Rayleigh scattering effect. Answer: Explanation2 Question: What is the cause of earthquakes? Explanation1: Sudden release of energy in the Earth's crust. Explanation2: Earthquakes happen when tectonic plates suddenly slip or break apart, …. cause damage. Answer: Explanation1 Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, … on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 2. LR „Anstatt ein Modell mit vielen, vielen Daten zu füttern, geben wir ihm einige wenige Beispiele zur Orientierung." Beispiel 2 Beispiel 1 ???

Slide 158

Slide 158 text

GenAI explained Bonusmaterial: RAG in Action

Slide 159

Slide 159 text

No content

Slide 160

Slide 160 text

No content

Slide 161

Slide 161 text

No content

Slide 162

Slide 162 text

No content

Slide 163

Slide 163 text

No content

Slide 164

Slide 164 text

GenAI explained Bonusmaterial: Nützliches

Slide 165

Slide 165 text

Hands-on GenAI Models

Slide 166

Slide 166 text

Source: https://lifearchitect.ai/ look for „Models Table“

Slide 167

Slide 167 text

Der Blick über den RAG-Tellerrand: Cognitive Architecture blog.langchain.dev/what-is-a-cognitive-architecture Wir sind hier

Slide 168

Slide 168 text

#WISSENTEILEN #WISSENTEILEN BILDNACHWEIS Folie 21: © photoplotnikov - istockphoto.com Folie 23: © Mix und Match Studios - shutterstock.com Folie 23: © Mix und Match Studios - shutterstock.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or are created by my own.