Tweet
Tweet

Slide 1

Slide 1 text

Generative AI Vom Prototypen zum produktiven Einsatz … und was das alles mit Architektur zu tun hat. #WISSENTEILEN powered by Lars Röwekamp | Tim Wüllner | open knowledge GmbH Hands-on Workshop

Slide 2

Slide 2 text

(Architecture, Cloud, AI & ML) Lars Röwekamp LinkedIn: lars-roewekamp CIO New Technologies OPEN KNOWLEDGE

Slide 3

Slide 3 text

Tim Wüllner LinkedIn: tim-wuellner Machine Learning Engineer OPEN KNOWLEDGE

Slide 4

Slide 4 text

Was ist GenAI? Wie funktioniert eigentlich dieses „Generative AI“?

Slide 5

Slide 5 text

No content

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

Die Idee: Frage und Antwort liegen SEMANTISCH dicht beieinander. Wie generiert ein LLM-Modell eine Antwort?

Slide 8

Slide 8 text

Die Idee: Frage und Antwort liegen SEMANTISCH dicht beieinander. Die semantische Nähe wird MATHEMATISCH mit Hilfe von Vektoren abgebildet. Wie generiert ein LLM-Modell eine Antwort?

Slide 9

Slide 9 text

Hund Katze Tiger Maus Hamburg Berlin Madrid Amazonas Embedding Model 0.6 0.3 0.1 … 0.8 0.5 0.3 … 0.4 0.2 0.9 … Embeddings (semantische Vektoren)

Slide 10

Slide 10 text

Hund Katze Tiger Maus Hamburg Berlin Madrid Amazonas Embedding Model 0.6 0.3 0.1 … 0.8 0.5 0.3 … 0.4 0.2 0.9 … Embeddings (semantische Vektoren) Berlin: Stadt, Europa, Hauptstadt von Deutschland, …

Slide 11

Slide 11 text

Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas Embedding Model 0.6 0.3 0.1 … 0.8 0.5 0.3 … 0.4 0.2 0.9 … Hund Katze Tiger Maus Hamburg Berlin Madrid Amazonas Berlin: Stadt, Europa, Hauptstadt von Deutschland, …

Slide 12

Slide 12 text

Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas Embedding Model 0.6 0.3 0.1 … 0.8 0.5 0.3 … 0.4 0.2 0.9 … Hund Katze Tiger Maus Hamburg Berlin Madrid Amazonas

Slide 13

Slide 13 text

Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas „Kannst du mir ein paar europäische Hauptstädte nennen?“ Embedding Model 0.8 0.5 0.4 … „Kannst du mir …“: Stadt, Europa, Hauptstadt, … FRAGE:

Slide 14

Slide 14 text

Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas Embedding Model 0.8 0.5 0.4 … „Kannst du mir …“: Stadt, Europa, Hauptstadt, … „Kannst du mir ein paar europäische Hauptstädte nennen?“ FRAGE:

Slide 15

Slide 15 text

Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas Embedding Model 0.8 0.5 0.4 … „Kannst du mir …“: Stadt, Europa, Hauptstadt, … Unser Ziel? „Kannst du mir ein paar europäische Hauptstädte nennen?“ FRAGE:

Slide 16

Slide 16 text

Hamburg Berlin Madrid Amazonas Unser Ziel? Alles dafür tun, dass „Frage“ und „Antwort“ möglichst dicht beieinander liegen!

Slide 17

Slide 17 text

Source: http://vectors.nlpl.eu/explore/embeddings/en/MOD_enwiki_upos_skipgram_300_2_2021/cat_NOUN/

Slide 18

Slide 18 text

man woman king queen Ok, aber was ist jetzt das Tolle daran?

Slide 19

Slide 19 text

man woman king queen queen – woman + man = king Ok, aber was ist jetzt das Tolle daran? Wir können damit rechnen und „verstehen“.

Slide 20

Slide 20 text

man woman king queen Ok, aber was ist jetzt das Tolle daran? Wir können damit rechnen und „verstehen“. doctor – man + woman = ?

Slide 21

Slide 21 text

man woman king queen Ok, aber was ist jetzt das Tolle daran? Wir können damit rechnen und „verstehen“. doctor – man + woman = nurse

Slide 22

Slide 22 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? word2vec style vectors

Slide 23

Slide 23 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state

Slide 24

Slide 24 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state Key-Vector: btw I‘am a noun describing a male person. Query-Vector: btw I‘am seeking for a noun describing a male person.

Slide 25

Slide 25 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? Transformer (LLM Layer) context aka hidden state John wants his bank to cash the … ? (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) ( ... )

Slide 26

Slide 26 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John (main character, male, married to Cheryl, cousin of Donald, from Minnesota, currently in Boise, … ) wants his bank to cash the … ?

Slide 27

Slide 27 text

Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? Transformer (LLM Layer) John wants his bank to cash the … (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) Enough context information to be able to „guess“ the next word. cheque ( ... )

Slide 28

Slide 28 text

Generative AI under the Hood Large Language Model John wants his bank to … Large Language Model Next Token increase cash close … Probability 0.2 0.4 0.1 … Next Token account cheque money order … Probability 0.15 0.75 0.05 … John wants his bank to cash the …

Slide 29

Slide 29 text

GenAI am Beispiel? Wo kann ich GenAI heute realistisch nutzen - und wo eher nicht?

Slide 30

Slide 30 text

Generative AI am Beispiel

Slide 31

Slide 31 text

Health Care & Pharmaceuticals Advertisment & Marketing Media & Entertainment Production & Manufactoring Financial Services Software Development Generative AI am Beispiel

Slide 32

Slide 32 text

„Know Your Business!“ *wenn du am Ende erfolgreich sein möchtest. Generative AI am Beispiel

Slide 33

Slide 33 text

GenAI Basics Wie baue ich ein erstes, einfaches GenAI System?

Slide 34

Slide 34 text

GenAI- Model Prompt GenAI Basics „Was ist das schönste Reiseziel auf der Welt?“

Slide 35

Slide 35 text

Model A-small Model Provider model-name model-parameter provider-parameter prompt Model A-big Model B e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“ Reminder: 00-hello-genai.ipynb

Slide 36

Slide 36 text

Hands-On Erstellen eines Jupyter Notebooks in der Google Colab Umgebung. Aufrufen eines GenAI Models mit Prompt via Provider-spezifischer API. Hello IPYNB*, hello GenAI *Python Notebook aka Jupyter Notebook

Slide 37

Slide 37 text

https://colab.research.google.com/

Slide 38

Slide 38 text

Hands-on Hello Colab https://colab.research.google.com/

Slide 39

Slide 39 text

https://github.com/openknowledge/workshop-genai-student

Slide 40

Slide 40 text

Hands-on Hello GenAI World Jupyter Notebook https://github.com/openknowledge/workshop-genai-student

Slide 41

Slide 41 text

Hands-on Hello GenAI World Jupyter Notebook https://github.com/openknowledge/workshop-genai-student

Slide 42

Slide 42 text

GenAI- Model Prompt GenAI Basics „Was ist das schönste Reiseziel auf der Welt?“

Slide 43

Slide 43 text

GenAI- Model Prompt GenAI Basics Model Selection Prompt Engineering 2 1 „Was ist das schönste Reiseziel auf der Welt?“

Slide 44

Slide 44 text

GenAI explained MODELS

Slide 45

Slide 45 text

GenAI- Model Prompt GenAI Basics Model Selection Prompt Engineering 2 Model Selection „Was ist das schönste Reiseziel auf der Welt?“ Welches Model? Welche Parameter? Welche Infrastruktur? Welche Lizenz? Welches Preismodell? Welche Governance? 1

Slide 46

Slide 46 text

GenAI Basics Model Selection „In the world of GenAI, model selection is part of the product design. It affects user experience, cost, scalability, and reliability.“ „While we might not pick the perfect model on the first try, starting with clear priorities like speed, cost, accuracy helps guide the process.“

Slide 47

Slide 47 text

GenAI Basics Model Selection aka „Wie finde* ich das passende Model?“ Step 1 Step 2 Step 3 Step 4

Slide 48

Slide 48 text

GenAI Basics Model Selection aka „Wie finde* ich das passende Model?“ Konkreten GenAI Use Case definieren Den Zweck und die Anwendung von GenAl klar umreißen. 1. Use Case Step 2 Step 3 Step 4

Slide 49

Slide 49 text

GenAI Basics Model Selection aka „Wie finde* ich das passende Model?“ Konkreten GenAI Use Case definieren Short-List von Foundation Models erstellen Den Zweck und die Anwendung von GenAl klar umreißen. Modelle, die den fachlichen und technischen Anforderungen entsprechen. 1. Use Case 2. Short-List Step 3 Step 4

Slide 50

Slide 50 text

GenAI Basics Model Selection aka „Wie finde* ich das passende Model?“ Konkreten GenAI Use Case definieren Short-List von Foundation Models erstellen Ausgewählte Modelle evaluieren und Testen Den Zweck und die Anwendung von GenAl klar umreißen. Modelle, die den fachlichen und technischen Anforderungen entsprechen. Gründliche Tests durchführen, um die Modellleistung im eigenen Kontext zu bewerten. 1. Use Case 2. Short-List 3. Evaluation Step 4

Slide 51

Slide 51 text

GenAI Basics Model Selection aka „Wie finde* ich das passende Model?“ Konkreten GenAI Use Case definieren Short-List von Foundation Models erstellen Ausgewählte Modelle evaluieren und Testen Beste Modelle integrieren und fortlaufend evaluieren Den Zweck und die Anwendung von GenAl klar umreißen. Modelle, die den fachlichen und technischen Anforderungen entsprechen. Gründliche Tests durchführen, um die Modellleistung im eigenen Kontext zu bewerten. Integrieren, regelmäßig bewerten und ggf. optimieren der Leistung des Modells. 1. Use Case 2. Short-List 3. Evaluation 4. Integration

Slide 52

Slide 52 text

GenAI Basics Model Selection aka „Wie finde* ich das passende Model?“ „Know Your Use-Case!“ *wenn du am Ende erfolgreich sein möchtest.

Slide 53

Slide 53 text

GenAI- Model Prompt GenAI Basics Model Integration Prompt Engineering 2 Model Selection 1 „Was ist das schönste Reiseziel auf der Welt?“ Passendes Model gefunden. Aber wie spreche ich es aus meiner Anwendung heraus an?

Slide 54

Slide 54 text

Model A-small Model Provider model-name model-parameter provider-parameter prompt Model A-big Model B e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“ Reminder: 00-hello-genai.ipynb

Slide 55

Slide 55 text

Model X mini Model Provider II model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“

Slide 56

Slide 56 text

Model X mini Model Provider II Provider II Client API model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“ Die openAI API ist aktuell der de-facto Standard.

Slide 57

Slide 57 text

Hub-Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud based Resources „Was ist das schönste Reiseziel auf der Welt?“

Slide 58

Slide 58 text

Hub-Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration cloud-not-allowed exception „Was ist das schönste Reiseziel auf der Welt?“

Slide 59

Slide 59 text

Local-Hub Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. GPT4all, ollama Local hosted Models (Provider III) Local hosted Models (Provider II) Local hosted Models (own or adaptedI) Local-Hub Provider Dispatcher Local Machine GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“

Slide 60

Slide 60 text

GenAI Basics Model Adaption „Welche zusätzlichen Stellschrauben habe ich?“ • Temperature Grad der „Fantasie“ • Max Tokens Länge der Antwort • Top K Auswahl der Treffer aus den top K Treffern • Top P Auswahl der Treffer aus den top P Prozent • Presence Penalty Wiederholungen werden vermieden • Frequence Penalty Wiederholungen werden gewichtet vermieden

Slide 61

Slide 61 text

GenAI explained PROMPTING

Slide 62

Slide 62 text

GenAI- Model Prompt Model Selection Prompt Engineering 2 1 GenAI Basics Prompt Engineering „„Was ist das schönste Reiseziel auf der Welt?“

Slide 63

Slide 63 text

GenAI- Model Prompt Model Selection Prompt Engineering 1 Parts of a Prompt System vs User Prompt Principles of Prompting Patterns for Prompting Context Window Query vs Chat GenAI Basics Prompt Engineering „„Was ist das schönste Reiseziel auf der Welt?“ 2

Slide 64

Slide 64 text

Role Instruction Example 1 Context Example n Question Wie sollte ein guter Prompt aufgebaut sein? Who am I (or the assistant)? What is my intention? What are helpful examples? Are there any additional information? BTW: what is the task I ask for? GenAI Basics Good Prompt vs. Bad Prompt

Slide 65

Slide 65 text

GenAI Basics Good Prompt vs. Bad Prompt You I want to go on holiday. Where should I go? LR Topic: Holiyday Planning

Slide 66

Slide 66 text

GenAI Basics Good Prompt vs. Bad Prompt You I want to go on holiday. Where should I go? LR You Acting as a travel planner, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? LR Output Example Context Question Role Acting as travel planer, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? Show it holiday sites for hotels you like, describe places you’ve been before and what you loved about them. Topic: Holiyday Planning

Slide 67

Slide 67 text

GenAI Basics Good Prompt vs. Bad Prompt You I want to cook something. LR Topic: Recipe Recommendations

Slide 68

Slide 68 text

GenAI Basics Good Prompt vs. Bad Prompt You I want to cook something. LR You Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by- step instructions? LR Output Example Context Question Role Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by-step instructions? You could point at recipes you like from the BBC’s Good Food guide, providing URL’s to recipes you love. Topic: Recipe Recommendations

Slide 69

Slide 69 text

GenAI Basics System Prompt vs. User Prompt System Assistant User ‘You're a friendly assistant.’ „Du“ Chat-Model Verhalten des Assistenten

Slide 70

Slide 70 text

GenAI Basics System Prompt vs. User Prompt System Assistant User ‘You're a friendly assistant and always keep things brief.’ ‚Which is the most beautiful city in the world?‘ ‚Which is the most beautiful city in the world?‘ ‘You are a philosopher and have a tendency to be verbose.’ ??? ??? „Du“ Chat-Model Verhalten des Assistenten

Slide 71

Slide 71 text

GenAI Basics System Prompt vs. User Prompt System-Prompt: ‘You're a friendly assistant and always keep things brief.’ Assistant: 65 Tokens

Slide 72

Slide 72 text

GenAI Basics System Prompt vs. User Prompt System-Prompt: ‘You are a philosopher and have a tendency to be verbose.’ Assistant: 434 Tokens

Slide 73

Slide 73 text

GenAI Basics System Prompt vs. User Prompt System-Prompt: Default GPT-4o Assistant: 296 Tokens

Slide 74

Slide 74 text

GenAI Basics Patterns for Prompting Pros & Cons Consideration Stepwise Interaction Flipped Interaction Discussion of Experts I‘am planing to travel to China. I‘am planing a trip to China. I‘am planing a trip to China. I‘am planing a trip to China.

Slide 75

Slide 75 text

GenAI Basics Patterns for Prompting I‘am planing to travel to China. Please analyze the pros and cons of traveling by bike, ship or plane. Pros & Cons Consideration Stepwise Interaction Flipped Interaction Discussion of Experts I‘am planing a trip to China. I‘am planing a trip to China. I‘am planing a trip to China.

Slide 76

Slide 76 text

GenAI Basics Patterns for Prompting I‘am planing to travel to China. Please analyze the pros and cons of traveling by bike, ship or plane. Pros & Cons Consideration Stepwise Interaction Flipped Interaction Discussion of Experts I‘am planing a trip to China. Walk me through the planing process step by step, explaining your reasoning at each stage. Wait for my con- firmation before moving to the next step. I‘am planing a trip to China. I‘am planing a trip to China.

Slide 77

Slide 77 text

GenAI Basics Patterns for Prompting I‘am planing to travel to China. Please analyze the pros and cons of traveling by bike, ship or plane. Pros & Cons Consideration Stepwise Interaction Flipped Interaction Discussion of Experts I‘am planing a trip to China. Walk me through the planing process step by step, explaining your reasoning at each stage. Wait for my con- firmation before moving to the next step. I‘am planing a trip to China. Before providing a solution, please ask me relevant questions about the trip, so that you can give me the most appropriate planing advice.“ I‘am planing a trip to China.

Slide 78

Slide 78 text

GenAI Basics Patterns for Prompting I‘am planing to travel to China. Please analyze the pros and cons of traveling by bike, ship or plane. Pros & Cons Consideration Stepwise Interaction Flipped Interaction Discussion of Experts I‘am planing a trip to China. Walk me through the planing process step by step, explaining your reasoning at each stage. Wait for my con- firmation before moving to the next step. I‘am planing a trip to China. Before providing a solution, please ask me relevant questions about the trip, so that you can give me the most appropriate planing advice.“ I‘am planing a trip to China. I am torn between sustainable and cheap travelling. Can you provide two schools or trends within the travel community that can represent the two approaches.

Slide 79

Slide 79 text

GenAI Basics Prompt Injection https://gandalf.lakera.ai/

Slide 80

Slide 80 text

Hands-On Prompten mit System Prompt unter Verwendung verschiedener Prompting Pattern und Best Practices. Extended Prompting via „Chat-Bot“ unter Verwendung eines Storybooks und der Chat Historie. Prompting & Models

Slide 81

Slide 81 text

Hands-on Prompting & Models

Slide 82

Slide 82 text

No content

Slide 83

Slide 83 text

GenAI explained myDOMAIN

Slide 84

Slide 84 text

GenAI- Model Prompt GenAI Basics myDomain „„Was ist das schönste Reiseziel auf der Welt?“

Slide 85

Slide 85 text

GenAI- Model Prompt GenAI Basics myDomain „Wie beantrage ich Urlaub bei open knowledge?“

Slide 86

Slide 86 text

GenAI- Model Prompt GenAI Basics myDomain + „Wie beantrage ich Urlaub bei open knowledge?“ „Urlaubsregelung bei open knowledge“

Slide 87

Slide 87 text

GenAI- Model Prompt GenAI Basics myDomain + „Wie aktiviere ich die Alarmanlage bei open knowledge?“ „Urlaubsregelung bei open knowledge“

Slide 88

Slide 88 text

GenAI- Model Prompt GenAI Basics myDomain + + „Wie aktiviere ich die Alarmanlage bei open knowledge?“ „Urlaubsregelung + Alarmanlage bei open knowledge“

Slide 89

Slide 89 text

GenAI- Model Prompt GenAI Basics myDomain + „Alles interne Wissen (Wiki, DB, …) bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“

Slide 90

Slide 90 text

GenAI- Model Prompt GenAI Basics myDomain + ERROR: Token Limit exceeded Output Size Context Window Size „Wie mache ich XYZ bei open knowledge?“ „Alles interne Wissen (Wiki, DB, …) bei open knowledge“

Slide 91

Slide 91 text

(Source: https://www.meibel.ai/post/understanding-the-impact-of-increasing-llm-context-windows)

Slide 92

Slide 92 text

GenAI- Model Prompt GenAI Basics myDomain + ERROR: Out-of-Budget Exception Context Window Size „Alles interne Wissen (Wiki, DB, …) bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“

Slide 93

Slide 93 text

GenAI- Model Prompt GenAI Basics myDomain + ERROR: Lost-in-the-Middle Context Window Size „Wie mache ich XYZ bei open knowledge?“ „Alles interne Wissen (Wiki, DB, …) bei open knowledge“

Slide 94

Slide 94 text

GenAI- Model Prompt GenAI Basics myDomain + ERROR: Self-fullfilling Prophecy Context Window Size Context Window Size Context Window Size Context Window Size „Alles interne Wissen (Wiki, DB, …) bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“

Slide 95

Slide 95 text

GenAI Advanced Wie kann ich mein eigenes Domänenwissen einbringen und abfragen?

Slide 96

Slide 96 text

GenAI- Model Prompt GenAI Advanced myDomain + ERROR: Token Limit exceeded! Output Size Context Window Size „Alles interne Wissen bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“

Slide 97

Slide 97 text

myGenAI Model Prompt GenAI Advanced myDomain „Wie mache ich XYZ bei open knowledge?“ „Alles interne Wissen bei open knowledge“

Slide 98

Slide 98 text

myGenAI Model Prompt GenAI Advanced myDomain Option 1: Build own Model Option 2: Fine-tune existing Model ERROR: Way to expensive ERROR: Way to complex WARNING: Out-of-Sync „Wie mache ich XYZ bei open knowledge?“ „Alles interne Wissen bei open knowledge“

Slide 99

Slide 99 text

Prompt GenAI Advanced myDomain „Prompt Enrichment“ „Model Enrichment“ myGenAI Model + „Wie mache ich XYZ bei open knowledge?“

Slide 100

Slide 100 text

Prompt GenAI Advanced myDomain GenAI- Model SOME MAGIC „MAGIC Enrichment“ „Wie mache ich XYZ bei open knowledge?“

Slide 101

Slide 101 text

Prompt GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ SOME MAGIC „Wie mache ich XYZ bei open knowledge?“

Slide 102

Slide 102 text

Prompt Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“

Slide 103

Slide 103 text

Prompt Ingesting- Pipeline Knowledge Database Retriever GenAI Advanced myDomain R etrieval Augmented Generation „Alles interne Wissen bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“

Slide 104

Slide 104 text

GenAI explained RAG Systems

Slide 105

Slide 105 text

Prompt Ingesting- Pipeline Knowledge Database Retriever GenAI Advanced RAG Systems R etrieval Augmented Generation „Alles interne Wissen bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“

Slide 106

Slide 106 text

Prompt Ingesting- Pipeline Knowledge Database GenAI Advanced RAG Systems „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation Retriever

Slide 107

Slide 107 text

GenAI Advanced RAG Systems GenAI Model INGESTING Pipeline (Async.) Chunking Embedding RETRIEVAL Pipeline (Sync.) Top-k Fetching Augmenting UI/UX (Prompt) Query- Embedding „Wie funktioniert XYZ bei open knowledge? Retriever

Slide 108

Slide 108 text

GenAI Advanced RAG Systems GenAI Model INGESTING Pipeline (Async.) Chunking Embedding RETRIEVAL Pipeline (Sync.) Top-k Fetching Augmenting UI/UX Query- Embedding Sieht kompliziert(er) aus, ist es auch! Außer in „Hello World“ Beispielen aus dem Internet Retriever

Slide 109

Slide 109 text

„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example

Slide 110

Slide 110 text

„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example

Slide 111

Slide 111 text

„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example

Slide 112

Slide 112 text

„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Id Doc. Id Embedding 1 1 [-0.24, 0.15, …, 0.52] 2 1 [-0.13, 0.95, …, 0.31] […] […] […] Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example

Slide 113

Slide 113 text

Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“

Slide 114

Slide 114 text

Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]

Slide 115

Slide 115 text

Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]

Slide 116

Slide 116 text

Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62] & „Wovon handelt der Vortrag […] basierend auf folgendem Kontext: „Durch ein vorgeschaltetes Retrieval, um relevante Informationen aus einer eigenen dynamischen Datenbasis hinzuziehen, können fundierte Antworten geliefert werden.“

Slide 117

Slide 117 text

Sherlock RAG in Action

Slide 118

Slide 118 text

No content

Slide 119

Slide 119 text

No content

Slide 120

Slide 120 text

No content

Slide 121

Slide 121 text

Hands-On Implementieren eines einfachen RAG-Systems unter der Verwendung von Ingestion- und Retrieval-Pipelines. Anwenden des RAG-Systems für Fragen aus der eigenen Domäne. RAG System Simple Version

Slide 122

Slide 122 text

Hands-on Simple RAG

Slide 123

Slide 123 text

Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced RAG Systems „Wie beantrage ich Urlaub bei open knowledge?“

Slide 124

Slide 124 text

Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced RAG Systems „Urlaub? So wie du arbeitest? Du faules Stück!“ „Wie beantrage ich Urlaub bei open knowledge?“

Slide 125

Slide 125 text

GenAI Professional Was fehlt noch für einen nachhaltigen produktiven Betrieb?

Slide 126

Slide 126 text

Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline „Wie beantrage ich Urlaub bei open knowledge?“ GenAI Professional Guardrails „Urlaub? So wie du arbeitest? Du faules Stück!“

Slide 127

Slide 127 text

Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline GenAI Professional Guardrails Output Profanity Check „Wie beantrage ich Urlaub bei open knowledge?“ „Urlaub? So wie du arbeitest? Du faules Stück!“

Slide 128

Slide 128 text

Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline GenAI Professional Guardrails „Das kann ich leider nicht beantworten.“ Output Profanity Check „Wie beantrage ich Urlaub bei open knowledge?“ „Urlaub? So wie du arbeitest? Du faules Stück!“ „…. Faules Stück …“

Slide 129

Slide 129 text

Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails Guarding „Was soll ich heute Abend kochen?“ Topic Check

Slide 130

Slide 130 text

Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails Guarding „Was soll ich heute Abend kochen?“ „Sorry, aber das fällt nicht in meinen Aufgabenbereich.“ Topic Check

Slide 131

Slide 131 text

Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails Output-Governance: Toxic Speech, Fact-Checking, Ethical-Guidelines, Cross-Validation, … Input-Evaluation: Prompt-Injection, Jailbreak-Versuche, Topic-Filter, PII-Cleansing, Rate-Limiting,… Guarding

Slide 132

Slide 132 text

Sherlock RAG in Action

Slide 133

Slide 133 text

No content

Slide 134

Slide 134 text

Hands-On Erstellen eigener Guardrails für die Ein- und Ausgabe zum Verhindern toxischer Sprache. Implementieren eines einfachen Output Guardrail als Fact-Checker. RAG System Guardrails

Slide 135

Slide 135 text

Hands-on Guardrails to the rescue

Slide 136

Slide 136 text

Hands-on Guardrails to the rescue

Slide 137

Slide 137 text

Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guarding Was fehlt noch für ein professionelles und produktives System?

Slide 138

Slide 138 text

Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Professional Monitoring Guarding Ragas: https://docs.ragas.io/en/stable/concepts/metrics

Slide 139

Slide 139 text

Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Monitoring

Slide 140

Slide 140 text

Generated Answer Retrieved Context User Input „Ist die Antwort durch den Kontext belegt?“ „Ist der gefundene Kontext relevant für die Frage?“ „Ist die Antwort relevant für die Frage?“ GenAI Professional Monitoring: die RAG-Triade

Slide 141

Slide 141 text

Generated Answer Retrieved Context User Input „Ist die gegebene Antwort ähnlich zur richtigen Antwort?“ „Ist der gesamte zu findende Kontext gefunden worden? Ground Truth Answer Ground Truth Context „Ist die Antwort durch den Kontext belegt?“ „Ist der gefundene Kontext relevant für die Frage?“ „Ist die Antwort relevant für die Frage?“ GenAI Professional Monitoring: die RAG-Triade+

Slide 142

Slide 142 text

Retrieval Augmented Generation GenAI Professional Response Quality Monitoring https://docs.confident-ai.com/docs/metrics-llm-evals G-Eval Deep Acyclic Graph Answer Relevancy Faithfulness Summerization Hallucination Contextual Recall Contextual Relevancy Contextual Precision relevanter Kontext generierte Antwort User Input

Slide 143

Slide 143 text

Retrieval Augmented Generation GenAI Professional Response Quality Monitoring Faithfulness relevanter Kontext generierte Antwort User Input Wird die durch unterstützt?

Slide 144

Slide 144 text

Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Response Quality Monitoring Answer Relevancy Passt die zum ?

Slide 145

Slide 145 text

GenAI Professional Response Quality Monitoring Step 1: Generiere mögliche Antworten ( ) aus Embeddings Dimension 1 Embed. Dim. 2 Answer Relevancy Passt die zum ?

Slide 146

Slide 146 text

GenAI Professional Response Quality Monitoring Step 1: Generiere mögliche Antworten ( ) aus Step 2: Berechne die mittlere Distanz von Embeddings Dimension 1 Embed. Dim. 2 Answer Relevancy Passt die zum ?

Slide 147

Slide 147 text

RAG in Action aka Sherlock RAG

Slide 148

Slide 148 text

No content

Slide 149

Slide 149 text

Best Practices Was sind typische Stolperfallen, in die ich reinlaufen werde – und wie gehe ich damit um?

Slide 150

Slide 150 text

Retrieval Augmented Knowledge Database Retriever Generation Guarding Input Output Ingesting- Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Best Practices Real Life Survival Guide

Slide 151

Slide 151 text

„Die Antworten klingen schlüssig, sind aber falsch!“ GenAI Best Practices Real Life Survival Guide

Slide 152

Slide 152 text

GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Query- Embedding Top-k Fetching Augmenting Input GenAI Best Practices Real Life Survival Guide Hallucination (via Faithfulness / Answer Relevancy)

Slide 153

Slide 153 text

GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Query- Embedding Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide

Slide 154

Slide 154 text

GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Query- Embedding Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found

Slide 155

Slide 155 text

GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Query- Embedding Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found Chunk not relevant

Slide 156

Slide 156 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data

Slide 157

Slide 157 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: RAG kennt die benötigten Daten nicht.

Slide 158

Slide 158 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: RAG kennt die benötigten Daten nicht. Lösung: Passenden Ingestor implementieren.

Slide 159

Slide 159 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: Snapshot der Daten ist nicht aktuell genug.

Slide 160

Slide 160 text

Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: Snapshot der Daten ist nicht aktuell genug. Lösung: Schnittstelle zum „kontinuierlichen“ Data-Sync.

Slide 161

Slide 161 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Query- Embedding

Slide 162

Slide 162 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Query- Embedding

Slide 163

Slide 163 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #1: Chunk-Sizes und Overlapping adaptieren. Query- Embedding

Slide 164

Slide 164 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #2: Andere Splitter verwenden (e.g. Semantic-Splitter). Query- Embedding

Slide 165

Slide 165 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung#3: Optimierung des Distanz-Thresholds bzw. k aus Top-k Query- Embedding

Slide 166

Slide 166 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #4: Auswahl eines besser geeigneten Embedding-Models. Query- Embedding

Slide 167

Slide 167 text

Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #5: Hypothetical Document Embeddings (HyDE) Input HyDE Query- Embedding

Slide 168

Slide 168 text

Guardrails Input Output Gao et al. (2023) HyDE = Hypothetical Document Embeddings Real Life RAG #2 Chunk-not-found Challenge HyDE

Slide 169

Slide 169 text

Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding

Slide 170

Slide 170 text

Real Life RAG #3 Chunk-not-relevant Challenge Problem: Chunk wird vom Model nicht als relevant erachtet. Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding

Slide 171

Slide 171 text

Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #1: Für den Use-Case besser geeignetes Modell wählen. GenAI Model Query- Embedding

Slide 172

Slide 172 text

Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) GenAI Model Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #2: Chunk um zusätzlichen Context erweitern (small-to-big). Chunk Query- Embedding

Slide 173

Slide 173 text

GenAI Model UI/UX Guardrails Input Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Query- Embedding

Slide 174

Slide 174 text

Hands-On Überleben im RAG-Dschungel: Verwenden von LLM- und RAG-Metriken zur Optimierung des Retrieval-Vorgangs. RAG System klassische Pitfalls

Slide 175

Slide 175 text

Hands-on Surviving the RAG jungle

Slide 176

Slide 176 text

Generated Answer Retrieved Context User Input „Ist die gegebene Antwort ähnlich zur richtigen Antwort?“ „Ist der gesamte zu findende Kontext gefunden worden? Ground Truth Answer Ground Truth Context „Ist die Antwort durch den Kontext belegt?“ „Ist der gefundene Kontext relevant für die Frage?“ „Ist die Antwort relevant für die Frage?“ Real Life RAG Metriken - die RAG-Triade+

Slide 177

Slide 177 text

1 Stelle Evaluationsdaten zur Verfügung, welche den Ground Truth Kontext beinhalten 2 Generiere Antworten zu Evaluations-Input und sammle den Kontext Real Life RAG Metriken im Information Retrieval

Slide 178

Slide 178 text

1 Stelle Evaluationsdaten zur Verfügung, welche den Ground Truth Kontext beinhalten 2 Generiere Antworten zu Evaluations-Input und sammle den Kontext 3 Bestimme, ob Kontext in Ground Truth enthalten ist 1 0 Hit Rate Real Life RAG Metriken im Information Retrieval – Hit Rate

Slide 179

Slide 179 text

1 Stelle Evaluationsdaten zur Verfügung, welche den Ground Truth Kontext beinhalten 2 Generiere Antworten zu Evaluations-Input und sammle den Kontext basierend auf Relevanz 3 Bestimme den Anteil der relevanten Dokumente in Relation zu allen Dokumenten 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑅𝑒𝑠𝑢𝑙𝑡𝑠 𝑡𝑜𝑡𝑎𝑙 𝑅𝑒𝑠𝑢𝑙𝑡𝑠 0.00 0.33 Real Life RAG Metriken im Information Retrieval – Precision

Slide 180

Slide 180 text

1 2 Stelle Evaluationsdaten zur Verfügung, welche den Ground Truth Kontext beinhalten Generiere Antworten zu Evaluations-Input und sammle den Kontext basierend auf Relevanz … 3 Bestimme, auf welchem Rang das erste relevante Dokument liegt. Berechne und mittlere den Reciprocal Rank (RR): 𝑅𝑅 = 1 𝑅𝑎𝑛𝑔 1 2 3 1 2 3 1 2 0 𝑀𝑅𝑅 = 1 𝑛 σ𝑖=1 𝑛 𝑅𝑅𝑖 𝑀𝑅𝑅 = 0.25 1 2 3 1 2 3 Real Life RAG Metriken im Information Retrieval – Mean Reciprocal Rank (MRR)

Slide 181

Slide 181 text

Ausblick Was ist neben der reinen Wissensabfrage noch alles möglich?

Slide 182

Slide 182 text

Prompt Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Outlook Was gibt es noch zu bedenken? „How to apply for vacation at open knowledge?“ „Alles interne Wissen bei open knowledge“

Slide 183

Slide 183 text

GenAI explained I18N

Slide 184

Slide 184 text

UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Knowledge Database „Wie beantrage ich Urlaub bei open knowledge?“ GenAI Outlook Multi-Language RAG „Alles interne Wissen bei open knowledge“

Slide 185

Slide 185 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Language- Detection Translation Translation Translation GenAI Outlook Multi-Language RAG Knowledge Database „Comment demander des vacances chez ok?“ „Alles interne Wissen bei open knowledge“

Slide 186

Slide 186 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model Translation Translation Translation Translation FR_fr language not supported domain specific wording GenAI Outlook Multi-Language RAG Language- Detection „Comment demander des vacances chez ok?“ „Alles interne Wissen bei open knowledge in mehreren Sprachen.“

Slide 187

Slide 187 text

GenAI explained ACCESS CONTROL

Slide 188

Slide 188 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Knowledge Database GenAI Outlook Access Control „Wie beantrage ich Urlaub bei open knowledge?“ „Alles interne Wissen bei open knowledge“

Slide 189

Slide 189 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Knowledge Database GenAI Outlook Access Control „Was sind die geheimen KPIs von open knowledge?“ „Alles interne Wissen bei open knowledge“ incl C-Level Informationen.“

Slide 190

Slide 190 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Token Knowledge Database Input Guardrail Eine Art von Attacke? Prompt-Injection? Prompt-Abuse? Rate-Limit? GenAI Outlook Access Control „Was sind die geheimen KPIs von open knowledge?“ „Alles interne Wissen bei open knowledge“ incl C-Level Informationen.“

Slide 191

Slide 191 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database incl. AC Meta Data Retriever GenAI- Model RBAC via PBF Token Token Input Guardrail GenAI Outlook Access Control RBAC = Role based Access Control PBF = Permission based Filtering „Was sind die geheimen KPIs von open knowledge?“ „Alles interne Wissen bei open knowledge“ incl C-Level Informationen.“

Slide 192

Slide 192 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with AC Meta Data Retriever GenAI- Model RBAC via PBF Token Token Input Guardrail Output Guardrail PII: Personally identifiable information? GenAI Outlook Access Control „Wie sehen die persönlchen Daten von X aus bei ok?“ „Alles interne Wissen bei open knowledge“ incl C-Level Informationen.“

Slide 193

Slide 193 text

GenAI explained INTEGRATION

Slide 194

Slide 194 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Knowledge Database GenAI Outlook Integration „Wie beantrage ich Urlaub bei open knowledge?“ „Alles interne Wissen bei open knowledge“

Slide 195

Slide 195 text

GenAI Outlook Integration GenAI based Service A P I ML as a Service Input Output UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei open knowledge?“ „Alles interne Wissen bei open knowledge“

Slide 196

Slide 196 text

Hands-On Bereitstellung eines GenAI basierten RAG-Systems als Service. Integration des Service in eine eigene Web-basierte Oberfläche. RAG System GenAI as a Service

Slide 197

Slide 197 text

Hands-on GenAI-as-a-Service

Slide 198

Slide 198 text

Hands-on GenAI-as-a-Service

Slide 199

Slide 199 text

GenAI explained AGENTS

Slide 200

Slide 200 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model „Wie beantrage ich Urlaub bei open knowledge?“ „Alles interne Wissen bei open knowledge“ Agenten-Systeme

Slide 201

Slide 201 text

UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ „Alles interne Wissen bei open knowledge“ Agenten-Systeme

Slide 202

Slide 202 text

Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ Agenten-Systeme

Slide 203

Slide 203 text

Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ „Du bist ein Assistent für Mitarbeitende. Führe folgende Schritte durch, um die Aufgaben zu erfüllen: […]“ Agenten-Systeme

Slide 204

Slide 204 text

Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ Ich sollte mir zuerst vergangene Interaktionen mit dem User und User- Informationen holen. „Du bist ein Assistent für Mitarbeitende. Führe folgende Schritte durch, um die Aufgaben zu erfüllen: […]“ Agenten-Systeme

Slide 205

Slide 205 text

Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ User : {Name: „Tim Wüllner“, ID: „123“} […] Agenten-Systeme

Slide 206

Slide 206 text

Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ User : {Name: „Tim Wüllner“, ID: „123“} […] Ich sollte mir nun Informationen zur Beantragung von Urlaub bei ok holen. Agenten-Systeme

Slide 207

Slide 207 text

Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ „Urlaub beantragst du bei ok über das System BCS. Der Urlaub wird wie folgt beantragt […].“ Agenten-Systeme

Slide 208

Slide 208 text

Agenten-Systeme Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ „Urlaub beantragst du bei ok über das System BCS. Der Urlaub wird wie folgt beantragt […].“ Ich sollte nun Werkzeuge nutzen, um den Urlaub wie beschrieben für den User zu beantragen.

Slide 209

Slide 209 text

Agenten-Systeme Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ requestVacation(userId=„123“,from=„x“,to=„y“)

Slide 210

Slide 210 text

Agenten-Systeme Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ requestVacation(userId=„123“,from=„x“,to=„y“) Ich sollte nun den User über die Beantragung des Urlaubs informieren.

Slide 211

Slide 211 text

Agenten-Systeme Retriever Memory Tools Planning Database Prompting GenAI- Model API-Call UI/UX „Ich habe deinen Urlaub beantragt.“ „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“

Slide 212

Slide 212 text

Multi-Agenten Systeme UI/UX Spezialist für Urlaub Spezialist für User- Interaktion Spezialist für Coding Spezialist für Social Media „Erstelle einen Vorschlag für einen Beitrag zum Thema „AI-Agents““ „Warum führt dieser Code zu eine NullPointerException ?“

Slide 213

Slide 213 text

Fazit Was sollte ich aus dem Workshop für mich und mein Team mitnehmen?

Slide 214

Slide 214 text

GenAI Model UI/UX Guardrails Input Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Query- Embedding

Slide 215

Slide 215 text

GenAI vom Prototypen zum produktiven Einsatz Was du heute mitnehmen solltest: • GenAI ist mächtig. Mächtig teuer. • Der Prompt ist dein Freund. • Jedes Modell ist anders. • RAG für eigenes Domänenwissen. • GenAI ist auch nur Software. Dein Use Case bestimmt den richtigen Weg!

Slide 216

Slide 216 text

Zeit für Fragen? Immer!

Slide 217

Slide 217 text

#WISSENTEILEN #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies Vielen Dank!

Slide 218

Slide 218 text

Ein Blick über den RAG-Tellerrand: Cognitive Architecture blog.langchain.dev/what-is-a-cognitive-architecture Wir sind hier

Slide 219

Slide 219 text

#WISSENTEILEN #WISSENTEILEN BILDNACHWEISE Folie 21: © photoplotnikov - istockphoto.com Folie 23: © Mix und Match Studios - shutterstock.com Folie 23: © Mix und Match Studios - shutterstock.com Alle anderen Bilder, , Zeichnungen und icons stammen aus den folgenden freien Quellen • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com oder wurden von mir selbst erstellt.