Generative AI: Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials

Slides für meine Session auf der BASTA Spring 2024

Transcript

1. Generative AI Developer Consultant
2. ▪ Was Sie ▪ Hintergrundwissen und Theorie zu RAG ▪ Überblick über ▪ die auftreten können ▪ Pragmatische Methoden für die Verwendung im RAG ▪ Demos ( ) ▪ Was Sie erwartet ▪ ChatGPT, CoPilot(s) ▪ Grundlagen von ML ▪ Deep Dives in LLMs, Vektor-Datenbanken, LangChain Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 2
4. ▪ Generative AI in business settings ▪ Flexible and scalable backends ▪ All things .NET ▪ Pragmatic end-to-end architectures ▪ Developer productivity ▪ Software quality sebastian.gingter@thinktecture.com @phoenixhawk https://www.thinktecture.com Sprachzentrierte Anwendungen mit Large Language Models, Python & .NET Developer Consultant @ Thinktecture AG 4
5. Special Day Generative AI für Business-Anwendungen Thema Sprecher Datum, Uhrzeit Generative AI: Large Language Models – Szenarien, Use Cases und Patterns für Business-Anwendungen Christian Weyer DI, 13. Februar 2024, 10.45 bis 11.45 Generative AI: A Story About LLM Prompting (and how Tools like TypeChat Can Help) Rainer Stropek DI, 13. Februar 2024, 12.15 bis 13.15 Generative AI: Semantische Suche und LLMs jenseits des Hello World- RAG-Tutorials Sebastian Gingter DI, 13. Februar 2024, 15.30 bis 16.30 Generative AI: Optimierte Informationssuche durch AI-gesteuerte Datenquellenwahl Marco Frodl DI, 13. Februar 2024, 17.00 bis 18.00 Generative AI: Private GPT LLMs: Azure OpenAI Service sicher deployen mit Terraform Kenny Pflug DI, 13. Februar 2024, 19.00 bis 20.00
6. 6 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 6
7. 7 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 7
8. 8 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 8
9. 9 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 9
10. Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Indexing & (Semantic) search Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Text Question LLM 10 Vector DB Embedding model Embedding model Indexing / Embedding QA
11. 11 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 11
12. 12 ▪ ▪ ▪ ▪ ▪ ➔ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 12
13. 13 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 13
14. 14 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials ▪ ▪ ▪ ▪ ▪ 14
15. 15 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 15
16. 16 ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 16
17. 17 ▪ ▪ Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 17
18. 18 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 18
19. 19 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 𝑎𝑧 19
20. 20 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Ԧ 𝑎 = 𝑎𝑢 𝑎𝑣 𝑎𝑤 𝑎𝑥 𝑎𝑦 𝑎𝑧 20
21. 21 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 21
22. 22 𝐵𝑟𝑜𝑡ℎ𝑒𝑟 − 𝑀𝑎𝑛 + 𝑊𝑜𝑚𝑎𝑛 ≈ 𝑆𝑖𝑠𝑡𝑒𝑟 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Man Woman Brother Sister https://arxiv.org/abs/1301.3781 22
23. 23 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials ▪ ▪ ▪ ▪ ▪ ▪ ▪ 23
24. 24 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 0 24
25. 25 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials [ 0.50451 , 0.68607 , -0.59517 , -0.022801, 0.60046 , -0.13498 , -0.08813 , 0.47377 , -0.61798 , -0.31012 , -0.076666, 1.493 , -0.034189, -0.98173 , 0.68229 , 0.81722 , -0.51874 , -0.31503 , -0.55809 , 0.66421 , 0.1961 , -0.13495 , -0.11476 , -0.30344 , 0.41177 , -2.223 , -1.0756 , -1.0783 , -0.34354 , 0.33505 , 1.9927 , -0.04234 , -0.64319 , 0.71125 , 0.49159 , 0.16754 , 0.34344 , -0.25663 , -0.8523 , 0.1661 , 0.40102 , 1.1685 , -1.0137 , -0.21585 , -0.15155 , 0.78321 , -0.91241 , -1.6106 , -0.64426 , -0.51042 ] 25 http://jalammar.github.io/illustrated-word2vec/
26. 27 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials http://jalammar.github.io/illustrated-word2vec/ 27
27. 28 ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 28
28. Sentence Transformers, local embedding model Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 29
29. 30 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 30
30. 31 ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 31
31. ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Vector-Databases ▪ 32
32. 33 ▪ ▪ 𝑆𝐶(a,b) = a ∙𝑏 𝑎 × 𝑏 ▪ ▪ ▪ ~ ▪ ∞ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 33
33. LangChain, Chroma, local embedding model Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 34
34. 35 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 35
35. 36 ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 36
36. 37 ▪ Import documents from different sources, in different formats ▪ LangChain has very strong support for loading data ▪ Support for cleanup ▪ Support for splitting Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 37 https://python.langchain.com/docs/integrations/document_loaders
37. 38 ▪ HTML Tags ▪ Formatting information ▪ Normalization ▪ lowercasing ▪ stemming, lemmatization ▪ remove punctuation & stop words ▪ Enrichment ▪ tagging ▪ keywords, categories ▪ metadata Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 38
38. 39 ▪ Document is too large / too much content / not concise enough Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials ▪ by size (text length) ▪ by character (\n\n) ▪ by paragraph, sentence, words (until small enough) ▪ by size (tokens) ▪ overlapping chunks (token-wise) 39
39. 40 ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 𝑎 𝑏 𝑐 … 40
40. 41 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 41
41. 42 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 𝑎 𝑏 𝑐 … “What is the name of the teacher?” Doc. 1: 0.86 Doc. 2: 0.84 Doc. 3: 0.79 … (Answer generation) 42
42. LangChain, Chroma, local embedding model, OpenAI GPT Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 43
43. 44 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 44
44. 45 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials ? 45
45. 46 ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 46
46. 47 ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials LLM, e.g. GPT-3.5-turbo Embedding 𝑎 𝑏 𝑐 … Vector- Database Doc. 3: 0.86 Doc. 2: 0.81 Doc. 1: 0.81 Weighted result Hypothetical Document Embedding- Model Write a company policy that contains all information which will answer the given question: {QUERY} “What should I do, if I missed the last train?” https://arxiv.org/abs/2212.10496 47
47. 48 ▪ ▪ ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 48
48. 49 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Write 3 questions, which are answered by the following document. 𝑎 𝑏 𝑐 … 49
49. 50 ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 𝑎 𝑏 𝑐 … Doc. 3: 0.89 Doc. 1: 0.86 Doc. 2: 0.76 “What should I do, if I missed the last train?” 50
50. LangChain, Qdrant, OpenAI GPT Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 51
51. 52 Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 52
52. Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials Indexing & (Semantic) search Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Text Question LLM 53 Vector DB Embedding model Embedding model Indexing / Embedding QA
53. 54 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 54
54. 58 ▪ ▪ ▪ Semantische Suche und LLMs jenseits des Hello World-RAG-Tutorials 58
55. https://github.com/thinktecture-labs/basta-spring-2024-rag