DWX 2024 - Advanced RAG

Slides for my talk at DWX 2024 about Advanced RAG

Transcript

2. ▪ Was Sie ▪ Hintergrundwissen und Theorie zu RAG ▪ Überblick über ▪ die auftreten können ▪ Pragmatische Methoden für die Verwendung im RAG ▪ Demos ( ) ▪ Was Sie erwartet ▪ ChatGPT, CoPilot(s) ▪ Grundlagen von ML ▪ Deep Dives in LLMs, Vektor-Datenbanken, LangChain Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 2
3. ▪ Generative AI in business settings ▪ Flexible and scalable backends ▪ All things .NET ▪ Pragmatic end-to-end architectures ▪ Developer productivity ▪ Software quality sebastian.gingter@thinktecture.com @phoenixhawk https://www.thinktecture.com Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Developer Consultant @ Thinktecture AG 3
4. 4 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 4
5. 5 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 5
6. 6 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 6
7. 7 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 7
8. Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Indexing & (Semantic) search Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Text Question LLM 8 Vector DB Embedding model Embedding model Indexing / Embedding QA
9. 9 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 9
10. 10 ▪ ▪ ▪ ▪ ▪ ➔ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 10
11. 11 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 11
12. 12 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! ▪ ▪ ▪ ▪ ▪ 12
13. 13 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 13
14. 14 ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 14
15. 15 ▪ ▪ Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 15
16. 16 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 16
17. 17 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 𝑎𝑧 17
18. 18 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Ԧ 𝑎 = 𝑎𝑢 𝑎𝑣 𝑎𝑤 𝑎𝑥 𝑎𝑦 𝑎𝑧 18
19. 19 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 19
20. 20 𝐵𝑟𝑜𝑡ℎ𝑒𝑟 − 𝑀𝑎𝑛 + 𝑊𝑜𝑚𝑎𝑛 ≈ 𝑆𝑖𝑠𝑡𝑒𝑟 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Man Woman Brother Sister https://arxiv.org/abs/1301.3781 20
21. 21 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! ▪ ▪ ▪ ▪ ▪ ▪ ▪ 21
22. 22 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 0 22
23. 23 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! [ 0.50451 , 0.68607 , -0.59517 , -0.022801, 0.60046 , -0.13498 , -0.08813 , 0.47377 , -0.61798 , -0.31012 , -0.076666, 1.493 , -0.034189, -0.98173 , 0.68229 , 0.81722 , -0.51874 , -0.31503 , -0.55809 , 0.66421 , 0.1961 , -0.13495 , -0.11476 , -0.30344 , 0.41177 , -2.223 , -1.0756 , -1.0783 , -0.34354 , 0.33505 , 1.9927 , -0.04234 , -0.64319 , 0.71125 , 0.49159 , 0.16754 , 0.34344 , -0.25663 , -0.8523 , 0.1661 , 0.40102 , 1.1685 , -1.0137 , -0.21585 , -0.15155 , 0.78321 , -0.91241 , -1.6106 , -0.64426 , -0.51042 ] 23 http://jalammar.github.io/illustrated-word2vec/
24. 25 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! http://jalammar.github.io/illustrated-word2vec/ 25
25. 26 ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 26
26. 27 ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 27
27. Sentence Transformers, local embedding model Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 28
28. 29 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 29
29. 30 ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 30
30. ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Vector-Databases ▪ 31
31. 32 ▪ ▪ 𝑆𝐶(a,b) = a ∙𝑏 𝑎 × 𝑏 ▪ ▪ ▪ ~ ▪ ∞ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 32
32. LangChain, Chroma, local embedding model Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 33
33. 34 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 34
34. 35 ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 35
35. 36 ▪ Import documents from different sources, in different formats ▪ LangChain has very strong support for loading data ▪ Support for cleanup ▪ Support for splitting Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 36 https://python.langchain.com/docs/integrations/document_loaders
36. 37 ▪ HTML Tags ▪ Formatting information ▪ Normalization ▪ lowercasing ▪ stemming, lemmatization ▪ remove punctuation & stop words ▪ Enrichment ▪ tagging ▪ keywords, categories ▪ metadata Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 37
37. 38 ▪ Document is too large / too much content / not concise enough Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! ▪ by size (text length) ▪ by character (\n\n) ▪ by paragraph, sentence, words (until small enough) ▪ by size (tokens) ▪ overlapping chunks (token-wise) ▪ by semantics (semantic chunker) 38
38. 39 ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 𝑎 𝑏 𝑐 … 39
39. 40 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 40
40. 41 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 𝑎 𝑏 𝑐 … “What is the name of the teacher?” Doc. 1: 0.86 Doc. 2: 0.84 Doc. 3: 0.79 … (Answer generation) 41
41. LangChain, Chroma, local embedding model, OpenAI GPT Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 42
42. 43 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 43
43. 44 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! ? 44
44. 45 ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 45
45. 46 ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! LLM, e.g. GPT-3.5-turbo Embedding 𝑎 𝑏 𝑐 … Vector- Database Doc. 3: 0.86 Doc. 2: 0.81 Doc. 1: 0.81 Weighted result Hypothetical Document Embedding- Model Write a company policy that contains all information which will answer the given question: {QUERY} “What should I do, if I missed the last train?” https://arxiv.org/abs/2212.10496 46
46. 47 ▪ ▪ ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 47
47. 48 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Write 3 questions, which are answered by the following document. 𝑎 𝑏 𝑐 … 48
48. 49 ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 𝑎 𝑏 𝑐 … Doc. 3: 0.89 Doc. 1: 0.86 Doc. 2: 0.76 “What should I do, if I missed the last train?” 49
49. LangChain, Qdrant, OpenAI GPT Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 50
50. 51 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 51
51. 52 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Introduction Embeddings Vector-DBs Indexing Retrieval Indexing II RAG 52
52. 53 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 𝑎 𝑏 𝑐 … “You can get a hotel room or take a cab. € 200 to € 300 might still be okay to get you to your destination. Please make sure to ask the cab driver for a fixed fee upfront.” Answer the user’s question. Relevant document: {SearchResult} Question: {Query} “What should I do, if I missed the last train?” 53
53. Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! Indexing & (Semantic) search Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Text Question LLM 54 Vector DB Embedding model Embedding model Indexing / Embedding QA
54. 55 Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 55
55. 57 ▪ ▪ ▪ Real-World Chat mit Unternehmensdaten: Advanced RAG jenseits von "Hallo Welt"! 57
56. https://github.com/thinktecture-labs/dwx-2024-advanced-rag 58