Warum versteht mich der Computer auf einmal? Wir lüften das Geheimnis von Embeddings

Slides for my talk at Generative AI InfoDays in Bonn, May 2024

Transcript

2. ▪ Was Sie ▪ Viel Background-Know-How zu Embeddings ▪ Überblick über ▪ die auftreten können ▪ Use-Cases von Embeddings und Semantik ▪ Was Sie erwartet ▪ Leider nur eine Demo  ▪ ChatGPT, CoPilot(s) ▪ Grundlagen von ML ▪ Deep Dives in LLMs, Vektor-Datenbanken, LangChain Wir lüften das Geheimnis von Embeddings
3. ▪ Generative AI in business settings ▪ Flexible and scalable backends ▪ All things .NET ▪ Pragmatic end-to-end architectures ▪ Developer productivity ▪ Software quality sebastian.gingter@thinktecture.com @phoenixhawk https://www.thinktecture.com Wir lüften das Geheimnis von Embeddings
4. 6 ▪ ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
5. 7 ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
6. 8 Wir lüften das Geheimnis von Embeddings
7. 9 Wir lüften das Geheimnis von Embeddings
8. Indexing & (Semantic) search Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Text Question LLM Vector DB Embedding model Embedding model Indexing / Embedding QA Wir lüften das Geheimnis von Embeddings
9. 11 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
10. 12 ▪ ▪ ▪ ▪ ▪ ➔ Wir lüften das Geheimnis von Embeddings
11. 13 Wir lüften das Geheimnis von Embeddings
12. 14 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
13. 15 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
14. 16 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
15. 17 ▪ ▪ Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 Wir lüften das Geheimnis von Embeddings
16. 18 Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 Wir lüften das Geheimnis von Embeddings
17. 19 Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 𝑎𝑧 Wir lüften das Geheimnis von Embeddings
18. 20 Ԧ 𝑎 = 𝑎𝑢 𝑎𝑣 𝑎𝑤 𝑎𝑥 𝑎𝑦 𝑎𝑧 Wir lüften das Geheimnis von Embeddings
19. 21 Wir lüften das Geheimnis von Embeddings
20. 22 𝐵𝑟𝑜𝑡ℎ𝑒𝑟 − 𝑀𝑎𝑛 + 𝑊𝑜𝑚𝑎𝑛 ≈ 𝑆𝑖𝑠𝑡𝑒𝑟 Man Woman Brother Sister https://arxiv.org/abs/1301.3781 Wir lüften das Geheimnis von Embeddings
21. 23 ▪ ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
22. 24 0 Wir lüften das Geheimnis von Embeddings
23. 25 [ 0.50451 , 0.68607 , -0.59517 , -0.022801, 0.60046 , -0.13498 , -0.08813 , 0.47377 , -0.61798 , -0.31012 , -0.076666, 1.493 , -0.034189, -0.98173 , 0.68229 , 0.81722 , -0.51874 , -0.31503 , -0.55809 , 0.66421 , 0.1961 , -0.13495 , -0.11476 , -0.30344 , 0.41177 , -2.223 , -1.0756 , -1.0783 , -0.34354 , 0.33505 , 1.9927 , -0.04234 , -0.64319 , 0.71125 , 0.49159 , 0.16754 , 0.34344 , -0.25663 , -0.8523 , 0.1661 , 0.40102 , 1.1685 , -1.0137 , -0.21585 , -0.15155 , 0.78321 , -0.91241 , -1.6106 , -0.64426 , -0.51042 ] http://jalammar.github.io/illustrated-word2vec/ Wir lüften das Geheimnis von Embeddings
24. 26 http://jalammar.github.io/illustrated-word2vec/ Wir lüften das Geheimnis von Embeddings
25. 27 http://jalammar.github.io/illustrated-word2vec/ Wir lüften das Geheimnis von Embeddings
26. Sentence Transformers, local embedding model Wir lüften das Geheimnis von Embeddings 28
27. 29 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
28. 30 ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
29. 31 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
30. 32 Wir lüften das Geheimnis von Embeddings
31. 33 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
32. ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Vector-Databases ▪ Wir lüften das Geheimnis von Embeddings
33. 35 ▪ ▪ 𝑆𝐶(a,b) = a ∙𝑏 𝑎 × 𝑏 ▪ ▪ ▪ ~ ▪ ∞ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
34. 36 Wir lüften das Geheimnis von Embeddings
35. 37 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
36. Indexing & (Semantic) search Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Text Question LLM Vector DB Embedding model Embedding model Indexing / Embedding QA Wir lüften das Geheimnis von Embeddings
37. 39 Wir lüften das Geheimnis von Embeddings ▪ ▪ ▪ ▪ ▪ ▪ ▪
38. 40 Wir lüften das Geheimnis von Embeddings ▪ ▪ [Description(“I want to create a new user“)] ▪
39. 41 Wir lüften das Geheimnis von Embeddings
40. 42 ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
41. 43 ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings
42. 44 Wir lüften das Geheimnis von Embeddings ▪ ▪