Warum versteht mich der Computer auf einmal? Wir lüften das Geheimnis von Embeddings

by Sebastian Gingter

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

▪ Was Sie ▪ Viel Background-Know-How zu Embeddings ▪ Überblick über ▪ die auftreten können ▪ Use-Cases von Embeddings und Semantik ▪ Was Sie erwartet ▪ Leider nur eine Demo  ▪ ChatGPT, CoPilot(s) ▪ Grundlagen von ML ▪ Deep Dives in LLMs, Vektor-Datenbanken, LangChain Wir lüften das Geheimnis von Embeddings

Slide 3

Slide 3 text

▪ Generative AI in business settings ▪ Flexible and scalable backends ▪ All things .NET ▪ Pragmatic end-to-end architectures ▪ Developer productivity ▪ Software quality [email protected] @phoenixhawk https://www.thinktecture.com Wir lüften das Geheimnis von Embeddings

Slide 4

Slide 4 text

6 ▪ ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 5

Slide 5 text

7 ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 6

Slide 6 text

8 Wir lüften das Geheimnis von Embeddings

Slide 7

Slide 7 text

9 Wir lüften das Geheimnis von Embeddings

Slide 8

Slide 8 text

Indexing & (Semantic) search Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Text Question LLM Vector DB Embedding model Embedding model Indexing / Embedding QA Wir lüften das Geheimnis von Embeddings

Slide 9

Slide 9 text

11 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 10

Slide 10 text

12 ▪ ▪ ▪ ▪ ▪ ➔ Wir lüften das Geheimnis von Embeddings

Slide 11

Slide 11 text

13 Wir lüften das Geheimnis von Embeddings

Slide 12

Slide 12 text

14 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 13

Slide 13 text

15 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 14

Slide 14 text

16 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 15

Slide 15 text

17 ▪ ▪ Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 Wir lüften das Geheimnis von Embeddings

Slide 16

Slide 16 text

18 Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 Wir lüften das Geheimnis von Embeddings

Slide 17

Slide 17 text

19 Ԧ 𝑎 = 𝑎𝑥 𝑎𝑦 𝑎𝑧 Wir lüften das Geheimnis von Embeddings

Slide 18

Slide 18 text

20 Ԧ 𝑎 = 𝑎𝑢 𝑎𝑣 𝑎𝑤 𝑎𝑥 𝑎𝑦 𝑎𝑧 Wir lüften das Geheimnis von Embeddings

Slide 19

Slide 19 text

21 Wir lüften das Geheimnis von Embeddings

Slide 20

Slide 20 text

22 𝐵𝑟𝑜𝑡ℎ𝑒𝑟 − 𝑀𝑎𝑛 + 𝑊𝑜𝑚𝑎𝑛 ≈ 𝑆𝑖𝑠𝑡𝑒𝑟 Man Woman Brother Sister https://arxiv.org/abs/1301.3781 Wir lüften das Geheimnis von Embeddings

Slide 21

Slide 21 text

23 ▪ ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 22

Slide 22 text

24 0 Wir lüften das Geheimnis von Embeddings

Slide 23

Slide 23 text

25 [ 0.50451 , 0.68607 , -0.59517 , -0.022801, 0.60046 , -0.13498 , -0.08813 , 0.47377 , -0.61798 , -0.31012 , -0.076666, 1.493 , -0.034189, -0.98173 , 0.68229 , 0.81722 , -0.51874 , -0.31503 , -0.55809 , 0.66421 , 0.1961 , -0.13495 , -0.11476 , -0.30344 , 0.41177 , -2.223 , -1.0756 , -1.0783 , -0.34354 , 0.33505 , 1.9927 , -0.04234 , -0.64319 , 0.71125 , 0.49159 , 0.16754 , 0.34344 , -0.25663 , -0.8523 , 0.1661 , 0.40102 , 1.1685 , -1.0137 , -0.21585 , -0.15155 , 0.78321 , -0.91241 , -1.6106 , -0.64426 , -0.51042 ] http://jalammar.github.io/illustrated-word2vec/ Wir lüften das Geheimnis von Embeddings

Slide 24

Slide 24 text

26 http://jalammar.github.io/illustrated-word2vec/ Wir lüften das Geheimnis von Embeddings

Slide 25

Slide 25 text

27 http://jalammar.github.io/illustrated-word2vec/ Wir lüften das Geheimnis von Embeddings

Slide 26

Slide 26 text

Sentence Transformers, local embedding model Wir lüften das Geheimnis von Embeddings 28

Slide 27

Slide 27 text

29 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 28

Slide 28 text

30 ▪ ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 29

Slide 29 text

31 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 30

Slide 30 text

32 Wir lüften das Geheimnis von Embeddings

Slide 31

Slide 31 text

33 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 32

Slide 32 text

▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ Vector-Databases ▪ Wir lüften das Geheimnis von Embeddings

Slide 33

Slide 33 text

35 ▪ ▪ 𝑆𝐶(a,b) = a ∙𝑏 𝑎 × 𝑏 ▪ ▪ ▪ ~ ▪ ∞ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 34

Slide 34 text

36 Wir lüften das Geheimnis von Embeddings

Slide 35

Slide 35 text

37 ▪ ▪ ▪ ▪ ▪ Wir lüften das Geheimnis von Embeddings

Slide 36

Slide 36 text

Slide 37

Slide 37 text

39 Wir lüften das Geheimnis von Embeddings ▪ ▪ ▪ ▪ ▪ ▪ ▪

Slide 38

Slide 38 text

40 Wir lüften das Geheimnis von Embeddings ▪ ▪ [Description(“I want to create a new user“)] ▪