ベクトル検索システムの気持ち

by monochromegane

Slide 1

Slide 1 text

ࡾ୐༔հ / Pepabo R&D Institute, GMO Pepabo, Inc. 2025.03.25 ϕΫτϧݕࡧγεςϜͷؾ࣋ͪ ৘ใγεςϜͱAIͷ౷߹΁ͷୈҰา

Slide 2

Slide 2 text

1. ͸͡Ίʹ 2. ϕΫτϧͷಛੑ 3. ϕΫτϧͷදݱ 4. ϕΫτϧͷ୳ࡧ 5. ࣮γεςϜ΁ͷద༻ 6. ͓ΘΓʹ 2 ໨࣍

Slide 3

Slide 3 text

1. ͸͡Ίʹ

Slide 4

Slide 4 text

4 ϕΫτϧݕࡧγεςϜʁ ྨࣅ͢ΔσʔλΛ ݕࡧͯ͘͠ΕΔγεςϜ Β͍͠

Slide 5

Slide 5 text

• ৘ใγεςϜͱAIͷ౷߹ʹ͓͍ͯɺޓ͍ͷ஌ࣝΛޮ཰తʹҾ͖ग़ͨ͢Ίͷɺϕ ΫτϧݕࡧγεςϜͷॏཁੑ͕૿͍ͯ͠Δ • ϕΫτϧݕࡧγεςϜ͸ɺσʔλͱΫΤϦΛϕΫτϧͰద੾ʹදݱ͠ɺྨࣅ͢ ΔσʔλΛߴ଎ʹݕࡧ͢Δ͜ͱ͕໨తͱͳΔ • ͜ͷ࣮ݱʹ͓͍ͯ͸ɺϕΫτϧͷಛੑɾදݱɾ୳ࡧɺݸʑͷٕज़ʹؔ͢Δཧղ ͕ඞཁͰ͋Δ͕ɺԣஅతʹֶͿͷ͸༰қͰ͸ͳ͍ • ຊൃදͰ͸ɺ͜ΕΒʹؔ͢Δઆ໌Λ௨ͯ͠ɺϕΫτϧݕࡧγεςϜΛಋೖɾӡ ༻͢Δʹ͋ͨͬͯͷצॴΛ༩͍͑ͨ 5 ͸͡Ίʹ

Slide 6

Slide 6 text

• ຊࢿྉ͸ɺWebαʔϏε։ൃʹܞΘΔΤϯδχΞͷ͏ͪɺػցֶशʹରͯ͠ ͋·ΓೃછΈͷͳ͍ํΛ૝ఆ͍ͯ͠·͢ɻ • ͦͷͨΊɺൃද࣌ؒͷ੍໿΋͋Γɺػցֶशͷཧ࿦తͳଆ໘ΑΓ΋ɺͦͷޮՌ ΍༻్ʹ͍ͭͯͷ௚ײతͳཧղΛॏࢹ͍ͯ͠·͢ɻ 6 ʢຊࢿྉͷର৅ͱઆ໌ͷํ਑ʣ

Slide 7

Slide 7 text

2. ϕΫτϧͷಛੑ

Slide 8

Slide 8 text

ϕΫτϧͱ͍͏ྔ

Slide 9

Slide 9 text

• ʮαϯ;͡ʯʹࣅͨΓΜ͝Λ୳͢ʹ͸ʁ • ਺஋ͱͯ͠େখΛൺֱͰ͖Δ͜ͱ • ෳ਺ͷ؍఺Λѻ͑Δ͜ͱ • ͦΕΒͷ؍఺Λ૊Έ߹ΘͤΛߟྀͰ͖Δ͜ͱ • ؁ຯ΍ࢎຯΛݸผʹݟΕ͹δϣφΰʔϧυ΍Ԧྛ͕ ͍͕ۙɺ૯߹తʹݟΔͱͲ͏͔ʁ 9 ྨࣅੑ 🍏 Ԧྛ 🍎 δϣφΰʔϧυ ؁ຯ ࢎຯ 🍎 αϯ;͡ 🍎 ʁʁʁ

Slide 10

Slide 10 text

• ෳ਺ͷ੒෼͔ΒͳΔҰͭͷʮྔʯ • • ઌड़ͷҎԼͷཁ݅Λຬͨ͢ • ਺஋ͱͯ͠େখΛൺֱͰ͖Δ • ෳ਺ͷ؍఺Λѻ͑Δ • ͦΕΒͷ؍఺Λ૊Έ߹ΘͤΛߟྀͰ͖Δ x = x1 x2 ⋮ xD = [x1 x2 … xD]⊤ 10 ϕΫτϧ

Slide 11

Slide 11 text

• ෳ਺ͷ੒෼͔ΒͳΔҰͭͷʮྔʯ • • ઌड़ͷҎԼͷཁ݅Λຬͨ͢ • ਺஋ͱͯ͠େখΛൺֱͰ͖Δ • ෳ਺ͷ؍఺Λѻ͑Δ • ͦΕΒͷ؍఺Λ૊Έ߹ΘͤΛߟྀͰ͖Δ x = x1 x2 ⋮ xD = [x1 x2 … xD]⊤ 11 ϕΫτϧ

Slide 12

Slide 12 text

ൺֱͷई౓

Slide 13

Slide 13 text

• ϕΫτϧͷେ͖͞ • ݪ఺͔Βͷ௚ઢڑ཭ • ∥x∥ = x2 1 + x2 2 + … + x2 n 13 ͓͞Β͍: ϕΫτϧͷେ͖͞

Slide 14

Slide 14 text

• ϢʔΫϦουڑ཭ • ೋͭͷϕΫτϧͷࠩͷେ͖͞ • d(xi , xj ) = ∥xi − xj ∥2 = D ∑ d=1 (xi,d − xj,d )2 14 ϢʔΫϦουڑ཭

Slide 15

Slide 15 text

• ϕΫτϧͷ಺ੵ • ಉ͡ํ޲ͷ੒෼ͷେ͖͞ͷੵ • x ⋅ y = ∥x∥∥y∥ cos θ = n ∑ i=1 xi yi = x1 y1 + x2 y2 + … + xn yn 15 ͓͞Β͍: ϕΫτϧͷ಺ੵ Y Z YZ 46.

Slide 16

Slide 16 text

• ϕΫτϧಉ࢜ͷͳ֯͢Λྨࣅ౓ͱ͢Δ • ಉ͡ํ޲ͷ৔߹1.0Ͱٯ޲͖ͷ৔߹ʹ-1.0 • ϕΫτϧͷେ͖͞ʹґଘ͠ͳ͍ • ٖڑ཭ͱͯ͠1-ίαΠϯྨࣅ౓΋࢖ΘΕΔ • cos θ = xi ⋅ xj ∥xi ∥∥xj ∥ = ∑D d=1 xi,d xj,d ∑D d=1 x2 i,d ⋅ ∑D d=1 x2 j,d 16 ίαΠϯྨࣅ౓ ϕΫτϧΛࣗ਎ͷେ͖͞ͰׂͬͨޙͷϕΫτϧಉ࢜ͷ಺ੵͷ݁ՌʢεΧϥʣ ͦΕͧΕͷϕΫτϧͷେ͖͕͞ͷ࣌ɺίαΠϯྨࣅ౓͸಺ੵͱҰக

Slide 17

Slide 17 text

3. ϕΫτϧͷදݱ

Slide 18

Slide 18 text

Τϯίʔυ

Slide 19

Slide 19 text

• લষͰ͸ɺσʔλΛෳ਺ͷ੒෼͔ΒͳΔҰͭͷྔɺϕΫτϧͰදݱ͠ɺڑ཭ͷ ई౓Λಋೖ͢Δ͜ͱͰɺྨࣅੑΛѻ͑Δ͜ͱ͕Θ͔ͬͨ • Ͱ͸ɺσʔλΛϕΫτϧͰදݱͰ͖͑͢͞Ε͹ɺৗʹҙਤʹԊͬͨྨࣅੑΛݟ ग़ͤΔͷ͔ 19 ϕΫτϧදݱ

Slide 20

Slide 20 text

• ࠷΋جຊతͳදݱ͸ɺσʔλͷଐੑͷ͏ͪɺ਺஋ͱͯ͠େখ͕ൺֱͰ͖Δ஋Λ ೚ҙͷ੒෼ͱͯ͠ར༻͢Δ΋ͷ • ྫ͑͹਎௕΍ମॏ • ը૾Ͱ͋Ε͹ɺըૉ͝ͱͷ֤νϟϯωϧͷըૉ஋ΛҰྻʹฒ΂ͨ΋ͷ 20 RAWͳϕΫτϧදݱ

Slide 21

Slide 21 text

• σʔλͷଐੑͷ͏ͪɺ਺஋ͱͯ͠େখ͕ൺֱͰ͖ͳ͍஋΋දݱͰ͖Δ • ϫϯϗοτΤϯίʔσΟϯά • औΓ͏Δछผ਺Λ࣍ݩ਺ͱ͠ɺ֘౰͢ΔछผͷΈʹ1ΛɺͦΕҎ֎͸0 • ΧςΰϦछผ΍ɺޠኮதͷ୯ޠͳͲΛදݱͰ͖Δ • [0 1 … 0]⊤ 21 RAWͳϕΫτϧදݱ

Slide 22

Slide 22 text

RAWͳϕΫτϧදݱͷݶք 22 • RAWͳϕΫτϧදݱΛ༻͍ͨྨࣅੑ͸ɺඞͣ͠΋ར༻ऀͷ໨తʹԊͬͨྨࣅ ੑͱ͸Ұக͠ͳ͍ ΦϒδΣΫτΛҠಈ͢Δͱɺྨࣅ౓΍ڑ ཭͕มԽ͢Δྫ ΦϒδΣΫτࣗମͷྨࣅੑධՁͷ໨తʹ͓͍ͯɺҐ ஔ΍ճసʹґΒͣɺ͍ͣΕ΋ʮ9ʯͱͯ͠ಉఔ౓ͷྨ ࣅੑΛ༗ͯ͠ཉ͍͠ ୯ޠΛϫϯϗοτϕΫτϧͰදݱ͢Δͱɺ֤୯ޠͷڑ཭΍ྨ ࣅ౓͕ಉҰʹͳΓɺ୯ޠಉ࢜ͷҙຯͷۙ͞Λѻ͑ͳ͍ྫ ୯ޠͷૠ֓͢೦΍จதͷίϯςΩετ ΋౿·্͑ͨͰͷ୯ޠͷۙ͞ͷྨࣅੑ ධՁͷ໨తʹ͓͍ͯ͸ɺ͜ͷΑ͏ʹޓ ͍ʹಠཱͱͳΔΑ͏ͳϫϯϗοτΤϯ ίʔυͱ͸ҟͳΔදݱํ๏͕ඞཁ

Slide 23

Slide 23 text

ಛ௃ྔநग़

Slide 24

Slide 24 text

• ػցֶशͱ͸ɺϓϩάϥϜ͕σʔλ͔Β஌ࣝΛֶश͢Δ͜ͱɺ·ͨͦΕΛ༻͍ ͯλεΫΛ࣮ߦ͢Δख๏ͷ͜ͱ • ϓϩάϥϜ͕ɺσʔλ͔Β஌ࣝΛֶश͢Δͱ͸ɺϓϩάϥϜʹΑͬͯೖྗʹର ͯ͠๬·͍͠ग़ྗΛฦ͢Α͏਺ࣜͷύϥϝʔλΛௐ੔͢Δ͜ͱ 24 ػցֶशͱϕΫτϧදݱ

Slide 25

Slide 25 text

• ಛʹਂ૚χϡʔϥϧωοτϫʔΫʢDeep Neural Network: DNNʣϞσϧ͸ɺ λεΫΛղ͘ͷʹదͨ͠σʔλͷม׵نଇΛ಺෦తʹࣗΒ֫ಘ͢Δ • DNNϞσϧ͸ͦͷม׵ثʹΑΔม׵ޙͷσʔλΛ༻͍ͯɺม׵෦෼ͱൺ΂Ε ͹૬ରతʹ؆қͳ༧ଌثʹΑͬͯɺλεΫΛղ͘ • → ͜ͷಛੑʹண໨͢Δ͜ͱͰɺRAWͳϕΫτ ɹ ϧදݱ͔Βɺ໨తʹԊͬͨྨࣅੑΛѻ͑Δ ɹ Α͏ͳϕΫτϧදݱͷࣗಈతͳ֫ಘΛ໨ࢦ͢ 25 ػցֶशͱϕΫτϧදݱ Transform Predict

Slide 26

Slide 26 text

26 DNNʹΑΔϕΫτϧม׵نଇͷ֫ಘʢ1/5ʣ fw (x) ʁ • 2࣍ݩͷRAWͳϕΫτϧͰදݱ͞ΕΔσʔλʹ2छྨͷϥϕϧΛ෇༩ͨ͠ • γϯϓϧͳ༧ଌثʹΑΔ௚ઢతͳ෼ׂͰ͜ͷ෼ྨΛ࣮ߦ͢Δ͜ͱ͸೉͍͠

Slide 27

Slide 27 text

27 DNNʹΑΔϕΫτϧม׵نଇͷ֫ಘʢ2/5ʣ • 2࣍ݩͷRAWͳϕΫτϧͰදݱ͞ΕΔσʔλʹ2छྨͷϥϕϧΛ෇༩ͨ͠ • γϯϓϧͳ༧ଌثʹΑΔ௚ઢతͳ෼ׂͰ͜ͷ෼ྨΛ࣮ߦ͢Δ͜ͱ͸೉͍͠ • ͜ͷ༧ଌث͕ѻ͑Δʢ໨తʹԊͬͨʣϕΫτϧදݱ΁ͷม׵͕ඞཁ

Slide 28

Slide 28 text

• ֶशલϞσϧʹ͓͚Δ֤૚Ͱͷม ׵݁ՌΛՄࢹԽ • ֶशલ͸૚Λ௨աͯ͠΋༧ଌثͰ ෼ྨՄೳͳม׵͸ະ֫ಘ 28 DNNʹΑΔϕΫτϧม׵نଇͷ֫ಘʢ3/5ʣ

Slide 29

Slide 29 text

29 DNNʹΑΔϕΫτϧม׵نଇͷ֫ಘʢ4/5ʣ • 10ΤϙοΫܦաޙͷม׵ͷ༷ࢠ • ֶशॳظͰ΋ɺ૚Λ௨աͯ͠΋༧ ଌثͰ෼ྨՄೳͳม׵͸ະ֫ಘ

Slide 30

Slide 30 text

30 DNNʹΑΔϕΫτϧม׵نଇͷ֫ಘʢ5/5ʣ • 1000ΤϙοΫͰͷֶशޙͷม׵ ͷ༷ࢠ • े෼ͳֶशʹΑͬͯઢܗͳ༧ଌث Ͱ෼ྨՄೳͳม׵نଇΛ֫ಘ

Slide 31

Slide 31 text

31 ม׵ޙͷϕΫτϧදݱΛ༻͍ͨλεΫ࣮ߦʢ෼ྨ໰୊ʣ y = σ(w1 x1 + w2 x2 + w3 x3 + b) • ֶशޙͷϞσϧʹ͓͚ΔλεΫ࣮ ߦͷ༷ࢠɻ࠷ऴ૚͔ΒͷϕΫτϧ දݱΛ༻͍ͯγϯϓϧͳ༧ଌث͕ Ϋϥε෼ྨΛ͏·࣮͘ߦͨ͠

Slide 32

Slide 32 text

• ֶशޙͷϞσϧͷ೚ҙͷ૚͔Βͷग़ྗΛɺϕΫτϧݕࡧγεςϜ΁ͷೖྗͱ͢ Δ͜ͱ΋Ͱ͖Δ͕ɺ֫ಘ͞Εͨදݱ͸ɺֶश࣌ʹର৅ͱͳͬͨλεΫΛղܾ͢ Δͷʹඞཁे෼ͳදݱͰ͋ΓɺྨࣅੑͷൺֱͷͨΊʹ༗༻ͱ͸ݶΒͳ͍ 32 ໨తʹԠͨ͡ϕΫτϧදݱ ฏ໘Ͱͷ෼཭ʹ͸े෼ͳ഑ஔ͕ͩɺྨࣅੑ ͷධՁج४͔Β͸ɺஅ໘෇ۙͰ͸ҟͳΔΫ ϥεͷσʔλ΋ۙ๣ʹؚ·Εͦ͏ ˠಉ͡Ϋϥε͸ۙ͘ʹɺҟͳΔΫϥε͸෼ ɹ཭͞ΕΔΑ͏ʹ഑ஔ͞Εͯཉ͍͠

Slide 33

Slide 33 text

33 ໨తʹԠͨ͡ϕΫτϧදݱͷมԽ &QPDI &QPDI &QPDI I1 I2 H1 256 H2 128 H3 64 O1 O2 O3 Normalize &QPDI • ྨࣅੑͷൺֱධՁʹ͓͚Δઌͷཁ ݅Λຬͨ͢Α͏ͳλεΫʢରরֶ शʣΛઃఆ • Ϋϥε಺֎Ͱͷڽूͱ෼཭͕Մࢹ Խ͞Ε͍ͯΔɻ

Slide 34

Slide 34 text

34 ໨తʹԠͨ͡ϕΫτϧදݱͷมԽ &QPDI &QPDI &QPDI I1 I2 H1 256 H2 128 H3 64 O1 O2 O3 Normalize &QPDI λεΫͷ೉қ౓ʹԠͯ͡ෳࡶͳϞσϧߏ଄ ͱ͕ͨ͠ɺϕΫτϧදݱʢ഑ஔͷมԽʣ͸ λεΫઃఆʹґΔ෦෼͕େ͖͍ɻ ൺֱͷͨΊɺಉҰϞσϧߏ଄Ͱͷ෼ྨ໰୊ Ͱֶशͨ͠ࡍͷϕΫτϧදݱ΋ܝࡌ͢Δɻ

Slide 35

Slide 35 text

• DNNͳͲΛ༻͍ͯ໨తʹԊͬͨܗͰදݱ͞ΕͨϕΫτϧͷ͜ͱΛʮຒΊࠐ ΈʯͱݺͿ • ಛʹɺߴ࣍ݩͰૄͳσʔλ͔ΒಘΒΕͨɺ௿࣍ݩͰີͳϕΫτϧදݱΛࢦ͢͜ ͱ͕ଟ͍ • ߴ࣍ݩσʔλ͕࣋ͭຊ࣭తͳ௿࣍ݩߏ଄Λɺߴ࣍ݩۭؒʹຒΊࠐ·Εͨଟ༷ମ ͱΈͳ͠ɺ͜ΕΛநग़͠Α͏ͱ͢Δଟ༷ମֶशʹ༝དྷ͢ΔʢͱࢥΘΕΔʣ 35 ຒΊࠐΈʢembeddingʣ

Slide 36

Slide 36 text

4. ϕΫτϧͷ୳ࡧ

Slide 37

Slide 37 text

ۙࣅۙ๣୳ࡧ

Slide 38

Slide 38 text

38 k-ۙ๣୳ࡧʢk-Nearest Neighbor Search: k-NNʣ • ϕΫτϧू߹ ʹରͯ͠ΫΤϦϕΫτϧ ͷۙ๣ ϕΫτϧΛಘ͍ͨ • • ૯౰ͨΓʢBrute forceʣʹΑΔઢܗ୳ࡧͰ͸ σʔλ਺ ͱ࣍ݩ਺ ʹԠͯ͡ ܭࢉྔͱϝϞϦ࢖༻ྔ͕૿Ճͯ͠͠·͏ X q k 𝒩 k (q, X) = argminS⊂X,|S|=k ∑ x∈S d(q, x) N D ཁૉ਺͕LʹͳΔΑ͏ʹબΜͩ෦෼ू߹ͷ͏ͪ ֤ཁૉͱΫΤϦͱͷڑ཭ͷ߹ܭ͕ ࠷΋খ͘͞ͳΔΑ͏ͳ෦෼ू߹

Slide 39

Slide 39 text

• ઢܗ୳ࡧͷ՝୊ʹରॲ͢ΔͨΊɺεΧϥ஋ʹ͓͚ΔΠϯσοΫεʹ૬౰͢Δɺ ϕΫτϧݕࡧ༻ͷΠϯσοΫε͕ఏҊ͞Ε͍ͯΔ • KD-Tree͸ϕΫτϧ੒෼͝ͱʹॱʹೋ෼ࢬΛߏங • Ball-Tree͸ϕΫτϧ੒෼ͷؔ܎ੑΛߟྀͨ͠ٿΛϊʔυͱͨ͠πϦʔΛߏங • ͨͩ͠ɺ਺े࣍ݩΛ௒͑Δͱ෼ׂͷޮՌ͕ ബΕɺܭࢉྔ͕ઢܗ୳ࡧʹ͍ۙͮͯ͠·͏ → ۙ೥ͷຒΊࠐΈ͸਺ඦʙ਺ઍ࣍ݩͰ͋Δ͜ͱ͕ଟ͍ 39 ϕΫτϧ༻ͷΠϯσοΫε

Slide 40

Slide 40 text

40 ۙࣅۙ๣୳ࡧʢApproximate k-NNS: ANNʣ • ϕΫτϧू߹ ʹରͯ͠ΫΤϦϕΫτϧ ͷۙ๣ ϕΫτϧΛಘ͍ͨ • • ݫີղͷ୅ΘΓʹۙࣅղΛٻΊΔ • ૯౰ͨΓʢBrute forceʣʹΑΔઢܗ୳ࡧͱ ൺ΂ͯɺ࠶ݱ཰͕௿Լ͢Δ͕ɺܭࢉྔͱ ϝϞϦ࢖༻ྔΛݮগͰ͖Δ • → ༷ʑͳΞϓϩʔν͕͋ΔͷͰҰ෦Λ঺հ X q k ˜ 𝒩 k (q, X) ≈ 𝒩 k (q, X) ۙࣅۙ๣୳ࡧͰ͸ɺ͜ͷྫͷ Α͏ʹਖ਼֬ͳۙ๣ϕΫτϧͷ ू߹ͱ߹க͢Δ෦෼ͱ͠ͳ͍ ෦෼͕ൃੜ͢Δ

Slide 41

Slide 41 text

ྔࢠԽ

Slide 42

Slide 42 text

• ୯Ұͷྔɺ΋͘͠͸ϕΫτϧͷ੒෼͝ͱͷྔࢠԽ • ͜͜ͰͷྔࢠԽ͸ɺ཭ࢄԽʢάϧʔϐϯάʣͱଊ͑ͯΑ͍ • 0~1ͷൣғΛۉ౳ʹ4෼ׂ͢Ε͹2bitsͷσʔλͱͯ͠දݱͰ͖Δ • ϕΫτϧʹରͯ͠ద༻͢Δͱޡࠩͷ஝ੵ͕՝୊ʹͳΔ 42 ࢀߟ: εΧϥྔࢠԽ 0.12 0.15 0.67 0.72 0.89 0.91 0.34 0.38 ⟶ 0.125 (00) 0.125 (00) 0.625 (10) 0.625 (10) 0.875 (11) 0.875 (11) 0.375 (01) 0.375 (01)

Slide 43

Slide 43 text

• ϕΫτϧू߹Λ ݸͷ୅දϕΫτϧ Ͱදݱ͢Δ • ͜͜ͰͷྔࢠԽ͸ɺ཭ࢄԽʢάϧʔϐϯάʣͱଊ͑ͯΑ͍ • ୅දϕΫτϧ ͸ࣄલʹk-meansͳͲͰٻΊΔ K C = {c1 , …cK } C 43 ϕΫτϧྔࢠԽʢVector Quantization: VQʣʢ1/3ʣ

Slide 44

Slide 44 text

• k-means ͸ɺڭࢣͳֶ͠शͷҰछͰ͋ΓɺσʔλΛ ݸͷΫϥελʹ෼ׂ͢Δ ΫϥελϦϯάख๏ • ֤Ϋϥελ͸ɺͦͷத৺ʢηϯτϩΠυʣΛ࣋ͪɺσʔλ఺͸࠷΋͍ۙηϯτ ϩΠυʹׂΓ౰ͯΒΕΔɻ • ΞϧΰϦζϜ͸ɺσʔλ఺ͷׂΓ౰ͯͱηϯτϩΠυͷߋ৽Λ܁Γฦ͠ɺऩଋ ͢Δ·Ͱ࣮ߦ͞ΕΔɻ K 44 ࢀߟ: k-means → → ⋯

Slide 45

Slide 45 text

• ϕΫτϧू߹Λ ݸͷ୅දϕΫτϧ Ͱදݱ͢Δ • ϕΫτϧू߹ ͸ɺ୅දϕΫτϧͷΠϯσοΫεͷू߹ͱͳΓɺྫ͑ ͹256ύλʔϯͰ͋ͬͯ΋ϕΫτϧ͋ͨΓ8bitsͰදݱͰ͖Δ K C = {c1 , …cK } X ∈ RN×D 45 ϕΫτϧྔࢠԽʢVector Quantization: VQʣʢ2/3ʣ 0.12 0.85 … 0.43 0.67 0.23 … 0.91 ⋮ ⋮ ⋱ ⋮ 0.04 0.77 … 0.33 ⟶ 44 (00101100) 210 (11010010) ⋮ ⋮ 109 (01101101) N D * float32 uint8 N X ⋮ ⋮ ⋱ ⋮ 44UI 0.10 0.80 … 0.40 ⋮ ⋮ ⋱ ⋮ 109UI 0.05 0.75 … 0.30 ⋮ ⋮ ⋱ ⋮ 210UI 0.65 0.20 … 0.88 ⋮ ⋮ ⋱ ⋮ ίʔυϒοΫ ʢ୅දϕΫτϧͷू߹ʣ K D * float32

Slide 46

Slide 46 text

0.12 0.85 0.33 0.76 … 0.43 0.67 0.23 0.91 0.45 … 0.91 ⋮ ⋮ ⋮ ⋮ ⋱ ⋮ 0.04 0.77 0.19 0.63 … 0.33 ⟶ 11260 (00101100 10111001) 53981 (11010010 01011101) ⋮ ⋮ 28083 (01101101 01110011) • ϕΫτϧू߹Λ ݸͷ୅දϕΫτϧ Ͱදݱ͢Δ • ϕΫτϧू߹ ͸ɺ୅දϕΫτϧͷΠϯσοΫεͷू߹ͱͳΓɺྫ͑ ͹256ύλʔϯͰ͋ͬͯ΋ϕΫτϧ͋ͨΓ8bitsͰදݱͰ͖Δ K C = {c1 , …cK } X ∈ RN×D 46 ϕΫτϧྔࢠԽʢVector Quantization: VQʣʢ3/3ʣ N D * float32 uint16 N X • ۙࣅਫ਼౓͸ ͷେ͖͞ʹґΔ͕ɺߴ࣍ݩͷ৔߹ɺద੾ͳ ͸େ͖͘ͳΓɺΫϥ ελϦϯάͷܭࢉྔʢΠςϨʔγϣϯ͋ͨΓ ʣ΋૿Ճ͢Δ K K N × K × D

Slide 47

Slide 47 text

• ߴ࣍ݩϕΫτϧΛ ݸͷ௿࣍ݩαϒϕΫτϧʹ෼ׂ͠ɺݸʑʹVQΛద༻ • ΫϥελϦϯάʹ͓͚Δਫ਼౓ͱܭࢉྔͷύϥϝʔλ ͱ ͷ௿ݮΛਤΔ M D K 47 ௚ੵྔࢠԽʢProduct Quantization: PQʣʢ1/4ʣ 0.12 0.85 0.33 0.76 0.54 0.67 0.23 0.91 0.48 0.39 0.72 0.58 0.14 0.04 0.77 0.33 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0.67 0.92 0.11 0.75 0.83 0.46 0.28 0.59 N D = 8 X

Slide 48

Slide 48 text

48 ௚ੵྔࢠԽʢProduct Quantization: PQʣʢ2/4ʣ N D/M = 2 X 0.12 0.85 | 0.33 0.76 | 0.54 0.67 | 0.23 0.91 0.48 0.39 | 0.72 0.58 | 0.14 0.04 | 0.77 0.33 ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ 0.67 0.92 | 0.11 0.75 | 0.83 0.46 | 0.28 0.59 • ߴ࣍ݩϕΫτϧΛ ݸͷ௿࣍ݩαϒϕΫτϧʹ෼ׂ͠ɺݸʑʹVQΛద༻ • ΫϥελϦϯάʹ͓͚Δਫ਼౓ͱܭࢉྔͷύϥϝʔλ ͱ ͷ௿ݮΛਤΔ M D K

Slide 49

Slide 49 text

49 ௚ੵྔࢠԽʢProduct Quantization: PQʣʢ3/4ʣ 0.12 0.85 | 0.33 0.76 | 0.54 0.67 | 0.23 0.91 0.48 0.39 | 0.72 0.58 | 0.14 0.04 | 0.77 0.33 ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ 0.67 0.92 | 0.11 0.75 | 0.83 0.46 | 0.28 0.59 ⟶ 44 | 185 | 202 | 111 210 | 93 | 100 | 46 ⋮ | ⋮ | ⋮ | ⋮ 109 | 152 | 205 | 83 N X uint8 * M D/M = 2 ⋮ ⋮ 44UI 0.18 0.72 ⋮ ⋮ 109UI 0.09 0.81 ⋮ ⋮ 210UI 0.60 0.30 ⋮ ⋮ ⋮ ⋮ 93UI 0.66 0.48 ⋮ ⋮ 152UI 0.14 0.69 ⋮ ⋮ 185UI 0.28 0.79 ⋮ ⋮ ⋮ ⋮ 100UI 0.22 0.09 ⋮ ⋮ 202UI 0.49 0.71 ⋮ ⋮ 205UI 0.76 0.55 ⋮ ⋮ ⋮ ⋮ 46UI 0.81 0.29 ⋮ ⋮ 83UI 0.25 0.63 ⋮ ⋮ 111UI 0.31 0.95 ⋮ ⋮ αϒϕΫτϧ͝ͱͷίʔυϒοΫ N K • ߴ࣍ݩϕΫτϧΛ ݸͷ௿࣍ݩαϒϕΫτϧʹ෼ׂ͠ɺݸʑʹVQΛద༻ • ΫϥελϦϯάʹ͓͚Δਫ਼౓ͱܭࢉྔͷύϥϝʔλ ͱ ͷ௿ݮΛਤΔ M D K D/M * float32

Slide 50

Slide 50 text

• ߴ࣍ݩϕΫτϧΛ ݸͷ௿࣍ݩαϒϕΫτϧʹ෼ׂ͠ɺݸʑʹVQΛద༻ • ௚ੵʢ ʣͱ͸ɺू߹ಉ࢜ͷ૊Έ߹ΘͤͰ৽͍͠ू߹ΛಘΔ͜ͱ • ࣍ݩϕΫτϧΛ ຊͷ ࣍ݩαϒϕΫτϧʹ෼ׂ͠ɺͦΕͧΕͷ VQͰ ύλʔϯʹྔࢠԽͨ͠ͳΒ͹ɺ ύλʔϯΛදݱͰ͖Δ M × D M = 4 D/M 28 (28)4 = 232 50 ௚ੵྔࢠԽʢProduct Quantization: PQʣʢ4/4ʣ 0.12 0.85 | 0.33 0.76 | 0.54 0.67 | 0.23 0.91 0.48 0.39 | 0.72 0.58 | 0.14 0.04 | 0.77 0.33 ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ 0.67 0.92 | 0.11 0.75 | 0.83 0.46 | 0.28 0.59 ⟶ 44 | 185 | 202 | 111 210 | 93 | 100 | 46 ⋮ | ⋮ | ⋮ | ⋮ 109 | 152 | 205 | 83 N X uint8 * M 2K/M 2K/M 2K/M 2K 2K/M × × × D/M = 2

Slide 51

Slide 51 text

51 ௚ੵྔࢠԽͷۙࣅڑ཭ʢ1/2ʣ 0.12 0.85 0.33 0.76 0.54 0.67 0.23 0.91 ⋮ ⋮ 44UI 0.18 0.72 ⋮ ⋮ 109UI 0.09 0.81 ⋮ ⋮ 210UI 0.60 0.30 ⋮ ⋮ ⋮ ⋮ 93UI 0.66 0.48 ⋮ ⋮ 152UI 0.14 0.69 ⋮ ⋮ 185UI 0.28 0.79 ⋮ ⋮ ⋮ ⋮ 100UI 0.22 0.09 ⋮ ⋮ 202UI 0.49 0.71 ⋮ ⋮ 205UI 0.76 0.55 ⋮ ⋮ ⋮ ⋮ 46UI 0.81 0.29 ⋮ ⋮ 83UI 0.25 0.63 ⋮ ⋮ 111UI 0.31 0.95 ⋮ ⋮ ΫΤϦϕΫτϧ q D K K K K q(1) q(2) q(3) q(4) c(1) c(2) c(3) c(4) 0.23 0.84 0.03 0.25 0.54 0.98 0.40 0.78 D σʔλϙΠϯτ x1 x(1) 1 x(2) 1 x(3) 1 x(4) 1 0.25 0.75 0.05 0.25 0.50 0.75 0.25 0.75 ྔࢠԽ x1 d(q(1), c(1) x1 ) d(q(2), c(2) x1 ) d(q(3), c(3) x1 ) d(q(4), c(4) x1 ) c(1) x1 c(2) x1 c(3) x1 c(4) x1 + + + ≈ d(q, x1 ) • ΫΤϦϕΫτϧͷαϒϕΫτϧͱରԠ͢Δσʔλͷ ྔࢠԽࡁΈαϒϕΫτϧͷڑ཭Λ߹ࢉͯ͠ٻΊΔ

Slide 52

Slide 52 text

52 ௚ੵྔࢠԽͷۙࣅڑ཭ʢ2/2ʣ 0.12 0.85 0.33 0.76 0.54 0.67 0.23 0.91 ΫΤϦϕΫτϧ q D q(1) q(2) q(3) q(4) d(q(1), c(1) x1 ) d(q(2), c(2) x1 ) d(q(3), c(3) x1 ) d(q(4), c(4) x1 ) c(1) x1 c(2) x1 c(3) x1 c(4) x1 + + + ≈ d(q, x1 ) • ࣮૷্͸ɺΫΤϦͷαϒϕΫτϧͱίʔυϒοΫͷ૊Έ߹ΘͤΛ༧Ίܭࢉͨ͠ ڑ཭දΛ४උ͓ͯ͘͜͠ͱͰɺσʔλͷαϒϕΫτϧͷ୅දϕΫτϧͷIDΛ༻ ͍ͯࢀর͢Δ͜ͱͰߴ଎ʹڑ཭ΛٻΊΔ d(q(1), c(1) 1 ) d(q(1), c(1) 2 ) d(q(1), c(1) 3 ) … d(q(1), c(1) 256 ) d(q(2), c(2) 1 ) d(q(2), c(2) 2 ) d(q(2), c(2) 3 ) … d(q(2), c(2) 256 ) d(q(3), c(3) 1 ) d(q(3), c(3) 2 ) d(q(3), c(3) 3 ) … d(q(3), c(3) 256 ) d(q(4), c(4) 1 ) d(q(4), c(4) 2 ) d(q(4), c(4) 3 ) … d(q(4), c(4) 256 ) d(q(i), c(i) j ) = ∥q(i) − c(i) j ∥2 = D/M ∑ k=1 (q(i) k − c(i) j,k )2 ฏํϢʔΫϦουڑ཭ ڑ཭ද

Slide 53

Slide 53 text

ΫϥελϦϯά

Slide 54

Slide 54 text

54 ௚ੵྔࢠԽͷ՝୊ • ௚ੵྔࢠԽ͸αϒϕΫτϧ͝ͱͷฒྻԽ΋Մೳ͕ͩɺઢܗ୳ࡧͰ͋ΔͨΊɺ ґવͱͯ͠શσʔλ਺ճ෼ͷڑ཭ܭࢉ͕ඞཁ … × ≃ ୳ࡧ ୳ࡧ ୳ࡧ ୳ࡧ

Slide 55

Slide 55 text

• ϕΫτϧू߹Λߥ͘෼ྨ͠ɺΫϥελ͝ͱʹΠϯσοΫεΛ࡞੒ • ΫΤϦ࣌ʹɺݕࡧର৅ΛߜΓࠐΜͰݕࡧͰ͖ΔͨΊܭࢉྔͷ࡟ݮ͕Մೳ • PQͱ૊Έ߹ΘͤΔ͜ͱͰɺPQͷશ݅ݕࡧͷ՝୊Λ؇࿨͢Δ 55 సஔΠϯσοΫεʢInVerted File: IVFʣʢ1/2ʣ … × ≃ … × ≃ … × ≃ ⋮ ≃

Slide 56

Slide 56 text

56 సஔΠϯσοΫεʢInVerted File: IVFʣʢ2/2ʣ • ݕࡧ࣌ʹ͸ΫΤϦϕΫτϧʹରͯ͠࠷΋͍ۙΫϥελΛର৅ͱ͢Δ͕ɺྡ઀͢ ΔଞͷΫϥελʹۙ๣ϕΫτϧ͕ଘࡏ͢ΔՄೳੑ͕͋ΔͨΊɺෳ਺ΫϥελΛ ର৅ͱͯ͠ʢΫϥελΛߜΓࠐΜͰʣPQʹΑΔݕࡧΛ࣮ࢪ͢Δ ࠷΋͍ۙΫϥελ͔ΒͷΈ͔Βۙ๣ϕΫτ ϧΛ୳͢ͱྡͷΫϥελͷϕΫτϧ͕୳ࡧ ର৅֎ʹͳΔ

Slide 57

Slide 57 text

5. ࣮γεςϜ΁ͷద༻

Slide 58

Slide 58 text

ຒΊࠐΈϞσϧ

Slide 59

Slide 59 text

• OpenAI΍GoogleͳͲ͔ΒຒΊࠐΈϞσϧͷAPI΋ެ։͞Ε͍ͯΔͨΊɺίε τΛؚΊͨཁ݅Λຬͨ͢ͳΒ͹ɺͦΕΒΛར༻͢Δ • ίετ΍ରԠ͢ΔϞμϦςΟɾݴޠɺऔΓѻ͏υϝΠϯྖҬʹ͓͚Δਫ਼౓ͳͲ ͷ؍఺ʹΑͬͯ͸ɺֶश΍ϗεςΟϯάͷ໾ׂΛ୲͏ඞཁ͕͋Δ • → WebαʔϏεͷՁ஋΍ମݧΛඳ্͘ͰɺࣗલͰ࣮ݱՄೳͳൣғΛ೺Ѳ ɹ͓ͯ͘͜͠ͱ͸େ੾ 59 ຒΊࠐΈϞσϧͷબఆ

Slide 60

Slide 60 text

• ϞμϦςΟͷҧ͍ • ςΩετɺը૾ʢ΋͘͠͸྆ํʣ • WebαʔϏεͷϢʔβʔͱΞΠςϜ • ֶश΁ͷؔ༩౓ͷҧ͍ • θϩ͔ΒಠࣗσʔλͰֶश • ֶशࡁΈϞσϧʹର͢ΔϑΝΠϯνϡʔχϯά • ֶशࡁΈϞσϧΛ׆༻ 60 ຒΊࠐΈϞσϧͷબఆ

Slide 61

Slide 61 text

• ΤϯίʔμʔܕͷTransformerʹରͯ͠ɺେن໛ͳςΩετίʔύεΛ༻͍ͯ Masked Language Modeling΍Next Sentence PredictionλεΫͰࣄલֶश͞ ΕͨϞσϧ 61 BERTʢBidirectional Encoder Representations from Transformersʣ

Slide 62

Slide 62 text

TransformerΛ༻͍ͨຒΊࠐΈʢΤϯίʔμʔܕʣ 62 τʔΫϯຒΊࠐΈ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ⋮ ΤϯίʔυϒϩοΫ 0.5 0.3 ⋯ 0.2 0.2 0.1 ⋯ 0.6 ⋮ ⋮ ⋮ 0.3 0.9 ⋯ 0.8 2 148374 ⋮ 3 τʔΫϯ*%ྻ τʔΫϯຒΊࠐΈྻ 0.3 0.3 ⋯ 1.2 0.1 0.2 ⋯ 0.8 ⋮ ⋮ ⋮ 0.1 0.2 ⋯ 0.5 จ຺Λߟྀͨ͠τʔΫϯຒΊࠐΈϕΫτϧ W 0 0 ⋯ 0 0 0 ⋯ 0 1 0 ⋯ 0 0 0 ⋯ 1 ⋮ ⋮ ⋮ 0 1 ⋯ 0 ⋮ ⋮ ⋮ ⋅ τʔΫϯ*%ྻΛϫϯϗοτΤϯίʔσΟϯάޙʹม׵͠ ͨ΋ͷΛຒΊࠐΈϕΫτϧྻͱ͢ΔʢҐஔຒΊࠐΈͷ࿩ ͸লུʣ

Slide 63

Slide 63 text

TransformerΛ༻͍ͨຒΊࠐΈʢΤϯίʔμʔܕʣ 63 τʔΫϯຒΊࠐΈ ஫ҙ ػߏ ஫ҙ ػߏ ஫ҙ ػߏ লུ ⋯ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ⋮ লུ ΤϯίʔυϒϩοΫ 0.2 0.1 ⋯ 0.2 0.1 0.6 ⋯ 0.8 ⋮ ⋮ ⋮ 0.7 0.9 ⋯ 0.5 1.0 0.2 ⋯ 0.1 0.5 0.3 ⋯ 0.9 ⋮ ⋮ ⋮ 0.4 0.6 ⋯ 0.4 Y Y Y τʔΫϯ*%ྻ τʔΫϯຒΊࠐΈྻ ҰͭલͷτʔΫϯຒΊࠐΈΛड͚औΓɺ ΫΤϦɺΩʔɺόϦϡʔϕΫτϧ΁ม׵ͷޙɺ ͋ΔτʔΫϯΛଞͷτʔΫϯͱͷ૊Έ߹ΘͤͰදݱ͢Δ ˎͲͷΑ͏ʹ૊Έ߹ΘͤΔ͔͸σʔλ͔Β֫ಘ͢Δ ෳ਺ͷ؍఺Ͱͷ૊Έ߹ΘͤΛԿ౓΋܁Γฦ͢͜ͱͰ୯७ ͳݴ͍׵͔͑Βɺෳࡶͳ܎Γड͚ɺจ຺·ͰΛଊ͑Δ͜ ͱ͕Ͱ͖ΔΑ͏ʹͳΔͱߟ͑ΒΕΔ Ϛϧνϔου஫ҙػߏ

Slide 64

Slide 64 text

• ΤϯίʔμʔܕͷTransformerʹରͯ͠ɺେن໛ͳςΩετίʔύεΛ༻͍ͯ Masked Language Modeling΍Next Sentence PredictionλεΫͰࣄલֶश͞ ΕͨϞσϧ 1. ֶशࡁΈͷϞσϧ͔ΒಘΒΕΔCLSτʔΫϯ΍֤τʔΫϯͷϓʔϦϯά ʢฏۉ΍࠷େ஋ʣΛຒΊࠐΈͱͯ͠ར༻ 2. ରরֶशͷΑ͏ͳɺྨࣅੑͷධՁͱ͍͏؍఺ʹదͨ͠ϕΫτϧΛ֫ಘͰ͖ ΔΑ͏ϑΝΠϯνϡʔχϯάͨ͠Ϟσϧͷग़ྗΛຒΊࠐΈͱͯ͠ར༻ • ϑΝΠϯνϡʔχϯάࡁΈͷϞσϧͱࣗલͰͷϑΝΠϯνϡʔχϯά 64 BERTʢBidirectional Encoder Representations from Transformersʣ

Slide 65

Slide 65 text

65 TransformerΛ༻͍ͨຒΊࠐΈʢVision Transformerʣ τʔΫϯຒΊࠐΈ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ⋮ ΤϯίʔυϒϩοΫ ը૾ τʔΫϯຒΊࠐΈྻ 🌃 0.5 0.3 ⋯ 0.2 0.2 0.1 ⋯ 0.6 ⋮ ⋮ ⋮ 0.3 0.9 ⋯ 0.8 W ը૾ΛύονྖҬʹ෼ׂ͠ɺྖҬ͝ͱͷνϟϯωϧ͝ͱ ͷըૉ஋Λฒ΂ͨ΋ͷʢͱ$-4ʣΛม׵ͨ͠΋ͷΛτʔ ΫϯຒΊࠐΈྻͱ͢ΔʢҐஔຒΊࠐΈͷ࿩͸লུʣ 0.3 0.3 ⋯ 1.2 0.1 0.2 ⋯ 0.8 ⋮ ⋮ ⋮ 0.1 0.2 ⋯ 0.5 จ຺Λߟྀͨ͠τʔΫϯຒΊࠐΈϕΫτϧ $-4

Slide 66

Slide 66 text

66 CLIPʢContrastive Language-Image Pre-trainingʣ ⋮ ⋮ 🌃 [1.0 0.2 ⋯ 0.1] 🌌 🌉 … 0.5 0.3 ⋯ 0.2 0.2 0.1 ⋯ 0.6 ⋮ ⋮ ⋮ 0.3 0.9 ⋯ 0.8 ʮԫࠚʹු͔Ϳڮʯ 0.68 0.60 ⋮ 0.88 ςΩετ͔ΒͷຒΊࠐΈ ͱը૾͔ΒͷຒΊࠐΈͷ ؒͰྨࣅ౓Λ൑ఆ ςΩετΤϯίʔμʔ ը૾Τϯίʔμʔ ⚠ςΩετΤϯίʔμʔͱը૾Τϯίʔμʔ ΛҰॹʹֶशͤ͞Δ͜ͱͰɺϞʔμϧΛލ͍ ͩຒΊࠐΈΛ֫ಘ͍ͯ͠Δ఺ʹ஫ҙɻ ݸผʹֶशͨ͠Τϯίʔμʔͷग़ྗ͢ΔຒΊ ࠐΈಉ࢜͸਺஋ૢ࡞ͱͯ͠ͷൺֱ͸Մೳͩ ͕ɺಉ͡εέʔϧͰྨࣅੑΛద੾ʹධՁͰ͖ Δͱ͸ݶΒͳ͍ɻ ͜ͷΑ͏ͳൺֱΛߦ͏৔߹ʹ͸$-*1Ϟσϧ͕ ఏڙ͢ΔΑ͏ͳ౷Ұ͞ΕͨຒΊࠐΈۭ͕ؒඞ ཁʹͳΔɻ ೔ຊޠʹ΋ରԠֶͨ͠शࡁΈϞσϧ͕๛෋ʹ ެ։͞Ε͍ͯΔ

Slide 67

Slide 67 text

67 Dual EncoderʢTwo-Tower modelʣ [1.0 0.2 ⋯ 0.1] 0.5 0.3 ⋯ 0.2 0.2 0.1 ⋯ 0.6 ⋮ ⋮ ⋮ 0.3 0.9 ⋯ 0.8 0.68 0.60 ⋮ 0.88 Ϣʔβʔಛ௃ྔ͔Βͷຒ ΊࠐΈͱΞΠςϜಛ௃ྔ ͔ΒͷຒΊࠐΈͷؒͰྨ ࣅ౓Λ൑ఆ ϢʔβʔΤϯίʔμʔʢλϫʔʣ ΞΠςϜΤϯίʔμʔʢλϫʔʣ %// %// 👤 🍎 🍓 ΞΧ΢ϯτ৘ใ ߦಈཤྺ౳ ΞΠςϜ৘ใ ਓؾ౓౳ 👤 ϞʔμϧΛލ͍ͩຒΊࠐΈͷ֫ಘ͸ςΩετ ΍ը૾ʹݶΒͳ͍ɻϢʔβʔ৘ใ΍ΞΠςϜ ৘ใΛ3"8ͳϕΫτϧͱͯ͠දݱ͠ɺ%//΍ 5SBOTGPSNFSΛ༻͍ͯλεΫʹదͨ͠ม׵Λ ߦ͏͜ͱͰಉ༷ʹ࣮ݱͰ͖Δɻ ͜ͷߏ੒ͷ࣮༻ੑ͸ɺϢʔβʔ৘ใͱൺ΂ͯ ৘ใͷมԽ͕গͳ͍ΞΠςϜ৘ใʹ͍ͭͯ༧ ΊຒΊࠐΈΛࢉग़ͯ͠ϕΫτϧݕࡧγεςϜʹ ౤ೖ͓ͯ͘͜͠ͱͰɺ࠷৽ͷϢʔβʔ৘ใ͔ Βஞ࣍ٻΊͨຒΊࠐΈʹରͯ͠ɺྨࣅ͢ΔΞ ΠςϜΛఏҊ͢ΔΑ͏ͳɺϦΞϧλΠϜਪનʹ ద͍ͯ͠Δ఺Ͱ͋Δɻ αʔϏεʹಛ༗ͷσʔλͰθϩ͔Βֶश͢Δ ϞσϧͱͳΔ͜ͱ͕ଟ͍ɻ I I H H H O O O Nor I I H H H O O O Nor

Slide 68

Slide 68 text

• ΦϑϥΠϯ༧ଌͱΦϯϥΠϯ༧ଌ • Ұׅ༧ଌͷΑ͏ʹ༧Ίେྔͷ༧ଌΛ͢Δӡ༻ํࣜͱɺDual Encoderͷࡍʹ ৮ΕͨɺAPI౳ʹΑΔΦϯϥΠϯ༧ଌ͕ඞཁͳӡ༻ʢ΋͘͠͸྆ํʣ͕͋Δ • ΦϯϥΠϯ༧ଌ͕ඞཁͳ৔߹ɺϞσϧͷ༧ଌ࣌ؒ΍ɺσϓϩΠՄೳͳϞσϧ ͷσʔλαΠζͷ੍໿ͳͲΛ౿·͑ͯɺϞσϧͷબఆΛߦ͏ͱྑ͍ 68 ຒΊࠐΈϞσϧͷ༧ଌͷఏڙܗଶ

Slide 69

Slide 69 text

ۙࣅۙ๣୳ࡧΤϯδϯ

Slide 70

Slide 70 text

• ۙࣅۙ๣୳ࡧΛ࣮ݱ͢ΔϕΫτϧݕࡧΤϯδϯ͸਺ଟ͘ఏڙ͞Ε͍ͯΔ ʢAnnoyɺFaissɺQdrantɺChroma౳ʣ • ϚωʔδυͳαʔϏεͱͯ͠ఏڙ͍ͯ͠Δ΋ͷ΋ଟ਺ ʢQdrant CloudɺGoogle Cloud Vertex AI Vector Search౳ʣ 70 ۙࣅۙ๣୳ࡧϥΠϒϥϦɾαʔϏε

Slide 71

Slide 71 text

• ࠶ݱ཰ͱ଎౓ͷτϨʔυΦϑ͕ଘࡏ ͢Δ͜ͱΛཧղ͢Δ • ཁ݅ʹΑͬͯɺઢܗ୳ࡧ͕ద͢Δ৔ ߹΋͋Γ͏Δʢ1ສ݅ະຬ100࣍ݩະຬʣ • ਫ਼౓ͱ଎౓͸ɺΞϧΰϦζϜ΍ຒΊࠐ Έͷ࣍ݩ਺΍෼෍ɺ݅਺౳ͷ৚݅ʹ ΑͬͯҟͳΔͨΊɺݕূ͕ॏཁ • ANN-Benchmarks౳΋ࢀߟʹ͢Δ 71 ۙࣅۙ๣୳ࡧʹ͓͚ΔτϨʔυΦϑ "//#FODINBSLTΑΓҾ༻ (MPWFʹΑΔ୯ޠ࣍ݩͷຒΊࠐΈʹର͢Δۙ๣୳ࡧ ԣ͕࣠࠶ݱ཰ʢ3FDBMMʣɺॎ͕࣠ݕࡧ଎౓ʢඵؒΫΤϦ਺ʣ IUUQTBOOCFODINBSLTDPNHMPWFBOHVMBS@@BOHVMBSIUNM

Slide 72

Slide 72 text

• ີͳϕΫτϧͰදݱ͞ΕΔຒΊࠐΈʹରͯ͠ɺޠኮதͷग़ݱճ਺ͳͲͰදݱ͞ ΕΔૄͳϕΫτϧ΋ɺΩʔϫʔυҰகɾྨࣅͳͲͷ໘Ͱ༗ޮ • ૄͳϕΫτϧΛಘΔʹ͸ɺTF-IDFɺBM25ʹΑΔࢉग़ɺSPLADEʢSparse Lexical and Expansion ModelʣϞσϧʹΑΔΤϯίʔυͳͲΛར༻Ͱ͖Δ • ͦΕͧΕͷ௕ॴΛ׆͔ͨ͠ଟ༷ੑͷ͋Δݕࡧ݁ՌΛظ଴͢Δ৔߹ɺϋΠϒϦο υݕࡧͷαϙʔτͷ༗ແΛબఆ࣌ʹߟྀ͢Δͱྑ͍ 72 ϋΠϒϦουݕࡧͷαϙʔτ ີϕΫτϧ༻ ΠϯσοΫε ૄϕΫτϧ༻ ΠϯσοΫε ΫΤϦ ີϕΫτϧ ૄϕΫτϧ Τϯίʔυ Lۙ๣ Lۙ๣ ౷߹ ʢ྆ํͰॱҐ͕ߴ͍ ΋ͷΛ্Ґʹʣ ݁Ռ

Slide 73

Slide 73 text

• ಛఆͷΧςΰϦͳͲʹݕࡧ݁ՌΛߜΓࠐΈ͍ͨ৔߹ͳͲɺີͳϕΫτϧ͕ඞͣ ͠΋ಘҙͰͳ͍ݕࡧ΋͋Δ • ੒෼ʹෳ਺ͷ֓೦͕ԣஅͯ͠ରԠͯ͠࿈ଓతͳ഑ஔ͕ͳ͞ΕΔຒΊࠐΈͰ ͸ɺ཭ࢄతͳ෼཭͸ෆಘख • ݺͼग़͠ଆͰϑΟϧλ͢Δ͜ͱ΋Մೳ͕ͩɺݕࡧγεςϜଆͰαϙʔτ͕͋Ε ͹ɺෆཁͳ௨৴΍ɺऔಘޙͷϑΟϧλॲཧΛ࡟ݮͰ͖ΔͨΊɺݕࡧͷޮ཰͕޲ ্͢Δɻ ·ͨɺݕࡧγεςϜͱݺͼग़͠ଆͷঢ়ଶͷζϨ΋ճආͰ͖Δɻ 73 ଐੑϑΟϧλϦϯάͷαϙʔτ ີϕΫτϧ༻ ΠϯσοΫε ΫΤϦ ີϕΫτϧ Τϯίʔυ Lۙ๣ ϑΟϧλϦϯά ʢLۙ๣ͷத͔Βࢦఆͨ͠ଐੑ ͷ஋ʹ߹க͢Δ΋ͷͰߜࠐΈʣ ݁Ռ ଐੑʢϝλσʔλͳͲݺশ͸ Τϯδϯ΍αʔϏεʹґΔʣ

Slide 74

Slide 74 text

• શͯͷۙࣅۙ๣୳ࡧΞϧΰϦζϜͰɺߏஙࡁΈͷΠϯσοΫεͷࠩ෼ߋ৽͕Ͱ ͖ΔΘ͚Ͱ͸ͳ͍ • ࠩ෼ߋ৽΋୯७ͳϕΫτϧͷ௥ՃͰ͸ͳ͘ɺطଘͷΠϯσοΫεͷ಺༰ͱͷ όϥϯγϯάͳͲͦΕͳΓʹ࣌ؒ΋͔͔Δ • ΠϯσοΫεͷ൓өΛϦΞϧλΠϜͰ࣮ࢪ͢ΔͳΒ͹ཁ݅ͱͯ͠ߟྀ • ೔࣍Ͱͷߋ৽ͰՄೳͳΒ͹࠶ߏஙͰ΋ରԠՄೳͳ৔߹͕ଟ͍ʢಛʹΤϯίʔυ ࣌ؒͷํ͕ࢧ഑తͳ৔߹ɻͦͷΑ͏ͳͱ͖͸Τϯίʔυର৅Λࠩ෼ʹ͢Δ࢓૊ Έ࡞Γͷํ͕ద੾ʣ 74 ΠϯσοΫεͷࠩ෼ʢ૿෼ʣߋ৽ͷαϙʔτ

Slide 75

Slide 75 text

ϕΫτϧݕࡧγεςϜ

Slide 76

Slide 76 text

76 ϕΫτϧݕࡧγεςϜʁ ྨࣅ͢ΔσʔλΛ ݕࡧͯ͘͠ΕΔγεςϜ Β͍͠

Slide 77

Slide 77 text

77 ϕΫτϧݕࡧγεςϜʂ

Slide 78

Slide 78 text

6. ͓ΘΓʹ

Slide 79

Slide 79 text

• ৘ใγεςϜͱAI౷߹ͷୈҰาͱͳΔϕΫτϧݕࡧγεςϜͷߏஙʹඞཁͳ஌ ࣝΛɺϕΫτϧͷಛੑɾදݱɾ୳ࡧͷ؍఺͔Β໢ཏతʹઆ໌ͨ͠ • ·ͨɺ࣮γεςϜ΁ͷద༻ʹ͋ͨΓɺ۩ମతͳج൫Ϟσϧ΍ۙࣅۙ๣୳ࡧΤϯ δϯͷ࢓૊Έ΍ػೳΛઆ໌͢Δ͜ͱͰγεςϜઃܭͷ଍͕͔ΓΛఏڙͨ͠ • ຊൃදʹΑΔϕΫτϧݕࡧγεςϜͷಋೖ͸ɺैདྷͷ৘ใγεςϜͷࡏΓํͷ Ԇ௕ઢ্ʹ͋Δɻࠓޙ͸AIΛલఏͱͨ͠৽͍͠ମݧΛ࣮ݱ͢Δ৘ใγεςϜΛ ࣮ݱ͍ͨ͠ 79 ·ͱΊ

Slide 80

Slide 80 text

No content