What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary

2023 第15回最先端NLP勉強会

Transcript

1. Ori Ram, Liat Bezalel, Adi Zicher, Yonatan Belinkov, Jonathan Berant, Amir Globerson (ACL 2023) ࠷ઌ୺ NLP ษڧձ 2023 ಡΉਓɿཥ ྇פʢLINEגࣜձࣾʣ What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary
2. - ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕Ή৘ใΛ෼ੳ - ີϕΫτϧ͕ॏཁ୯ޠͷ৘ใΛ๨٫ͯ͠͠·͏ݱ৅Λൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ ࿦จͷ֓ཁ 2
3. എܠ ϕΫτϧݕࡧʹ͍ͭͯ 3
4. - ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕Ή৘ใΛ෼ੳ - ີϕΫτϧ͕ॏཁ୯ޠͷ৘ใΛ๨٫ͯ͠͠·͏ݱ৅Λൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ ࿦จͷ֓ཁ 4
5. ⾚⽯⼭脈 ⽇本 2番⽬ ⾼ 標⾼（3193m） 誇 北岳 。 Query ͕༩͑ΒΕɺPassage ू߹͔Βؔ࿈͢ΔจॻΛऔಘ͢Δɻ ݚڀʹ͓͚Δݕࡧ໰୊ ݕࡧγεςϜ ⽇本 ⼆番⽬ ⾼ ⼭ 何？ 5
6. Query ͱ Passage Λ࿈ଓ஋ີϕΫτϧʹม׵͠ɺ ྨࣅ౓ݕࡧʹΑͬͯ݁ՌΛऔಘ͢Δɻ ີϕΫτϧݕࡧ Dense (Vector) Retrieval Τϯίʔμ ⽇本 ⼆番⽬ ⾼ ⼭ 何？ Τϯίʔμ ྨࣅ౓ݕࡧ 6
7. ີϕΫτϧݕࡧͷ୅දख๏ Dense Passage Retrieval (DPR; Karpukhin et al., 2020) Transformer [CLS] ⽇本 ⼆ ? … [SEP] ϓʔϦϯά ϕΫτϧม׵ʹ͸ BERT ͳͲͷࣄલֶशࡁΈΤϯίʔμΛ༻͍Δɻ ͦͯ͠ݕࡧλεΫ޲͚ʹϑΝΠϯνϡʔχϯάΛ͢Δɻ 7
8. ϑΝΠϯνϡʔχϯάʹ͸ in-batch negative Λ༻͍Δɻ ີϕΫτϧݕࡧͷ୅දख๏ Dense Passage Retrieval (DPR; Karpukhin et al., 2020) q1 q2 q3 p1 p2 p3 ᶃ ؔ࿈͢Δ Query ͱ Passage ͰόονΛ࡞੒ɻ ᶄ શͯͷϖΞʹ͍ͭͯ ϕΫτϧͷ಺ੵΛܭࢉɻɹɹ ؔ࿈͢ΔϖΞΛਖ਼ྫɺ ͦͷଞΛෛྫͱ͢Δɻ ᶅ ֤ Query ʹ͍ͭͯɺਖ਼ྫ ͷείΞ͕૬ରతʹେ͖͘ͳΔ Α͏ʹ࠷దԽ͢Δɻ Softmax with Cross-Entropy 8
9. ີϕΫτϧݕࡧ vs. ૄϕΫτϧݕࡧ 9
10. ૄϕΫτϧݕࡧ Sparse (Vector) Retrieval ⽇本 ⼆番⽬ ⾼ ⼭ 何？ … ೔ຊ … ࢁ … ߴ͍ … 0 1.54 0 3.45 0 2.3 0 ςΩετதͷ୯ޠʹείΞΛ༩͑ͯɺ ϕΫτϧΛ࡞Δɻ 10
11. ૄϕΫτϧݕࡧͷ୅දख๏ BM25 (Robertson et al., 1994) IDF(w) Query தͷ୯ޠ w ͷείΞɿ Passage தͷ୯ޠ w ͷείΞɿ f (w, p) ⋅ (k1 + 1) f (w, p) + k1 ⋅ (1 − b + b ⋅ |p| avgplength ) - ୯ޠ w ͷස౓͕ߴ͍΄ͲείΞ͕ߴ͍ - Passage ͷ௕͕͞௕͍΄ͲείΞ͕௿͍ - b ͱ k_1 ͸ϋΠύϥ 11
12. ૄϕΫτϧݕࡧ Sparse (Vector) Retrieval … ೔ຊ … ࢁ … ߴ͍ … 0 1.64 0 3.45 0 2.30 0 … ೔ຊ … ࢁ … ߴ͍ … 0 3.42 0 2.74 0 1.33 0 ⋅ Query ͱ Passage ͷྨࣅ౓͸ૄϕΫτϧͷ಺ੵͱଊ͑Δ͜ͱ͕Ͱ͖Δɻ ࣮ࡍͷ࣮૷Ͱ͸ɺసஔΠϯσοΫεΛߏங͠ Query தͷ୯ޠΛ࣋ͨͳ͍ Passage Λແࢹ͢ΔͳͲͯ͠ɺܭࢉΛߴ଎Խ͢Δɻ 12
13. Ұൠతͳ܏޲ͱͯ͠ɺಘҙ෼໺͕ҟͳΔ (Thukar et al., 2021)ɻ ີϕΫτϧݕࡧ vs. ૄϕΫτϧݕࡧ in-domain ੑೳ out-of-domain ੑೳ BM25 ʢૄϕΫτϧʣ ˚ ̋ DPR ʢີϕΫτϧʣ ̋ ˚ 13
14. ີϕΫτϧݕࡧ͸௿ස౓ΤϯςΟςΟʹؔ͢Δ࣭໰ʹऑ͍ɻ ີϕΫτϧݕࡧ vs. ૄϕΫτϧݕࡧ Table 1, Sciavolino et al., 2021 ΑΓ 14
15. ʢ͓·͚ʣଞʹ΋͍ΖΜͳख๏͕ఏҊ͞Ε͍ͯΔ͕ ີͱૄͷϋΠϒϦουͩͬͨΓɺΞΠσΟΞͷܥේ͕͋ͬͯ໘ന͍ BM25 DPR SPLADE ColBERT COIL CITADEL Li et al., 2022 Formal et al., 2021 Gao et al., 2021 Khattab et al., 2020 Karpukhin et al., 2020 Robertson et al., 1994 ϚϧνϕΫτϧԽ BERT ͷ MLM-head ͰείΞΛ༧ଌ ϕΫτϧݕࡧͰ΋ సஔΠϯσοΫεΛ࢖༻ ʢ͍Ζ͍Ζશ෦੝Γͷख๏ʣ 15
16. ෼ੳख๏ Vocabulary Projections ͷఏҊ 16
17. - ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕Ή৘ใΛ෼ੳ - ີϕΫτϧ͕ॏཁ୯ޠͷ৘ใΛ๨٫ͯ͠͠·͏ݱ৅Λൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ ࿦จͷ֓ཁ 17
18. ϕΫτϧΛޠኮۭؒʹࣹӨ͢Δ Τϯίʔμ q … ೔ຊ … ࢁ … ߴ͍ … 0… 0.11 0… 0.13 0… 0.09 0… MLM head ϕΫτϧ಺ʹͲͷΑ͏ͳ୯ޠͷ৘ใ͕Ͳͷ͘Βؚ͍·Ε͍ͯΔ͔͕෼͔Δ Q 18
19. ϕΫτϧΛޠኮۭؒʹࣹӨ͢Δ Τϯίʔμ q ϑΝΠϯνϡʔχϯάࡁΈ ࣄલֶशޙͦͷ·· 19 … ೔ຊ … ࢁ … ߴ͍ … 0… 0.11 0… 0.13 0… 0.09 0… MLM head Q
20. - ϑΝΠϯνϡʔχϯάͨ͠Τϯίʔμʹɺࣄલֶशޙͦͷ ··ͷ MLM head Λ߹Θ͍ͤͯΔɻ - ͔͠΋ MLM head ͷೖྗ͸ຊདྷτʔΫϯ୯ҐͷϕΫτϧ ͰɺೖྗશମΛදݱ͢ΔϓʔϦϯά͞ΕͨϕΫτϧΛೖྗ ͢Δ͜ͱ͸૝ఆ͞Ε͍ͯͳ͍ɻ ͜Μͳ͜ͱΛ͍͍ͯ͠ͷ͔ʁ🤔 ஶऀΒͷओுɿ௚ײతͳ݁Ռ͕ಘΒΕ͍ͯΔͷͰϤγʂ 20
21. - Ұൠʹ BERT ΛϑΝΠϯνϡʔχϯάͯ͠΋ɺ্ҐϨΠϠʔ͕গ͠ಈ͚ͩ͘ (Zhou and Srikumar, 2022)ɻ ➡︎ ϑΝΠϯνϡʔχϯάલͷ MLM head Λ߹Θͤͯ΋ͦΕͳΓʹҙຯͷ͋Δ݁Ռ͕ ಘΒΕΔͱ΋ߟ͑ΒΕΔɻ - ϓʔϦϯά͍ͯ͠Δͱ͍ͬͯ΋ɺτʔΫϯ୯ҐͷϕΫτϧ͔Β࡞ΒΕ͍ͯΔɻ ➡︎ LM head ʹೖΕͯ΋গͳ͘ͱ΋୯ޠ৘ใͷ૬ରతͳڧ͞͸औΕͦ͏ɻ - Query ͱ Passage ͷΤϯίʔμ͸ಉ͡ BERT ͔ΒॳظԽ͞Εɺ໨తؔ਺΋ςΩ ετͷྨࣅ౓ʹؔ܎͍ͯ͠Δɻ ➡︎ ௚ײతʹɺݩͷΤϯίʔμͷ୯ޠ৘ใۭؒʹࡌ͔ͬΔܗͰֶश͕ਐΈͦ͏…ʁ ஶऀΒʹ୅Θͬͯਖ਼౰ԽΛࢼΈΔͱ… 21
22. DPR ͷ෼ੳ 22
23. - ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕Ή৘ใΛ෼ੳ - ີϕΫτϧ͕ॏཁ୯ޠͷ৘ใΛ๨٫ͯ͠͠·͏ݱ৅Λൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ ࿦จͷ֓ཁ 23
24. ෼ੳͷςʔϚͱͯ͠ɺੲͳ͕ΒͷૄϕΫτϧݕࡧͰॏཁͩͱ ߟ͑ΒΕ͍ͯΔ৘ใ͕ɺDPR Ͱ΋׆༻͞Ε͍ͯΔ͔ɺͱ͍͏ ͜ͱΛ͔֬Ί͍ͯΔɻ 1. Query-Passage ؒͷ୯ޠॏෳͷ෼ੳ 2. Passage ϕΫτϧ͸ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠ Δʁ 3. Query Τϯίʔμ͸ΫΤϦ֦ுΛ͍ͯ͠Δ͔ ෼ੳ಺༰ 24
25. Query ͱ Passage ͷ୯ޠͷॏෳ͸ૄϕΫτϧݕࡧͰ΋ͱͯ΋ॏཁ 1. Query-Passage ؒͷ୯ޠॏෳͷ෼ੳ ෼ੳഎܠ ➡︎ ີϕΫτϧͰ͸Ͳ͏͔ʁ … ೔ຊ … ࢁ … ߴ͍ … 0 1.64 0 3.45 0 2.30 0 … ೔ຊ … ࢁ … ߴ͍ … 0 3.42 0 2.74 0 1.33 0 ⋅ 25
26. 1. Query-Passage ؒͷ୯ޠॏෳͷ෼ੳ ෼ੳํ๏ ࢁ ೔ຊ ߴ͍ … … 0.13 0.11 0.09 … … ⾚⽯⼭脈 ⽇本 ⼆番⽬ ⾼ 標⾼（3193m） 誇 北岳 。 ⽇本 ⼆番⽬ ⾼ ⼭ 何？ ๺ַ ೔ຊ ໌ੴ … … 0.22 0.10 0.09 … … ڞ௨୯ޠ ⽇本、⼆番⽬、⾼ top-3 ͷڞ௨୯ޠ ⽇本 Q P top-k ͷڞ௨୯ޠ͕ڞ௨୯ޠͷԿ%Χόʔ͍ͯ͠Δ͔Λௐࠪ Vocabulary Projection 26
27. 1. Query-Passage ؒͷ୯ޠॏෳͷ෼ੳ ෼ੳ݁Ռ Figure 3 ΑΓ DPR ͸ɺϑΝΠϯνϡʔχϯάલʹ ൺ΂ͯɺϕΫτϧʹ Query ͱ Passage Ͱڞ௨͢ΔΑ͏ͳ୯ޠ৘ใ ΛΑΓଟ͘Τϯίʔυ͍ͯ͠Δɻ ➡︎ ີϕΫτϧͰ΋୯ޠॏෳ͕ॏཁɻ 27
28. 2. Passage ϕΫτϧ͸ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠Δʁ ෼ੳഎܠ Passage ͸ͨ͘͞Μ୯ޠΛؚΉ͕ɺͦͷ͏ͪ Query ʹݱΕΔΑ͏ͳ୯ޠΛ ڧௐ͢ΔΑ͏ʹɺDPR ͸ϕΫτϧΛΤϯίʔυ͍ͯ͠Δʁ ⾚⽯⼭脈 ⽇本 ⼆番⽬ ⾼ 標⾼（3193m） 誇 北岳 。 ⽇本 ⼆番⽬ ⾼ ⼭ 何？ 28
29. ⽇本 ⼆番⽬ ⾼ ⼭ 何？ ๺ַ ೔ຊ ໌ੴ … … 0.22 0.10 0.09 … … Query ͷ୯ޠ͕ P Ͱ্ҐʹϥϯΩϯά͞Ε͍ͯΔ͔ʁ ͜ΕΛQueryதͷ୯ޠͷɺP ʹ͓͚ΔฏۉٯॱҐͰఆྔԽɻ P 2. Passage ϕΫτϧ͸ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠Δʁ ෼ੳํ๏ 29
30. Table 2 ΑΓ DPR vs. BERT(mean) ϑΝΠϯνϡʔχϯάલʹൺ΂ͯɺ ҙຯͷ͋Δ୯ޠΛ্ҐʹΤϯίʔυ ͢ΔΑ͏ʹͳ͍ͬͯΔɻ > > > 2. Passage ϕΫτϧ͸ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠Δʁ ෼ੳ݁Ռ 30
31. Table 2 ΑΓ DPR ͷ Passage ϕΫτϧʹ͸ɺ Passage ͱ Query ڞ௨ͷ୯ޠ্͕ ҐʹΤϯίʔυ͞Ε΍͍͢ɻ ·ͨ Query தͷ୯ޠ͸ɺPassage தͷ୯ޠΑΓ΋্ҐʹΤϯίʔυ͞ Ε΍͍͢ɻ > > ➡︎ DPR ͸ɺݕࡧʹॏཁͳ୯ޠ৘ใ Λ༧ଌ͠ɺϕΫτϧʹΤϯίʔυ ͍ͯ͠Δɻ 2. Passage ϕΫτϧ͸ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠Δʁ ෼ੳ݁Ռ 31
32. ෼ੳഎܠɿQuery ʹಉٛޠ΍ؔ࿈͢Δ୯ޠͳͲΛิͬͯϚον཰Λ্͛Δɹ ΫΤϦ֦ுͱ͍͏ςΫχοΫ͕Α͘࢖ΘΕΔɻ 3. Query Τϯίʔμ͸ΫΤϦ֦ுΛ͍ͯ͠Δ͔ ෼ੳഎܠ ⽇本 ⼆番⽬ ⾼ ⼭ 何？ ➡︎ DPR ΋ΫΤϦ֦ுΛ҉ʹ͍ͯ͠Δʁ ⼭脈、標⾼、富⼠⼭… + 32
33. 3. Query Τϯίʔμ͸ΫΤϦ֦ுΛ͍ͯ͠Δ͔ ෼ੳํ๏ ࢁ ೔ຊ ߴ͍ ࢁ຺ … 0.13 0.11 0.09 0.07 … ⾚⽯⼭脈 ⽇本 ⼆番⽬ ⾼ 標⾼（3193m） 誇 北岳 。 ⽇本 ⼆番⽬ ⾼ ⼭ 何？ ๺ַ ೔ຊ ໌ੴ ඪߴ … 0.22 0.10 0.09 0.07 … ϕΫτϧΛ ޠኮۭؒʹࣹӨ Q P Query ʹ͸ؚ·Ε͍ͯͳ͍͕ɺPassage ʹؚ·Ε͍ͯΔ୯ޠΛ top-k ʹ࣋ͭ Q ͕ͲΕ͘Β͍͋Δ͔Λௐࠪɻ 33
34. 3. Query Τϯίʔμ͸ΫΤϦ֦ுΛ͍ͯ͠Δ͔ ෼ੳ݁Ռ Figure 4 ΑΓ ɹ ׂ̔Ҏ্ͷ Q ͕ɺtop-20 ͷ͏ͪ ʹ Query ʹͳ͍͕ Passage ʹଘࡏ ͢Δ୯ޠΛؚΜͰ͍Δɻ ➡︎ DPR ͸ΫΤϦ֦ுΛ҉ʹֶशͯ͠ ͍Δɻ 34
35. DPR ͸ૄϕΫτϧݕࡧͱಉ༷ʹɺ୯ޠͷॏෳΛॏཁࢹ͠ɺ ·ͨ Query ͱ Passage ͷϕΫτϧʹॏཁ౓ͷߴ͍୯ޠͷ৘ ใΛೖΕΔڍಈΛ͍ͯ͠Δɻ ෼ੳͷ·ͱΊ 35
36. Token Amnesia ʹ͍ͭͯ 36
37. - ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕Ή৘ใΛ෼ੳ - ີϕΫτϧ͕ॏཁ୯ޠͷ৘ใΛ๨٫ͯ͠͠·͏ݱ৅Λൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ ࿦จͷ֓ཁ 37
38. Vocabulary Projections ͰϕΫτϧΛௐ΂ͯΈΔͱɺ Passage ϕΫτϧ͕ɺຊจʹଘࡏ͢Δॏཁͳ୯ޠΛ๨٫ͯ͠ ͍Δ͜ͱ͕͋Δɻ͜ΕΛ Token Amnesia ͱ͍͏ɻ ՝୊ͷൃݟ ⾚⽯⼭脈 ⽇本 ⼆番⽬ ⾼ 標⾼（3193m） 誇 北岳 。 北岳 標⾼ 何？ Vocabulary Projection ๺ַ ඪߴ … … … 0.33 0.21 … … … ੺ੴ ೔ຊ ඪߴ … ๺ַ 0.22 0.10 0.09 … 0.001 Q P …͜ͷଘࡏΛఆྔతʹࣔͨ͠σʔλ (Figure 5) ͸ׂѪ 38
39. ॏཁͳ୯ޠͷ৘ใΛϕΫτϧʹ଍ͤ͹Α͍ɻ Token Amnesia ͷղܾ๏ Passage ͷϕΫτϧ + ॏཁ୯ޠͷϕΫτϧ Λ͢Δ͜ͱͰੑೳվળɻ ͜ͷख๏͸ Lexical Enrichment ͱݺ͹Ε͍ͯΔɻ 39
40. ·ͣɺॏཁ୯ޠ t ͷ৘ใΛؚΜͩϕΫτϧ St Λ࡞Δɻ Lexical Enrichment st = arg max ̂ s log MLM Head( ̂ s)[t] MLM Head ʹೖྗ͢Δͱ୯ޠ t ͷ༧ଌ֬཰͕ߴ͘ ͳΔΑ͏ͳϕΫτϧ ŝ ΛɺSGD Ͱֶश͢Δɻ 40
41. ෳ਺ͷॏཁ୯ޠ [x1, …, xn] ͷ৘ใΛɺPassage ϕΫτϧʹ෇Ճ͍ͨ͠ͱ͢Δɻ ͦͷ৔߹͸֤୯ޠΛ IDF ͰॏΈ෇͚ͯɺϕΫτϧΛ࡞Δɻ Lexical Enrichment elex x = 1 n n ∑ i=1 IDF(xi )sxi ŝ 41
42. ݩʑͷύοηʔδϕΫτϧ ex ʹ଍͠߹ΘͤΔ࣌͸ɺਖ਼نԽΛ͠ɺ ॏΈ λ Λ͔͚Δɻ Lexical Enrichment e′  x = ex + λ ⋅ elex x elex x ŝ 42
43. Lexical Enrichment Λ࢖༻͢Δͱ out-of-domain ੑೳ͕ྑ͘ͳΔɻ Lexical Enrichment ͷޮՌ Table 3 ΑΓൈਮ …ablation study (Table 4) ͸ׂѪ 43
44. - ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕Ή৘ใΛ෼ੳ - ີϕΫτϧ͕ॏཁ୯ޠͷ৘ใΛ๨٫ͯ͠͠·͏ݱ৅Λൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ ࿦จͷ֓ཁ 44
45. - Vocabulary Expansion ͸ີϕΫτϧݕࡧͷҰา౿ΈࠐΜͩ Τϥʔ෼ੳΛ͢Δͷʹ໾ཱͪͦ͏ɻ - Token Amnesia ͸ DPR + BM25 ͷΞϯαϯϒϧͳͲͰ͸ ղܾ͠ͳ͍ͷͩΖ͏͔ʁʢLexical Enrichment ͸ख͕͔ؒ ͔Γͦ͏ɻʣ ॴײ 45