【輪講資料】Length-Induced Embedding Collapse in PLM-based Models

ACL読み会＠名大 2025で使用したスライドです

Transcript

1. Length-Induced Embedding Collapse in PLM-based Models ࡫໺ݚڀࣨɹD1 ໼໺ઍߛ Yuqi Zhou, Sunhao Dai, Zhanshuo Cao, Xiao Zhang, Jun Xu ACL 2025
2. ֓ཁ • ςΩετຒΊࠐΈϞσϧʹ͓͍ͯɺςΩετ͕௕͘ͳΔ΄ͲԼྲྀ λεΫͷੑೳ͕Լ͕Δ܏޲͕ଘࡏɻݪҼͱͯ͠௕͍ςΩετͷຒ ΊࠐΈ͕ີूͯ͠͠·͏Length CollapseΛఏএͨ͠ • Length CollapseͷݪҼΛཧ࿦తʹಛఆ͠ɺղܾࡦͱͯ͠Attention ʹԹ౓ύϥϝʔλΛಋೖ͢ΔTemp ScaleΛఏҊͨ͠ • Temp ScaleΛಋೖ͢Δ͜ͱͰɺLength Collapse͕௿ݮ͠ɺԼྲྀ λεΫͷੑೳ͕޲্͢Δ͜ͱΛ֬ೝͨ͠ 2
3. ஫ҙ • ࿦จதͷਤ͸ݩ࿦จ͔ΒͷҾ༻΋͘͠͸ࣗ࡞Ͱ͢ɻ • ਺ࣜͷల։ɺূ໌ʹؔͯ͠͸े෼ͳઆ໌͕͋Γ·ͤΜɻ 3
4. ςΩετຒΊࠐΈϞσϧ ✓ จΛ୯ҰͷදݱʢϕΫτϧͳͲʣʹΤϯίʔυ͢ΔϞσϧ • ۙ೥͸LLMϕʔεͷϞσϧ΋੝ΜʹѻΘΕ͍ͯΔ͕ɺ͜ͷ࿦จ͸ BERTͳͲͷ૒ํ޲ΞςϯγϣϯΛ࣋ͭɺ͍ΘΏΔΤϯίʔμ ϕʔεͷϞσϧ͕ର৅ 4 ςΩετ
 ຒΊࠐΈϞσϧ ͓ʹ͗Γ͕৯΂͍ͨ ͓ण࢘Λ৯΂Α͏ ക͸ͬ͢ͺ͍ ྨࣅ౓
   ߴ ྨࣅ౓
   ௿ ҙຯ
   ۙ ҙຯ
   ԕ ಋೖ
5. ςΩετຒࠐϞσϧͱ௕ܥྻ • ௕͍ܥྻΛ୯ҰͷදݱʹຒΊࠐΉ͜ͱͷͰ͖ΔςΩετຒࠐϞσ ϧͷߏங͸Α͘औΓ૊·Ε͍ͯΔ • ௕͍ܥྻΛ୯ҰͷදݱʹຒΊࠐΊΔͱɺ௕͍จষΛର৅ͱ͢Δݕ ࡧ΍ɺ௕͍ର࿩ཤྺΛର৅ͱ͢Δ෼ྨͱ͔͕Ͱ͖ͯخ͍͠ • ۙ೥ͷϞσϧʢBAAI/bge-m3ɺjinaai/jina-embeddings-v3ͳͲʣ͸ ཧ࿦্͸࠷େܥྻ௕8192ͳͲͱ͞Ε͍ͯͨΓ͢Δ • 🤔͔͠͠ɺ܇࿅σʔλ΍ϕϯνϚʔΫ͸ະͩෆे෼ͱ͍͏ҹ৅… 5 ಋೖ
6. ςΩετຒࠐϞσϧ͸௕ܥྻʹऑ͍ᶃ ✓ ܥྻ௕/Ϟσϧ͝ͱʹ෼ྨλεΫͷ݁ՌΛ੔ཧ • ෼ྨλεΫͷੑೳ͸ܥྻ͕௕͍΄ͲԼ͕Δ • 🤔 ୹͍ํ͕λεΫࣗମ؆୯…ʁ 6 Ϟσϧ ܥྻ௕ʢUPLFOʣ өըϨϏϡʔ෼ྨ ಋೖ: طଘͷ՝୊
7. ςΩετຒࠐϞσϧ͸௕ܥྻʹऑ͍ᶄ ✓ ฏۉ670จࣈͷςΩετΛLLMʹΑͬͯฏۉ120จࣈɺ36.5จࣈʹ ཁ໿͠ɺBGEͰΤϯίʔυɺՄࢹԽ • ར༻σʔλ͸NFCorpus • ௕ܥྻͷຒΊࠐΈʢ•ʣ͸ີू͍ͯ͠Δ 7 ҩֶ࿦จ ಋೖ: طଘͷ՝୊
8. ςΩετຒࠐϞσϧ͸௕ܥྻʹऑ͍ᶅ ✓ ܥྻ௕͝ͱʹCosine SimilarityΛ͸͔Δ ※τ=1ͷάϥϑ͚ͩݟ͍ͯͩ͘͞ɺτ͕ͳʹ͔͸ޙड़… • ར༻σʔλ͸NFCorpus • ௕ܥྻͷຒΊࠐΈಉ࢜΄Ͳ
 Similarity͕ߴ͍܏޲ɺີू͍ͯ͠Δʂ 8 ಋೖ: طଘͷ՝୊
9. Length Collapse • ௕ܥྻͷຒΊࠐΈ͸ີू͍ͯͯ͠ɺͦͷ͍ͤͰԼྲྀλεΫͷੑೳ ͕མͪΔΒ͍͠ = ͜ΕΛLength CollapseͱݺͿ • ͳͥͦΜͳࣄ͕ى͖Δͷ͔…ʁ 9 ՝୊ͷਂງΓ
10. Length Collapseʹ͍ͭͯͷཧ࿦తͳ෼ੳɿ४උ • ࠓճѻ͏TransformerΤϯίʔμʹ͸ࣗݾ஫ҙػߏʢSelf Attention, SAʣ ؚ͕·ΕɺҎԼͷࣜͰද͞ΕΔ • X: ೖྗจɺWq, Wk, Wv: ΫΤϦɺΩʔɺόϦϡʔͷॏΈ 1. SoftmaxΛ࠷ޙʹ௨ΔͷͰɺߦྻͷཁૉ͸͢΂ͯਖ਼ 2. SoftmaxΛ࠷ޙʹ௨ΔͷͰɺߦྻͷ֤ߦͷ࿨ʢ=֬཰ͷ࿨ʣ͸ඞͣ1 ➡ 2ΑΓɺग़ྗͷ࠷େݻ༗஋͸1ɺରԠ͢Δݻ༗ϕΫτϧ͸ [1,1,1,…1] 10 ՝୊ͷਂງΓ
11. Length Collapseʹ͍ͭͯͷཧ࿦తͳ෼ੳɿ४උ • ࠓճѻ͏TransformerΤϯίʔμʹ͸ࣗݾ஫ҙػߏʢSelf Attention, SAʣ ؚ͕·ΕɺҎԼͷࣜͰද͞ΕΔ • X: ೖྗจɺWq, Wk, Wv: ΫΤϦɺΩʔɺόϦϡʔͷॏΈ 1. SoftmaxΛ࠷ޙʹ௨ΔͷͰɺߦྻͷཁૉ͸͢΂ͯਖ਼ 2. SoftmaxΛ࠷ޙʹ௨ΔͷͰɺߦྻͷ֤ߦͷ࿨ʢ=֬཰ͷ࿨ʣ͸ඞͣ1 ➡ 2ΑΓɺग़ྗͷ࠷େݻ༗஋͸1ɺରԠ͢Δݻ༗ϕΫτϧ͸ [1,1,1,…1] 11 ิ଍ɿݻ༗஋ͱݻ༗ϕΫτϧ "
    ߦྻ
    Y
    ݻ༗ϕΫτϧ
    Е
    ݻ༗஋
    ݻ༗ϕΫτϧɿ"Ͱม׵ͯ͠΋޲͖͕มΘΒͣɺЕഒ͞ΕΔϕΫτϧY Ax = λx ՝୊ͷਂງΓ
12. ิ୊1ɿࣗݾ஫ҙػߏ͸ߴप೾੒෼Λݮਰͤ͞Δ • AttentionΛ௨ͬͨग़ྗͷ࠷େݻ༗஋͸1ɺରԠ͢Δݻ༗ϕΫτϧ ͸ [1,1,1,…1] • Կ౓΋ಉ͡ߦྻΛ͔͚Δʢ΂͖৐ʣͱɺ࠷େݻ༗஋ʹରԠ͢Δݻ ༗ϕΫτϧͷํ޲ɺ[1,1,1,…1] ΁ͲΜͲΜ͍͍͖ۙͮͯɺߴप೾ ੒෼͕ࣦΘΕΔ • ͜Εࣗମ͸ઌߦݚڀͰ΋ূ໌͞Ε͓ͯΓɺ૚͕ਂ͘ͳΔࣄʹߴप ೾੒෼͕ࣦΘΕΔ͜ͱʢOver-Smoothingʣ͕஌ΒΕ͍ͯΔ 12 ՝୊ͷਂງΓ
13. ิ୊1ɿࣗݾ஫ҙػߏ͸ߴप೾੒෼Λݮਰͤ͞Δ • AttentionΛ௨ͬͨग़ྗͷ࠷େݻ༗஋͸1ɺରԠ͢Δݻ༗ϕΫτϧ ͸ [1,1,1,…1] • Կ౓΋ಉ͡ߦྻΛ͔͚Δʢ΂͖৐ʣͱɺ࠷େݻ༗஋ʹରԠ͢Δݻ ༗ϕΫτϧͷํ޲ɺ[1,1,1,…1] ΁ͲΜͲΜ͍͍͖ۙͮͯɺߴप೾ ੒෼͕ࣦΘΕΔ • ͜Εࣗମ͸ઌߦݚڀͰ΋ূ໌͞Ε͓ͯΓɺ૚͕ਂ͘ͳΔࣄʹߴप ೾੒෼͕ࣦΘΕΔ͜ͱʢOver-Smoothingʣ͕஌ΒΕ͍ͯΔ 13 ֤ཁૉ஋͔Βฏۉ஋ΛҾ͍ͨ΋ͷ දݱͷσΟςΟʔϧΈ͍ͨͳΠϝʔδ… ՝୊ͷਂງΓ
14. ఆٛ2: Self AttentionʹΑΔߴप೾੒෼ͷݮਰ཰ 14 • ఆٛ2: ߴप೾੒෼HC[X]ͷSelf AttentionʹΑΔϑΟϧλʔ཰͸ HC[X]ͷ࠷େಛҟ஋σ_αͰ཈͑Δ͜ͱ͕Ͱ͖Δ ͦͷߦྻͰͷม׵Λߦͬͨͱ͖ʹ มԽ͢Δେ͖͞ͷ࠷େ ՝୊ͷਂງΓ
15. ఆٛ 3: ߴप೾੒෼ͷݮਰ཰͸ܥྻ௕͕௕͘ͳΔ΄Ͳେ͖͘ͳΔ 15 • ఆٛ3: ܎਺σ_α͸ܥྻ௕nͰ཈͑Δ͜ͱ͕Ͱ͖Δ • ͓ؾ࣋ͪɿܥྻ௕͕௕͘ͳΔ΄ͲsoftmaxʹΑͬͯAttention Score ͷ෼෍͕ฏୱʹͳΓɺߴप೾੒෼͕θϩߦྻʹۙͮ͘ = ಛҟ஋͕ খ͘͞ͳΔ ͭ·ΓɺϑΟϧλʔ཰͸ܥྻ௕Ͱ཈͑Δ͜ͱ͕Ͱ͖Δ ՝୊ͷਂງΓ
16. ϑΟϧλʔ཰͸ܥྻ௕Ͱ཈͑Δ͜ͱ͕Ͱ͖Δ = ܥྻ௕͕௕͍΄Ͳߴप೾੒෼͕ݮਰ͠ɺࣅͨຒΊࠐΈ͹͔Γʹͳ ΔʢLength Collapseʣ • ࠷ॳʹ͔֬ΊͨCosineྨࣅ౓ͱ
 ܥྻ௕ͷؔ܎ʹઆ໌͕ͭ͘ Length Collapse͸ى͖͍ͯͦ͏… 16 ՝୊ͷਂງΓ
17. ఏҊɿTempScaleͷಋೖ • Length Collapse͸ߴप೾੒෼ͷݮਰʢաฏ׈ԽʣʹΑͬͯى͖͍ͯͨ ➡ݩͷग़ྗͷ෼෍Λ΋ͬͱઑΒͤΕ͹Α͍ͷͰ͸ʁ • softmaxલͷlogitͷ֤ߦΛআࢉ͢ΔɺԹ౓0< τ< 1ΛɺAttentionʹಋೖ • ग़ྗ͸τ͕େ͖͍΄Ͳฏୱʹɺখ͍͞΄Ͳઑͬͨ෼෍ʹͳΔ • ͭ·Γɺτ͕খ͍͞΄ͲΑΓଟ͘ͷߴप೾੒෼͕อ࣋͞ΕΔʂ 17 ղܾ๏ͷఏҊ
18. TempScaleͷద༻ ✓ ܥྻ௕͝ͱʹCosine SimilarityΛ͸͔Δ • ར༻σʔλ͸NFCorpus • Թ౓͕Լ͕Δͱɺܥྻ௕ʹΑΔ
 ྨࣅ౓΁ͷӨڹ͸খ͘͞ͳ͍ͬͯͦ͏ʂ 18 ղܾ๏ͷద༻
19. TempScaleͷԼྲྀλεΫ΁ͷӨڹ 19 ղܾ๏ͷద༻
20. TempScaleͷԼྲྀλεΫ΁ͷӨڹ 20 ࠩ෼͸ਖ਼ͷ஋͕ͩ
 ݁ߏখ͍͞޲্෯… ʜ ղܾ๏ͷద༻
21. TempScaleͷԼྲྀλεΫ΁ͷӨڹ 21 ܥྻ௕େ͖ͳϞσϧ
 λεΫͱ૬ੑྑ…ʁ ʜ ղܾ๏ͷద༻
22. TempScaleͷԼྲྀλεΫʢSTSʣ΁ͷӨڹ • STSɿจϖΞͷҙຯͷۙ͞Λ͏·͘ଊ͑ΔλεΫ • Թ౓Λখ͘͢͞Δ΄Ͳɺؔ܎ͳ͍ʢRandom΍UnrekatedʣϖΞ ͷྨࣅ౓͕Լ͕Δ • 🤔ͦ͏͔ͳ…ʁ 22 ղܾ๏ͷద༻
23. ର৅ςΩετͷܥྻ௕ʹΑͬͯ࠷దͳԹ౓͸ҟͳΔ • ௚ײతʹ͸ɺ௕͍ܥྻΛѻ͏৔߹΄Ͳݮਰ཰͸௿͋ͬͯ͘΄͍͠ = Թ౓͸খ͋ͬͯ͘͞΄͍͠ • λεΫɿSummScreenFD • ͍͍ͩͨظ଴௨Γ͕ͩɺANCEͷΈظ଴ͱٯͷ܏޲ 23 ςϨϏͷ୆ຊ͔Βͦͷ ཁ໿Λݕࡧ͢ΔλεΫ ˛ϞσϧɺςΩετͷ௕͞͝ͱͷԹ౓ͱੑೳͷؔ܎ ղܾ๏ͷద༻
24. ·ͱΊ • ςΩετຒΊࠐΈϞσϧʹ͓͍ͯɺςΩετ͕௕͘ͳΔ΄ͲԼྲྀ λεΫͷੑೳ͕Լ͕Δ܏޲͕ଘࡏɻݪҼͱͯ͠௕͍ςΩετͷຒ ΊࠐΈ͕ີूͯ͠͠·͏Length CollapseΛఏএͨ͠ • Length CollapseͷݪҼΛཧ࿦తʹಛఆ͠ɺղܾࡦͱͯ͠Attention ʹԹ౓ύϥϝʔλΛಋೖ͢ΔTemp ScaleΛఏҊͨ͠ • Temp ScaleΛಋೖ͢Δ͜ͱͰɺLength Collapse͕௿ݮ͠ɺԼྲྀ λεΫͷੑೳ͕޲্͢Δ͜ͱΛ֬ೝͨ͠ 24
25. ײ૝ • ཧ࿦తʹ΋࣮ݧతʹ΋ॆ࣮ͨ͠ίετͷֻ͔͍ͬͯΔ࿦จͩͳ͋ͱݴ ͏ҹ৅ • Appendixʹେྔͷ࣮ݧɺ֤ධՁσʔλͷઆ໌͕͋ͬͨΓɺLLMϕʔε ͷຒΊࠐΈϞσϧʹ͍ͭͯ΋ݴٴ͕͋Δ • ICLRͰreject͞Εͨόʔδϣϯ͔Βཧ࿦໘ॆ࣮͍ͤͯͯ͞Ғ͍ • ͦΕ͸ͦ͏ͱɺTempScale͸͏·͘ߦ͍ͬͯΔ͔Θ͔Βͳ͍… • Ϟσϧ΍λεΫʹΑͬͯ܏޲͕͔ͳΓ͹Β͍͍ͭͯΔ • TempScaleΛܥྻ௕ʹґଘܾͯ͠ఆ͠ɺ܇࿅ͯ͠ΈΔͱͦΕͳΓʹੑೳ ্͕͕Δ͔΋…ʁ 25