最先端NLP勉強会2023

最先端NLP勉強会2023にて発表した"How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases"の発表資料です。https://aclanthology.org/2023.acl-long.629/

Transcript

1. How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases ঺հऀɿେӋ ະ༔ʢ/"*45
   ౉ลݚڀࣨ
   .ʣ ࠷ઌ୺/-1ษڧձ Aaron Mueller and Tal Linzen. ACL2023. 1 ஫ऍͷͳ͍ݶΓਤද͸࿦จ͔ΒͷҾ༻
2. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
   • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ 2
3. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
   • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ ͱ͸ʁ 3
4. ઢܗ൚Խͱ֊૚൚Խ • e.g. ಈࢺͷओޠΛ౰ͯΔλεΫ • ֶशྫ: He presents his work at the conference • ൚ԽͷجͱͳΔෳ਺ͷԾఆ(બ޷, όΠΞε)ͷྫ: • Ծఆ
   ࠷ॳͷ໊ࢺ ઢܗతͳ৘ใΛཔΓʹͯ͠൚Խ • Ծఆ
   ಈࢺͷۙ͘ʹ͋Δ໊ࢺ ઢܗతͳ৘ใΛཔΓʹͯ͠൚Խ • Ծఆ ֊૚తͳ৘ใΛཔΓʹͯ͠൚Խ ౷ޠతؼೲόΠΞεͱ͸ 4 *これ以降のパースされた文は 全てBerkley neural parserのdemoを用いた
5. ઢܗ൚Խͱ֊૚൚Խ • e.g. ಈࢺͷओޠΛ౰ͯΔλεΫ • ֶशྫ: He presents his work at the conference • ൚ԽͷجͱͳΔෳ਺ͷԾఆ(બ޷, όΠΞε)ͷྫ • Ծఆ
   ࠷ॳͷ໊ࢺ ઢܗతͳ৘ใΛཔΓʹͯ͠൚Խ • Ծఆ
   ಈࢺͷۙ͘ʹ͋Δ໊ࢺ ઢܗతͳ৘ใΛཔΓʹͯ͠൚Խ • Ծఆ ֊૚తͳ৘ใΛཔΓʹͯ͠൚Խ • Ͳͷ൚ԽͰ΋ಈࢺͷओޠ͸ಉ͡ • 👍 He presents his work at the conference ౷ޠతؼೲόΠΞεͱ͸ 5
6. ઢܗ൚Խͱ֊૚൚Խ • ਪ࿦ྫ: Can you repeat what the senator next to the cats said? • ઢܗతͳҐஔ৘ใΛཔΓʹͨ͠൚Խ • Ծఆ
   ࠷ॳͷ໊ࢺ • Ծఆ
   ಈࢺͷۙ͘ʹ͋Δ໊ࢺ • ֊૚తͳߏ଄ΛཔΓʹͨ͠൚Խ • (Ծఆ ౷ޠతؼೲόΠΞεͱ͸ 6
7. ઢܗ൚Խͱ֊૚൚Խ • ਪ࿦ྫ: Can you repeat what the senator next to the cats said? • ઢܗతͳҐஔ৘ใΛཔΓʹͨ͠൚Խ • Ծఆ
   ࠷ॳͷ໊ࢺ • 👎 Can you repeat what the senator next to the cats said? • Ծఆ
   ಈࢺͷۙ͘ʹ͋Δ໊ࢺ • 👎 Can you repeat what the senator next to the cats said? • ֊૚తͳߏ଄ΛཔΓʹͨ͠൚Խ • (Ծఆ • 👍 Can you repeat what the senator next to the cats said? ౷ޠతؼೲόΠΞεͱ͸ 7
8. ౷ޠతؼೲόΠΞεͱ͸ • ౷ޠతؼೲόΠΞε • Ϟσϧ͕࣋ͭ ʹ࣋ͨͤΔ จ๏ʹؔ͢Δ൚ԽͷجͱͳΔԾఆ બ޷
   ཁҼ • ਓ͕ؒΑΓ༰ೝՄೳͳܥྻΛ໨ࢦ͢ʹ͸ • ઢܗ൚ԽΑΓ΋֊૚൚Խ͕ྑͦ͞͏ • 🤔 ͲΜͳϞσϧ͕ͲΜͳ౷ޠతؼೲόΠΞεΛ͍࣋ͬͯΔͷ͔ ౷ޠతؼೲόΠΞεͱ͸ 8
9. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
   • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ ͷഎܠ 9
10. ࣄલֶशͷ൚Խ΁ͷӨڹ • ࣄલֶश͋ΓͷϞσϧͷํ͕֊૚൚Խ͢Δ<.VFMMFS
    > طଘݚڀ 推論データ (OOD) 階層汎化：正解 事前学習あり モデル 事前学習なし モデル (パラメータは ランダム初期化) 学習データ 階層汎化：正解 学習データ 線形汎化：正解 推論データ (OOD) 線形汎化：誤り 10
11. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
    • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ ͷطଘݚڀ ຊݚڀͷ ཱͪҐஔ 11
12. ΞʔΩςΫνϟͱίʔύεͷӨڹ • ࢠڙ޲͚ͷൃ࿩ $%4 ͷํ͕WikipediaͳͲΑΓ֊૚൚ԽΛଅ͢ <)VFCOFS
    > • ίʔύεͷྔΛมԽͤͨ͞ͱ͖ͷ܏޲͸ʁ • ίʔύε WikipediaͷΈ ΍ϞσϧαΠζ ෯ͷΈ Λ εέʔϦϯάͯ͠΋จ๏ೳྗ͸ଅ͞Εͳ͍
    <4DIJKOEFM
    > • ଞͷίʔύε΍ϞσϧαΠζ ਂ͞ͳͲ ͷͱ͖ͷ܏޲͸ʁ طଘݚڀ 12
13. ΞʔΩςΫνϟͱίʔύεͷӨڹ • ࢠڙ޲͚ͷൃ࿩ $%4 ͷํ͕WikipediaͳͲΑΓ֊૚൚ԽΛଅ͢ <)VFCOFS
    > • ίʔύεͷྔΛมԽͤͨ͞ͱ͖ͷ܏޲͸ʁ • ίʔύε WikipediaͷΈ ΍ϞσϧαΠζ ෯ͷΈ Λ εέʔϦϯάͯ͠΋จ๏ೳྗ͸ଅ͞Εͳ͍
    <4DIJKOEFM
    > • ଞͷίʔύε΍ϞσϧαΠζ ਂ͞ͳͲ ͷͱ͖ͷ܏޲͸ʁ طଘݚڀ 本研究の貢献：事前学習時の パラメータとコーパスの種類・サイズを より横断的に検証 13
14. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
    • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ ͷ΍Γํ 14
15. ౷ޠม׵λεΫ<8BSTUBEU
    
    .VFMMFS
    > ධՁํ๏ λεΫ
    ࣭໰ม׵ λεΫ
    डಈԽ ࣄલֶश Your newt has observed the salamanders. Has your newt observed the salamanders? The raven observed the newts. The newts were observed by the raven. ඍௐ੔ 15
16. ౷ޠม׵λεΫ<8BSTUBEU
    
    .VFMMFS
    > ධՁํ๏ ࣄલֶश Your newt has observed the salamanders. Has your newt observed the salamanders? The raven observed the newts. The newts were observed by the raven. ඍௐ੔ Your newt has observed the salamanders. 0 1 2 3 4 5 ֊૚ ઢܗ ֊૚ The raven observed the newts. 0 1 2 3 4 ઢܗ ࠷ॳͷॿಈࢺΛ લʹҠಈͤ͞Ε͹ྑͦ͞͏ λεΫ
    ࣭໰ม׵ ओઅͷಈࢺͷલͷॿಈࢺΛ લʹҠಈͤ͞Ε͹ྑͦ͞͏ λεΫ
    डಈԽ ؼೲόΠΞε 16
17. ౷ޠม׵λεΫ<8BSTUBEU
    
    .VFMMFS
    > ධՁํ๏ ࣄલֶश Your newt has observed the salamanders. Has your newt observed the salamanders? The raven observed the newts. The newts were observed by the raven. ඍௐ੔ Your newt has observed the salamanders. 0 1 2 3 4 5 ֊૚ ઢܗ ֊૚ The raven observed the newts. 0 1 2 3 4 ઢܗ The quails that haven’t applauded some zebra have confused my yak. Have the quails that haven’t applauded some zebra confused my yak? The quails that haven’t applauded some zebra have confused my yak. Haven’t the quails that applauded some zebra have confused my yak? The salamander behind the ravens applauded the peacock. The peacock was applauded by the salamander behind the ravens. The salamander behind the ravens applauded the peacock. The ravens were applauded by the salamander. λεΫ
    डಈԽ λεΫ
    ࣭໰ม׵ ؼೲόΠΞε ൚Խ ਪ࿦࣌ ओઅͷಈࢺͷલͷ ॿಈࢺΛҠಈɿ
    ਖ਼͘͠ม׵Մೳ ࠷ॳͷॿಈࢺΛҠಈɿ ޡͬͨม׵ʹ 17
18. ධՁϝτϦΫε • ܥྻਫ਼౓ TFRVFODF
    
    શ෦ • Ϟσϧͷग़ྗͷશ͕ͯਖ਼ׂ͍͠߹ • ߏจݱ৅͚ͩͰ͸ͳ͘୯ޠஔ׵Τϥʔʹରͯ͠΋ϖφϧςΟΛ༩͑Δ • ओͷॿಈࢺͷਫ਼౓ NBJO
    BVY
    
    ಄͚ͩ߹ͬͯΕ͹0, • ࣭໰ม׵༻ • ग़ྗจͷ࠷ॳͷ୯ޠ͕ओઅͷલͷॿಈࢺͰ͋Δස౓ • ໨తޠͷਫ਼౓ PCKFDU
    
    ಄͚ͩ߹ͬͯΕ͹0, • डಈԽ༻ • จͷઌ಄ʹҠಈ໊ͨ͠ࢺ͕໨తޠͰ͋Δස౓ ධՁํ๏ 18
19. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
    • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ ͷ࣮ݧ 19
20. ΞʔΩςΫνϟͷӨڹ
    c
    εέʔϦϯάʹΑΔӨڹ • ύϥϝʔλ਺͚ͩͰ൚Խͷਫ਼౓Λઆ໌Ͱ͖Δ͔ʁ ݁Ռ 20
21. ΞʔΩςΫνϟͷӨڹ • ֶशϞσϧɿ5 • ެ։ͷࣄલֶशࡁΈϞσϧ ࣮ݧ • ͭͷϋΠύϥΛมߋͯ͠εΫϥονͰࣄલֶशͨ͠5 • FH
    5CBTF%.ɿ5CBTFͰຒΊࠐΈӅΕ૚࣍ݩ͕ʹมߋ • ֶशίʔύεɿ$PMPTTBM
    $MFBOFE
    $PNNPO
    $SBXM
    $ 21
22. ΞʔΩςΫνϟͷӨڹ
    c
    ύϥϝʔλͷεέʔϦϯά • ύϥϝʔλ਺͚ͩͰ͸֊૚తόΠΞεͷ֫ಘΛઆ໌͢Δʹ͸ෆे෼ • ˠεέʔϧͱ૬ؔ͢ΔՄೳੑͷ͋Δ ԿΒ͔ͷΞʔΩςΫνϟͷߏ੒ཁૉ͕ଞΑΓ΋ॏཁͱࣔࠦ ݁Ռ 22
23. ΞʔΩςΫνϟͷӨڹ
    c
    Ͳͷߏ੒ཁૉ͔ • ਂ͞ /- ͷ૿Ճ͸ਫ਼౓ʹڧ͍Өڹ • ˠΞʔΩςΫνϟΛεέʔϦϯά͢Δ৔߹ʹɺ֊૚ൠԽ͢Δʹ͸ ਂ͕͞ଞ ຒΊࠐΈӅΕ૚ͷ࣍ݩɺ''૚ͷ࣍ݩ ΑΓ΋ॏཁͱࣔࠦ ݁Ռ 23
24. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
    • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ ͕෼͔ͬͨ 24
25. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
    • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ ͷ࣮ݧ 25
26. ίʔύεͷӨڹ
    c
    δϟϯϧ • 3P#&35 &ODPEFS Λ$%4Ͱࣄલֶशͨ͠ํ͕ ಉྔͷ8JLJQFEJBΑΓ΋ߴਫ਼౓ʹจ๏ੑΛ൑அͰ͖Δ<)VFCOFS
    > • ຊݚڀʹ &ODPEFS%FDPEFSɺ౷ޠม׵λεΫ ʹద༻Մೳ͔ʁ ࣮ݧ 26
27. ίʔύεͷӨڹ
    c
    δϟϯϧ • ࢖༻ίʔύε • $)*-%&4
    $%4 • .୯ޠ • ޠኮ͸ࢠڙͱಉ͘͡Β͍ͷྔ • 8JLJQFEJB • ಉ͡จ਺͕ͩ.୯ޠ • ޠኮ͸ੑೳ͕ྑ͘ͳΔྔ • εςοϓ਺͸$)*-%&4ͷ ࣮ݧ • ࢖༻Ϟσϧ 不動 動 27
28. ίʔύεͷӨڹ
    c
    δϟϯϧ ݁Ռ • $%4Ͱͷࣄલֶशͷํ͕8JLJQFEJBΑΓओઅͷલͷಈࢺͷ ݕग़ೳྗ͕ߴ͍ 28
29. ίʔύεͷӨڹʛαΠζ • ؆୯ͳݴޠͷํ͕ڧ͍౷ޠόΠΞεΛଅ͢ͱ͍͏஌ݟΛ࠶ݱ • ֤ίʔύεδϟϯϧ͔Β֊૚όΠΞεΛ༠ൃ͢Δͷʹ ඞཁͳσʔλྔͱ͸ʁ ݁Ռ 29
30. ίʔύεͷӨڹʛαΠζ • ࢖༻ίʔύεɿ • $PMPTTBM
    $MFBOFE
    $PNNPO
    $SBXM
    $ • 8JLJQFEJB • $)*-%&4 • 4JNQMF
    8JLJQFEJB • υϝΠϯ͸8JLJQFEJBͱಉ͕ͩ͡ޠኮ͸੍ݶɾจߏ଄͸؆୯ • ࢖༻Ϟσϧɿ • 5TNBMMɺΤϯίʔμσίʔμ͸૚ ࣮ݧ 30
31. ίʔύεͷӨڹʛαΠζ • ࣭໰ม׵ɿ • $%4ɿ.ͷ୯ޠͰΛ௒͑Δ • 4JNQMF
    8JLJQFEJBɿ 8JLJQFEJBΑΓ͸Δ͔ʹ֊૚ൠԽ ݁Ռ • डಈԽɿ • ಉ༷ͷ܏޲ 31
32. ͳͥ؆୯ͳݴ༿ͷํ͕ΑΓޮՌతʹ౷ޠΛڭࣔ͢Δͷ͔ • ஌ݟ
    ؆୯ͳݴޠ $%4΍4JNQMF
    8JLJQFEJB Ͱͷࣄલֶश͸ ෳࡶͳݴޠΑΓ΋͸Δ͔ʹগͳ͍σʔλ͔Β֊૚ൠԽ͕Մೳ • $%4ͷΑΔޠኮɾߏจͷෳࡶ͞ͷݮগʹىҼ • ޠኮ͕୯७ɿಉ୯ޠ͕ҟͳΔจ຺ͰΑΓසൟʹ܁Γฦ͞ΕΔ ˠখ͞ͳίʔύε͔Β඼ࢺͷ෼෍ͳͲΛֶश͢Δ͜ͱ͕Մೳ͔΋ • ߏจ͕୯७ɿ໌֬ͳߏจߏ଄Λ࣋ͭ୹͍จͷׂ߹͕ߴ͘ͳΓɺ ߏจֶशͷϒʔτετϥοϓʹ໾ཱ͔ͭ΋ ٞ࿦ 32
33. ίʔύεͷӨڹʛ
    $%4Λࠞͥͯ΋$%4୯ମͷํ͕֊૚൚Խ • 8JLJQFEJB$ $)*-%&4Ͱ΋$)*-%&4୯ମͱͷࠩΛॖΊΒΕͣ • σʔλ͕ࣅ͍ͯͳ͍ͷͰ྆ํͷ෼෍ʹಉ࣌ʹ৮Εͯ΋ Ұ؏ͯ͠ൠԽͰ͖ͳ͍ʁ • ஈ֊తͳֶश $)*-%&4ˠ֊૚తόΠΞε֫ಘޙˠ8JLJQFEJB$
    ͷ ํ͕͍͍͔΋ʁ ݁Ռ 33
34. ؆୯ͳݴޠͷ׆༻͕ޮ཰తͳࣄલֶशʹܨ͕ΔͷͰ͸ • ஌ݟ
    ؤ݈ͳ౷ޠόΠΞε͸ࣄલֶशͰ΋໾ׂΛՌͨ͢ • ˠϞσϧ͕௥ՃͷࣄલֶशͷจΛΑΓޮ཰తʹ࢖༻ՄೳͳͷͰ͸ • ΧϦΩϡϥϜֶश΁ͷಈػ෇͚ • ୯ஈ֊ख๏ɿࣄલֶशηοτΛ؆୯͔Βෳࡶʹฒͼସ͑ͯॱ൪ʹఏࣔ • ݁Ռ͸·ͪ·ͪ <$BNQPT
    
    4VSLPW > • ஈ֊ख๏ɿ౷ޠόΠΞε͕ग़ݱ͢Δ·Ͱ$%4ʹ৮ΕΔ ˠΑΓେ͖ͳίʔύεͰͷ௨ৗͲ͓Γͷࣄલֶश • ߏจʹয఺Λ౰ͯͨख๏ͷݕূ͸͞Ε͍ͯͳ͍ ٞ࿦ 34
35. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
    • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ ͕෼͔ͬͨ 35
36. ·ͱΊ • ໰͍ ౷ޠతͳؼೲόΠΞεΛੜͤ͡͞΍͍͢ࣄલֶशͷ৚݅ͱ͸ • ΞʔΩςΫνϟ ύϥϝʔλͷαΠζ΍छྨ • ίʔύεͷαΠζ΍δϟϯϧ • ݕূํ๏ • ౷ޠม׵λεΫ ࣭໰ม׵ डಈԽ • ஌ݟ
    • ਂ͞͸෯ΑΓ΋֊૚తόΠΞεͷ֫ಘʹॏཁ • ؆୯ͳίʔύεͷํ͕গͳ͍σʔλྔͰ֊૚తόΠΞεΛଅਐ 36