[輪講] Transformer Layers as Painters

重みを凍結した事前学習済み Transformer のレイヤー全体に渡り、情報を削除または再編成することによる影響を広範に調査した研究を紹介します。実験の結果、Transformer の中間層には大きな一貫性があること、Transformer は学習時と異なる実行方法に比較的頑健であることが確認され、レイヤーのスキップや並列化により認識性能とレンテンシを簡単にトレードオフできることが示唆されています。

Transcript

1. <ྠߨ>
   5SBOTGPSNFS
   -BZFST
   BT
   1BJOUFST 2J
   4VO
   .BSD
   1JDLFUU
   "BLBTI
   ,VNBS
   /BJO
   -MJPO
   +POFT &NFSHFODF
   "*
   4BLBOB
   "*
   *OTUJUVUF
   PG
   4DJFODF
   5PLZP """*
    IUUQTBSYJWPSHBCT ൃදɿ/BPLJ
   ,BUP
2. ֓ཁɾબఆཧ༝ • ֓ཁ • ࣄલֶशࡁΈ 5SBOTGPSNFS
   ͷϨΠϠʔͷ࡟আ΍࠶ฤ੒ͷӨڹΛௐࠪ • தؒ૚ʹ͸େ͖ͳҰ؏ੑ͕͋Δ͜ͱΛ֬ೝ • Ұ෦ͷλεΫͰ͸ϨΠϠʔΛεΩοϓͨ͠Γ
   ֶश࣌ͱҟͳΔॱংͰ࣮ߦͯ͠΋ؤ݈Ͱ͋Δ͜ͱΛ֬ೝ • બఆཧ༝ • ࣄલֶशϞσϧͷ׆༻͸५୔ͳϦιʔε͕ͳͯ͘΋ख͕ग़ͤΔͨΊ • ͦͷଞγʔϯͰ΋໾ཱͪͦ͏ͳ൚༻ੑͷߴ͍஌ݟͰ͋Δͱײͨͨ͡Ί 
3. 5SBOTGPSNFS
   ʹ͍ͭͯͷԾઆ • 5SBOTGPSNFS
   ͷ֤ϨΠϠʔ͸ಉҰͷߏ଄Λ࣋ͪ
   ϨΠϠʔͷҐஔͱύϥϝʔλͷΈ͕ҟͳΔ ˠ ֤ϨΠϠʔ͕ೖྗʹ৘ใΛ෇Ճ͍ͯ͘͠Α͏ͳߏ଄ • ֤ϨΠϠʔΛըՈ QBJOUFS
   ʹྫ͑ͯߟ͑Δͱ ࣮ߦํ๏Λมߋͯ͠΋໰୊ͳͦ͞͏ʹࢥ͑Δ • Ұ෦ͷϨΠϠʔΛεΩοϓ • ϨΠϠʔͷॱংΛมߋ • ෳ਺ͷϨΠϠʔΛฒྻ࣮ߦ • ্هΞφϩδʔʹண૝ΛಘͨݕূΛߦ͏  جຊతͳϨΠϠʔߏ଄
4. ݕূ߲໨ ࣄલֶशࡁΈͷ 5SBOTGPSNFS
   ͰҎԼΛ֬ೝ͢ΔݕূΛ࣮ࢪ  ϨΠϠʔ͸ڞ௨ͷදݱۭؒΛ࢖༻͢Δ͔  ͢΂ͯͷϨΠϠʔ͸ඞཁ͔  ͢΂ͯͷதؒ૚͸ಉ͡ػೳΛՌ͍ͨͯ͠Δ͔  ϨΠϠʔͷॱং͸ॏཁ͔  ϨΠϠʔΛฒྻʹ࣮ߦͰ͖Δ͔  λεΫʹΑͬͯॱংͷॏཁੑ͸มԽ͢Δ͔  ϧʔϓ࣮ߦ͸ฒྻԽ͞ΕͨϨΠϠʔʹ໾ཱ͔ͭ  Ͳͷ࣮ߦํ๏ͷੑೳ௿Լ͕࠷΋খ͍͔͞ 
5. ࣮ߦํ๏Ұཡ ݕূʹ༻͍࣮ͨߦํ๏ͷόϦΤʔγϣϯ • ԼਤʹՃ࣮͑ͯߦॱংͷϥϯμϜԽ΋ݕূ 
6. ݕূϞσϧ ҎԼͷࣄલֶशϞσϧͰݕূΛ࣮ࢪʢجຊతʹॏΈ͸ݻఆʣ • -MBNB# <5PVWSPO
   > • ࣗݾճؼܕͷσίʔμ • ੜ੒λεΫʹར༻͞ΕΔ • ૚
   ԯύϥϝʔλ • #&35-BSHF <%FMWJO
   > • ૒ํ޲ܕͷΤϯίʔμ • 'JOFUVOJOH
   ͯ͠ೝࣝλεΫ౳ʹར༻͞ΕΔ • ૚
   ԯύϥϝʔλ 
7. ҎԼͷࣄલֶशϞσϧͰݕূΛ࣮ࢪʢجຊతʹॏΈ͸ݻఆʣ • -MBNB# <5PVWSPO
   > • ࣗݾճؼܕͷσίʔμ • ੜ੒λεΫʹར༻͞ΕΔ • ૚
   ԯύϥϝʔλ • #&35-BSHF <%FMWJO
   > • ૒ํ޲ܕͷΤϯίʔμ • 'JOFUVOJOH
   ͯ͠ೝࣝλεΫ౳ʹ • ૚
   ԯύϥϝʔλ ݕূϞσϧ  -MBNB
   ͷߏ଄ IUUQTHJUIVCDPNNJDSPTPGU-MBNB0OOY ʢݩ࿦จʹ෼͔Γ΍͍͢ਤ͕ͳ͍ʣ
8. ҎԼͷࣄલֶशϞσϧͰݕূΛ࣮ࢪʢجຊతʹॏΈ͸ݻఆʣ • -MBNB# <5PVWSPO
   > • ࣗݾճؼܕͷσίʔμ • ੜ੒λεΫʹར༻͞ΕΔ • ૚
   ԯύϥϝʔλ • #&35-BSHF <%FMWJO
   > • ૒ํ޲ܕͷΤϯίʔμ • 'JOFUVOJOH
   ͯ͠ೝࣝλεΫ౳ʹར༻͞ΕΔ • ૚
   ԯύϥϝʔλ ݕূϞσϧ  ओʹ .BTLFE
   -BOHVBHF
   .PEFMJOH
   λεΫͰֶश #&35
   ͷࣄલֶश
9. ϕϯνϚʔΫํ๏ • -MBNB • ӈදͷσʔληοτͰධՁ • ֤ϕϯνϚʔΫ஋Λʙʹਖ਼نԽ͠ ͦΕΒͷதԝ஋Λൺֱ • #&35 • (-6&
   ϕϯνϚʔΫ <8BOH
   >
   ͰධՁ • ͭͷࣗવݴޠཧղλεΫͰߏ੒ • ϕϯνϚʔΫ஋ͷ୯७ฏۉΛൺֱ • ʢධՁखॱʹ GJOFUVOJOH
   ؚ͕·ΕΔʣ  σʔληοτ λεΫ "3$ TDJFODF
   FYBN
   RVFTUJPOT )FMMB4XBH DPNNPOTFOTF (4., .BUI
   8PSE
   1SPCMFNT 8JOP(SBOEF 8JOPHSBE
   4DIFNB
   $IBMMFOHF -".#"%" XPSE
   QSFEJDUJPO -MBNB
   ͷධՁσʔληοτ
10. 
    ϨΠϠʔ͸ڞ௨ͷදݱۭؒΛ࢖༻͢Δ͔ ಛఆͷϨΠϠʔΛεΩοϓͨ͠Γ
    ྡ઀͢ΔϨΠϠʔͷॱংΛೖΕସ͑Δ͜ͱ΁ͷؤ݈ੑΛݕূ • தؒ૚ΛεΩοϓͨ͠ΓೖΕସ͑ͯ΋ੑೳ௿Լ͕খ͍͞  -".#"%"
    Ͱͷ -MBNB#
    ͷධՁ݁Ռ ੨ɿୈ N ૚ΛεΩοϓ
    ྘ɿୈ N ૚ ͱୈ N+1 ૚ΛೖΕସ͑
11. 
    ϨΠϠʔ͸ڞ௨ͷදݱۭؒΛ࢖༻͢Δ͔ ҟͳΔϨΠϠʔͷಛ௃ྔؒͷฏۉίαΠϯྨࣅ౓΋ଌఆ • ಛ௃ྔͷྨࣅੑʹ͸άϧʔϓ͕ଘࡏ
    தؒ૚͕࠷΋େ͖͍  ˠ தؒ૚͸දݱۭؒΛڞ༗͍ͯͦ͠͏ ֤ -MBNB
    Ϟσϧʹ͓͚ΔҟͳΔϨΠϠʔͷಛ௃ྔؒͷฏۉίαΠϯྨࣅ౓
12. 
    ͢΂ͯͷϨΠϠʔ͸ඞཁ͔ ෳ਺ͷதؒ૚ΛεΩοϓͨ͠ͱ͖ͷੑೳมԽΛݕূ  Ϟσϧͷୈ N+1 ૚͔Βୈ T-N ૚ΛεΩοϓͨ͠ͱ͖ͷධՁ݁ՌʢTɿશ૚਺ʣ ˠ ਺૚ͷதؒ૚͸յ໓తͳӨڹͳ͘࡟আͰ͖Δ ࡟Δ૚਺ͷ૿Ճʹ൐͍ ੑೳ͕ঃʑʹ௿Լ
13. 
    ͢΂ͯͷதؒ૚͸ಉ͡ػೳΛՌ͍ͨͯ͠Δ͔ தؒ૚Λ୯Ұ૚ͷ൓෮Ͱஔ͖׵͑ͨͱ͖ͷੑೳมԽΛݕূ  ୈ N+1 ૚͔Βୈ T-N ૚Λಉ਺ͷ࠷தԝ૚Ͱஔ͖׵͑ͨͱ͖ͷධՁ݁Ռ ˠ ֤தؒ૚͸ҟͳΔ໾ׂΛՌ͓ͨͯ͠Γ
    ৑௕Ͱ͸ͳ͍ εΩοϓΑΓ΋ ٸ଎ʹੑೳ͕௿Լ
14. 
    ϨΠϠʔͷॱং͸ॏཁ͔ தؒ૚ͷ࣮ߦॱংΛมߋͨ͠ͱ͖ͷੑೳมԽΛݕূ  ˠ ͋Δఔ౓͸ॱংͷมߋʹؤ݈ εΩοϓΑΓ΋ ؇΍͔ͳੑೳ௿Լ ٯॱ ϥϯμϜॱʢγʔυͷฏۉධՁ஋ʣ
15. 
    ϨΠϠʔΛฒྻʹ࣮ߦͰ͖Δ͔ ෳ਺ͷதؒ૚Λฒྻ࣮ߦͨ͠ͱ͖ͷੑೳมԽΛݕূ  ୈ N+1 ૚͔Βୈ T-N ૚Λฒྻ࣮ߦ͠ ݁ՌͷฏۉΛޙஈʹೖྗͨ͠ͱ͖ͷධՁ݁Ռ ˠ ਺ֶΛଟ༻͢ΔϕϯνϚʔΫҎ֎͸͋Δఔ౓ฒྻ࣮ߦՄೳ ਺ֶλεΫ શମతʹ͸ εΩοϓΑΓ؇΍͔
16. 
    λεΫʹΑͬͯॱংͷॏཁੑ͸มԽ͢Δ͔ • ந৅త "3$
    
    ਺ֶత (4.,
    ਪ࿦ϕϯνϚʔΫ͸ ΄ͱΜͲͷ࣮ߦํ๏Ͱ࠷΋ٸܹʹੑೳ͕௿Լ • Ծઆɿ • ஈ֊తͳਪ࿦λεΫ͸ҙຯతͳλεΫʢ$PNNPOTFOTF
    ౳ʣΑΓ΋ ϨΠϠʔͷॱংʹහײ • ਪ࿦λεΫʹ͸ߏ଄ͱҙຯͷ྆ํ͕ؔ܎ • Ϟσϧͷճͷύε಺Ͱ͋Δఔ౓͸ॱংґଘͷਪ࿦͕ߦΘΕ͍ͯΔ  ˠ ਺ֶతਪ࿦తͳλεΫ͸ҙຯతͳλεΫΑΓ΋ॱংʹґଘ͢Δ
17. 
    ϧʔϓ࣮ߦ͸ฒྻԽ͞ΕͨϨΠϠʔʹ໾ཱ͔ͭ ฒྻԽͨ͠ϨΠϠʔͷϧʔϓ࣮ߦʹΑΓੑೳ͕վળ͢Δ͔Λݕূ • ԾઆɿϨΠϠʔͷಇ͖͕ೖྗʹґଘ͢ΔͷͰ͋Ε͹ੑೳ͕վળ͢Δ͸ͣ  ෳ਺ϨΠϠʔͷฒྻ࣮ߦΛճ൓෮ͨ͠ͱ͖ͷධՁ݁Ռ ΄ͱΜͲͷ৔߹Ͱ ϧʔϓʹΑΓੑೳ͕վળ
18. 
    ϧʔϓ࣮ߦ͸ฒྻԽ͞ΕͨϨΠϠʔʹ໾ཱ͔ͭ ൓෮ճ਺ʹΑΔੑೳมԽΛݕূ  ˠ ໾ཱͭ
    ࠷దͳ൓෮ճ਺͸ฒྻԽ͞ΕͨϨΠϠʔ਺ʹൺྫ -MBNB#
    ͷ൓෮ճ਺ຖͷධՁ஋
    ੺࿮ɿ࠷ྑͷ൓෮ճ਺
19. 
    Ͳͷ࣮ߦํ๏ͷੑೳ௿Լ͕࠷΋খ͍͔͞ ݕূͨ͢͠΂ͯͷ࣮ߦํ๏ͷੑೳΛൺֱ  ֤࣮ߦํ๏ͷฏۉϕϯνϚʔΫείΞ ˠ ୯Ұ૚ͷϦϐʔτ͕࠷ѱ
    ϥϯμϜॱং 
    ฒྻͷϧʔϓ͕࠷ྑ
20. ݕূ݁Ռ·ͱΊ  ϨΠϠʔ͸ڞ௨ͷදݱۭؒΛ࢖༻͢Δ͔ ˠ :FT  ͢΂ͯͷϨΠϠʔ͸ඞཁ͔ ˠ /P  ͢΂ͯͷதؒ૚͸ಉ͡ػೳΛՌ͍ͨͯ͠Δ͔ ˠ /P  ϨΠϠʔͷॱং͸ॏཁ͔ ˠ ଟগ͸ೖΕସ͑ͯ΋໰୊ͳ͍  ϨΠϠʔΛฒྻʹ࣮ߦͰ͖Δ͔ ˠ :FTʢ਺ֶλεΫҎ֎ʣ  λεΫʹΑͬͯॱংͷॏཁੑ͸มԽ͢Δ͔ ˠ :FTʢਪ࿦λεΫͰॏཁʣ  ϧʔϓ࣮ߦ͸ฒྻԽ͞ΕͨϨΠϠʔʹ໾ཱ͔ͭ ˠ
    :FT  Ͳͷ࣮ߦํ๏ͷੑೳ௿Լ͕࠷΋খ͍͔͞ ˠ ϥϯμϜॱং 
    ฒྻͷϧʔϓ 
21. ٞ࿦ • ओཁͳൃݟ • ϨΠϠʔʹ͸ͭͷछྨ͕͋Δʢதؒ૚ͷൣғ͕࠷΋େ͖͍ʣ • தؒ૚͸৑௕Ͱ͸ͳ͍͕Ұ؏ੑ͕͋Γ
    දݱۭ͕ؒڞ༗͞ΕΔ • 5SBOTGPSNFS
    ͸࣮ߦํ๏ͷมߋʹؤ݈ • Ծઆ ࢒ࠩ઀ଓ͕දݱۭؒͷڞ༗ʹد༩͍ͯ͠ΔͷͰ͸ʁ ʢ࢒ࠩ઀ଓΛআ͍ͨ 5SBOTGPSNFS
    Λֶश͢Δͱੑೳ͕௿Լ͢Δʣ • ͦͷଞ஌ݟ • ෳ਺ͷϨΠϠʔͷ౷߹΍
    Ϟσϧ΁ͷಈతͳ஌ࣝૠೖ͕Ͱ͖ͦ͏ • ਪ࿦ϨΠςϯγͱਫ਼౓Λ؆୯ͳํ๏ͰτϨʔυΦϑͰ͖Δ͜ͱ͕൑໌ 
22. ؔ࿈ݚڀ ϓϧʔχϯάʹΑΔܰྔԽ৑௕ੑ࡟ݮ΍ਪ࿦ޮ཰ԽͳͲͷτϐοΫʹؔ࿈ • 5SBOTGPSNFS
    ͷதؒ૚Λ࡟আͯ͠΋ͦΕ΄Ͳੑೳ͕௿Լ͠ͳ͍͜ͱΛ֬ೝ <,JN
    >
    <#IPKBOBQBMMJ
    > • ҰํͰ
    தؒ૚Λ࡟আͨ͠Ϟσϧ͸ࣄ࣮ʹؔ͢Δ࣭໰ʹ౴͑ͨΓ ௕͍Ԡ౴Λੜ੒͢Δੑೳ͕௿Լ
    ࠶ֶशͯ͠΋ੑೳ͸໭Βͣ • 4IPSU(15 <.FO
    >ɿॏཁ౓ͷ௿͍ϨΠϠʔΛಛఆͯ͠࡟আ • %FOTFGPSNFS <1BHMJBSEJOJ
    >ɿॲཧϑϩʔͷมߋʹΑΔτϨʔυΦϑվળ • ֶशதͷϨΠϠʔγϟοϑϧʹΑΔؤ݈ੑ޲্ <'SFJCFSHFS
    > • ޮ཰తͳϓϧʔχϯάํ๏ΛఏҊ <%VUUB
    >
    <'MZOO
    > • ϨΠϠʔͷฒྻԽʹΑΔਪ࿦ͷޮ཰Խ <;PV
    > • ౚ݁ϨΠϠʔͷ࡟আ΍ೖΕସ͑ʹΑΔӨڹΛௐࠪ <-BE
    > 
23. ॴײ • ༷ʑͳτϐοΫʹؔ࿈͢Δڵຯਂ͍ݚڀͩͱײͨ͡ • දݱۭؒͷ੾Γସ͑෦෼ͷϨΠϠʔͱͦΕҎ֎Ͱ ϨΠϠʔͷಇ͖͕ͲͷΑ͏ʹҟͳΔͷ͔ؾʹͳͬͨ • ϨΠϠʔͷάϧʔϓຖ΍
    දݱۭؒͷ੾Γସ͑෦෼͔Ͳ͏͔ʹΑΓ ࠷దͳΞʔΩςΫνϟઃܭ͕ҟͳΓͦ͏ • طଘͷΞʔΩςΫνϟͩͱදݱۭؒͷΞϥΠϝϯτΛͱΔΑ͏ͳ ม׵Λ͢ΔͨΊʹ৑௕ͳܭࢉύϥϝʔλׂ͕͔Ε͍ͯͦ͏ • ֤ϨΠϠʔͷಇ͖Λ໌֬ʹίϯτϩʔϧͯ͠
    ໨తͷλεΫʹదͨ͠ϞσϧΛಈతʹ࡞੒Ͱ͖ͨΒ໘നͦ͏