【論文紹介】TABULAR TRANSFORMERS FOR MODELING MULTIVARIATE TIME SERIES

Transcript

1. ɹɹ͖ͣ͢ 5"#6-"3
   53"/4'03.&34
   '03
   .0%&-*/(
   .6-5*7"3*"5&
   5*.&
   4&3*&4 *OLJU
   1BEIJ
   :BJS
   4DIJ ff
   *HPS
   .FMOZL
   .BUUJB
   3JHPUUJ
   :PVTTFG
   .SPVFI
   1JFSSF
   %PHOJO
   +FSSFU
   3PTT
   3BWJ
   /BJS
   &SJL
   "MUNBO
2. ࿦จͷ໨తɾഎܠ ɾݸਓ৘ใ΍ػີ৘ใͷอޢͷͨΊͷσʔλ෼ੳͷ੍ݶ
   ɾ࣌ܥྻදσʔλʹؔ͢Δ.-%-ݚڀྫͷগͳ͞ ੩తදσʔλͱͷൺֱ ɹ౳ ֤࢈ۀ ҩྍ΍ۚ༥ͳͲ ʹ๲େͳදσʔλ͕ଘࡏ
   㱺
   ༗ޮ׆༻΁ͷ՝୊͋Γ ࣌ܥྻදσʔλʹద༻Ͱ͖Δ৽͍͠%FFQ
   -FBSOJOH %- ख๏ͷఏҊ ໨త എܠ ྫ͑͹ʜ
3. ࿦จͷ֓ཁ ɾݱ࣮ʹ͍ۙ࣌ܥྻදσʔλͷੜ੒ϞσϧͰ͋Δ5BC(15ͷ঺հ
   ɾ࣌ܥྻදσʔλͷֶशϞσϧͰ͋Δ5BC#&35ͷ঺հ
   ɾ5BC#&35ͷֶश๏ͷ঺հ ྫɿΫϨδοτΧʔυɺେؾԚછσʔλ
   ɾֶशࡁ5BC#&35ͷ׆༻๏ͱ݁Ռͷ঺հ ෆਖ਼ݕ஌ɺԚછ༧ଌ ˞ຊεϥΠυͰ͸5BC#&35 ෆਖ਼ݕ஌ ͷΈΛ঺հ
4. લఏ஌ࣝ
5. ࣗવݴޠॲཧͱ͸ ɾܗଶૉղੳɿจষΛ୯ޠʹ෼ׂͯ͠඼ࢺ΍׆༻ܗΛ൑ఆ
   ɾݴޠϞσϧɿจষͷࣗવ͞Λ֬཰ʹΑͬͯදݱ
   ɾݻ༗දݱநग़ɿจষ͔Βਓ໊ͳͲͷݻ༗໊ࢺɺ೔෇ɺ਺஋දݱΛநग़
   ɾจষͷྨࣅ౓ൺֱɿจষײͷ಺༰ͷྨࣅ౓ΛఆྔతʹධՁ
   ɾจষ෼ྨɿจষΛ༩͑ΒΕͨΧςΰϦʔʹ෼ྨ ྫɿωΨϙδ൑ఆ
   ɾจষੜ੒ɿ༩͑ΒΕͨจষ΍৚݅ʹଓ͘จষΛੜ੒
   ɾจষߍਖ਼ɿจதͷදهϛεΛमਖ਼ ೔ৗੜ׆Ͱ࢖༻͢Δݴޠʹؔ͢Δ໰୊ λεΫ ΛίϯϐϡʔλͰղ͘͜ͱ λεΫྫ
6. 5SBOTGPSNFSͱ͸ ࣗવݴޠॲཧͰ࢖༻͞ΕΔ%-Ϟσϧ ʹൃද<> 5SBOTGPSNFSͷߏ଄<> <>
   "UUFOUJPO
   JT
   "MM
   :PV
   /FFE
    ಛ௕ ɾ&ODPEFSͱ%FDPEFS͔Βߏங
   ɾ"UUFOUJPO૚ɿฒྻೖྗʹΑΔܭࢉߴ଎Խ ֶश࣌ؒ୹ॖ ܭࢉ͕ૣ͘จ຺৘ใͷอ࣋ʹΑΓਫ਼౓΋ߴ͍ ߏ଄ 㱺
   จ຺ґଘͨ͠ϕΫτϧม׵ ʴ
   ୯ޠؒରԠؔ܎ͷ൓ө ɾ1PUFOUJBM
   &ODPEJOH૚ɿ୯ޠ΁ͷҐஔ৘ใຒࠐ
7. 5SBOTGPSNFSͷ஀ੜഎܠ ɾ47.ɺղੳ໦ //Ҏલ ɿՄม௕σʔλೖྗෆՄɺฒͼॱະߟྀ
   ɾ8PSE7FD // ɿ4LJQ(SBNʹΑΔ௿ίετֶश
   ɾ4FR4FR 3// ɿՄม௕σʔλೖྗՄɺೖྗཤྺʹجͮ͘จ຺ͷऔѻ͍ ݴޠཧղͱഎܠ஌ࣝͷܽ೗
   㱺
   Ԡ༻"*ߏஙʹ೉͋Γ
   㱺
   5SBOTGPSNFSͷ஀ੜ 4FR4FR<> 4LJQ(SBN<> <>
   #&35ʹΑΔࣗવݴޠॲཧೖ໳ 5SBOTGPSNFSҎલͷख๏
8. #&35ͱ͸ 5SBOTGPSNFSΛ࠷ॳʹ࠾༻ͨ͠૒ํ޲ܕͷࣄલֶशϞσϧ 㱠
   ༧ଌϞσϧ <>
   #&35ʹΑΔࣗવݴޠॲཧೖ໳ ࣄલֶश<> ಛ௕ ɾग़ྗ૚ͷ௥ՃͷΈͰλεΫ ճؼ෼ྨ ʹରԠՄೳ
   ɾେྔͷڭࢣͳ͠σʔλ͔ΒݴޠಛੑΛ૒ํ޲ֶश ࣄલֶश
   㱺
   จ຺೺Ѳ
   ɾগྔͷڭࢣ͋Γσʔλ͔Βύϥϝʔλඍௐ੔ 'JOF5VOJOH
   㱺
   ࠷దԽɺਫ਼౓޲্
9. #&35
   
   ೖྗܗࣜ
    ɾ୯Ұͷจষ΍จষϖΞΛτʔΫϯྻʹม׵
   ɾಛघτʔΫϯ <$-4>
   <4&1>ͳͲ ͷ௥Ճ τʔΫϯԽ ϕΫτϧԽ ɾτʔΫϯɺจষλΠϓɺจষதͷҐஔʹԠͨ͡ϕΫτϧԽ
   ˠ
   ࿨ࢉ <>
   #&35ʹΑΔࣗવݴޠॲཧೖ໳
   <>
   #&35
   1SFUSBJOJOH
   PG
   %FFQ
   #JEJSFDUJPOBM
   5SBOTGPSNFST
    τʔΫϯྻ<> ೖྗϕΫτϧ<> #&35΁ೖྗ͢ΔͨΊʹจষΛஈ֊Ͱม׵
10. #&35
    
    ࣄલֶश
     ̋
    .BTLFE
    -BOHVBHF
    .PEFM .-.
    
    ɾೖྗτʔΫϯͷ
    ΛಛघτʔΫϯ<."4,>ʹஔ׵
    
    ɾஔ׵จষΛ#&35ʹೖྗͯ͠<."4,>ͷத਎Λ༧ଌ େྔͷڭࢣͳ͠ ϥϕϧͳ͠ σʔλ͔Β൚༻తͳݴޠύλʔϯΛֶश ໨త ख๏ ̋
    /FYU
    4FOUFODF
    1SFEJDUJPO
    
    ɾೋจ͕༩͑ΒΕΔλεΫͰͦΕͧΕͷؔ࿈ੑΛֶश
    
    ɾಛघτʔΫϯ<$-4>ʹରԠ͢Δ#&35ͷग़ྗΛ෼ྨثʹೖྗ
    ˠ
    ࿈ଓੑΛ൑ఆ <>
    #&35ʹΑΔࣗવݴޠॲཧೖ໳ ϚεΫԽ<>
11. #&35
    
    'JOF5VOJOH
     ɾࣄલֶशࡁ#&35ϞσϧΛλεΫ಺༰ʹԠͨ͡෼ྨثʹ઀ଓ
    ɾϥϕϧ෇͖σʔλͰ#&35ͱ෼ྨثͷ྆ํͷύϥϝʔλΛֶश
    ɾ#&35ॳظ஋͸ࣄલֶशͰಘͨύϥϝʔλ
    㱺
    গσʔλ͔ΒߴੑೳϞσϧΛऔಘ ໨త ख๏ গྔͷڭࢣ͋Γ ϥϕϧ෇͖ σʔλ͔ΒλεΫʹಛԽֶͨ͠शΛ࣮ࢪ 'JOF5VOJOH<> <>
    #&35ʹΑΔࣗવݴޠॲཧೖ໳
12. ࿦จͷ಺༰ 5BC#&35
13. )JFSBSDIJDBM
    5BCVMBS
    #&35
    5BC#&35 ɾଟมྔදσʔλͷֶशʹ#&35ΛԠ༻ͨ͠Ϟσϧ<>
    ɾஈ֊Ͱ&ODPEF
    㱺
    ϑΟʔϧυؒͱߦؒͷ྆ํͷରԠؔ܎Λ൓ө )JFSBSDIJDBM 5BC#&35<> <>5"#6-"3
    53"/4'03.&34
    '03
    .0%&-*/(
    .6-5*7"3*"5&
    5*.&
    4&3*&4
    
14. 5BC#&35
    
    σʔλલॲཧ
     ɾֶशʹඞཁͳΧϥϜ ϑΟʔϧυ Λநग़
    ɾ࿈ଓม਺ͷϑΟʔϧυΛΧςΰϦԽ
    FY
    
    ˠ
     ੜσʔλ લॲཧσʔλ
15. 5BC#&35
    
    ࣄલֶश
     ɾສτϥϯβΫγϣϯ ສϢʔβ ͷσʔλΛ࢖༻
    ɾ8JOEPX
    
    4USJEF
    
    εϥΠσΟϯά΢Οϯυ΢
    ɾϥϕϧͷϑΟʔϧυb*T
    'SBVE `Λআڈ λεΫ΁ͷӨڹΛ๷ࢭ
    ɾ.-.Ͱ<."4,>༧ଌ $SPTT&OUSPQZ-PTTͰਫ਼౓ධՁ .-. ."4, ."4, ."4, ."4, ."4, ."4, ."4, ."4,
16. 5BC#&35
    
    ෆਖ਼ݕ஌λεΫ
     ɾλεΫͷͨΊʹτϥϯβΫγϣϯͣͭϚʔδ
    ɾෆਖ਼σʔλ਺গ ໿ສສ ͷͨΊΞοϓαϯϓϦϯά
    ɾສςετσʔλͰ'είΞ ద߹཰ͱ࠶ݱ཰ͷௐ࿨ฏۉ ΛධՁ
    ɾ.-1-45.୯ମͱ5BC#&35͋Γͷ'είΞൺֱ
    㱺
    5BC#&35͋Γͷํ͕ߴ͍ 'είΞൺֱ<> <>5"#6-"3
    53"/4'03.&34
    '03
    .0%&-*/(
    .6-5*7"3*"5&
    5*.&
    4&3*&4