[計算機構論] Why do tree-based models still outperform deep learning on tabular data?

計算機構論の発表資料
Why do tree-based models still outperform deep learning on tabular data?(NeurIPS2022)

Transcript

1. ܭࢉػߏ࿦!
   ༶໌఩ 8IZ
   EP
   USFFCBTFE
   NPEFMT
   TUJMM
   PVUQFSGPSN
   EFFQ
   MFBSOJOH
   PO
   UBCVMBS
   EBUB
2. ࣗݾ঺հ  • ໊લɿ༶
   ໌఩
   • ॴଐɿ૯߹จԽݚڀՊ
   ޿ҬՊֶઐ߈
   അ৔ݚڀࣨ
   % 

   
   
   
   
   
   
   
   
   ʢ݄ೖֶͰஜ೾େ͔Βདྷ·ͨ͠ʣ
   • ݚڀ಺༰ɿਓؒͱػց͕ڠௐͰ͖ΔΑ͏ͳػցֶश 
 ɹɹɹɹ
   
   
   ˠ
   म࢜Ͱ͸ɼҙࢥܾఆͷެฏੑ͕ςʔϚ
   • ͻͱ͜ͱɿ஥ྑ͍ͯͩ͘͘͠͞ʂ
3. ࿦จ৘ใ  • ϑϥϯεͷํʑɼ*OSJB
   4BDMBZ͸ύϦαΫϨʔେֶͱ͔ ͱ࿈ܞ͍ͯ͠Δݚڀػؔ
   • બΜͩཧ༝
   • ,BHHMFͳͲͰ͸ʮॳख-JHIU(#.ʯ͕ओྲྀͰ͋Γɼ.-1 ͕ڧ͍ͱ͸ݶΒͳ͍ཧ༝Λ஌Γ͔͔ͨͬͨΒɽ
4. ͜ͷ࿦จ͔ΒಘΒΕΔ΋ͷ  ͳͥςʔϒϧσʔλͰ͸ɼਂ૚Ϟσϧ͸ܾఆ໦Λ 
 ྇կͰ͖ͳ͍ͷ͔
   
   ˠ
   ࣮ݧΛ௨ͯ͠ཧ༝Λߟ࡯͍ͯ͘͠
   ςʔϒϧσʔλͷͨ͘͞ΜͷϕϯνϚʔΫΛ࡞੒
   • ࢖༻ͨ͠σʔληοτ΋ެ։
   • ͞ΒʹɼϋΠύϥௐ੔ࡁΈͷϞσϧ΋ެ։
5. ࢖༻͢Δ༻ޠʹ͍ͭͯ  • ܾఆ໦ɿ಺෦ͷΞϧΰϦζϜ͕ܾఆ໦ͳ΋ͷશͯΛ͢͞ 
 • //Tɿଟ૚ύʔηϓτϩϯ΍ਂ૚χϡʔϥϧωοτϫʔ ΫͳͲɼܾఆ໦Ͱ͸ͳ͍ΞϧΰϦζϜΛࢦ͢ɽ
6. എܠɿςʔϒϧσʔλʹ͸ܾఆ໦͕ओྲྀ  ը૾ɼࣗવݴޠɼԻ੠ͳͲͷ෼໺Ͱ͸ɼ 
 ਂ૚ֶशϞσϧͷੑೳ͕΄ͱΜͲ4P5"Λͱ͍ͬͯΔ 
 ҰํͰɼςʔϒϧσʔλͰ͸͍·ͩʹܾఆ໦͕ڧ͍
   
 //T͸σʔλʹରͯ͠ɼؼೲόΠΞεΛڧ͘ੜΉ܏޲͕͋ Δ
   • ؼೲόΠΞεɿϞσϧʹΑΔԿΒ͔ͷ੍໿ʢFH
   ઢܗʣ
7. എܠɿදܗࣜʹಛԽͨ͠//T͸ͳ͍Θ͚Ͱ͸ͳ͍  ςʔϒϧσʔλΛର৅ͱͨ͠//T͸ݚڀ͞Εͯ͸͍Δ 
 ఏҊख๏ʹΑͬͯɼैདྷͷܾఆ໦ΑΓ΋ 
 ༏ҐͰ͋Δओு͸਺ଟ͘ଘࡏ
   • ಛఆͷσʔληοτʢఏҊऀ࡞੒ͳͲʣʹͷΈ༏Ґ
   • ͨ·ͨ·ϋΠύϥ͕Α͔ͬͨͷͰ͸ 
 ධՁํ๏͕͹Β͹ΒͳͷͰɼൺֱͰ͖ͳ͔ͬͨ
   ˠຊ࿦จͰɼϕϯνϚʔΫΛ࡞੒͢Δʂ
8. എܠɿܾఆ໦͕ͳͥڧ͍ͷ͔ //T͕ͳͥऑ͍ͷ͔  //T͕ςʔϒϧσʔλʹ͓͍ͯؼೲόΠΞεʹΑͬͯɼ 
 ੑೳ͕޲্͍ͯ͠ͳ͍ͷ͸ܦݧతʹ஌ΒΕ͍ͯΔ 
 ͔͠͠ɼͲΜͳཁૉ͕ؼೲόΠΞεΛ΋ͨΒ͍ͯ͠Δ͔ ͸ɼಥ͖ࢭΊ͍ͯΔ΋ͷ͸ͳ͍ɽ
   ˠ
   ຊ࿦จʹΑͬͯ͜ͷݪҼʹ͍ͭͯಥ͖ࢭΊΔ
9. ຊݚڀͷߩݙ  ςʔϒϧσʔλΛ༻͍ͨϕϯνϚʔΫΛ࡞੒ɽ
   • ϋΠύϥௐ੔ͨ͠Ϟσϧ΋ར༻ՄೳͳܗͰެ։ 
 //Tͱܾఆ໦ΛطଘͷσʔληοτΛ༻͍ͯൺֱ
   
 ͍ΖΜͳ৚݅ઃఆɼϋΠύϥௐ੔Λߦ͏ɽ
   
 ςʔϒϧσʔλͰͳܾͥఆ໦͕//TΑΓ 
 ڧ͍ͷ͔Λಥ͖ࢭΊͨ
10. ϕϯνϚʔΫσʔληοτΛ࡞Δ  • ϞσϧͷൺֱΛߦ͏ͨΊʹɼϕϯνϚʔΫΛ࡞Δɽ 
 • ࠓճ͞·͟·ͳυϝΠϯͷςʔϒϧσʔλΛछྨ࡞੒ ͢Δɽ 
 • Ͳͷσʔληοτ΋0QFO.-Ͱఏڙ͞Ε͍ͯΔɽ 
 • ࣍ͷϖʔδͷ͜ͱʹ஫ҙͯ͠બΜͩ
11. σʔληοτબ୒ʢʣ  )FUFSPHFOFPVT
    DPMVNO
    • ֤ྻ͸ੑ࣭ͱͯ͠ҟͳΔ
    ը૾΍ηϯαʔ৘ใ͸ෆՄ 
 /PU
    IJHI
    %JNFOTJPOBM
    • σʔληοτͷରͯ͠ߴ࣍ݩͰ͸ͳ͍
    ࠷ߴͰ࣍ݩ
    
 6OEPDVNFOUFE
    EBUBTFUT
    • ৘ใྔ΍ҙຯ͕Θ͔Βͳ͍σʔλΛ࢖Θͳ͍ 
 ҉߸Խ͞Ε͍ͯΔ
12. σʔληοτબ୒ʢʣ  **%
    EBUB
    • ࣌ܥྻσʔλͳͲɼ**%Ͱ͸ͳ͍σʔλ͸࢖Θͳ͍ 
 3FBMXPSME
    EBUB
    • γϛϡϨʔγϣϯ΍ਓ޻σʔλ͸༻͍ͳ͍ɽ 
 /PU
    UPP
    TNBMM
    • ಛ௃ྔ਺͕ҎԼ
    αϯϓϧ਺͕ҎԼ͸࢖Θͳ͍
13. σʔληοτબ୒ʢʣ  /PU
    UPP
    FBTZ
    • ༧ଌ͕؆୯ͳσʔληοτ͸࢖Θͳ͍
    • σϑΥϧτͷϩδεςΟοΫճؼͱ3FT/FUͷείΞ͕ ૬ର஋ͰҎ಺ͩͬͨΒ࠾༻͠ͳ͍ɽ 
 /PU
    EFUFSNJOJTUJD
    • ༧ଌ஋͕σʔλʹରܾͯ͠ఆతʹܾ·Δ΋ͷ͸༻͍ͳ͍
    • ϙʔΧʔ΍νΣεͷήʔϜ৘ใͳͲ
14. ෭࣍తͳ໰୊΋ղফ͢Δʢʣ  ςʔϒϧσʔλΛֶश͢ΔλεΫͱͯ͠੾Γ෼͚ΔͨΊʹ 
 ࣍ͷ఺ʹ΋ؾΛ͚ͭΔ
    .FEJVNTJ[FE
    USBJOJOH
    TFU
    •  αϯϓϧʹͳΔΑ͏ʹσʔλΛ੾Δ 
 /P
    NJTTJOH
    EBUB
    • ܽଛ஋͸શͯ࡟আɽ
15. ෭࣍తͳ໰୊΋ղফ͢Δʢʣ  #BMBODFE
    DMBTTFT
    • ෼ྨλεΫʹ͓͍ͯɼϥϕϧൺ཰͸ಉఔ౓ʹ
    -PX
    DBSEJOBMJUZ
    DBUFHPSJDBM
    GFBUVSF
    • ྻͷதʹछྨҎ্ͷΧςΰϦม਺͸࡟আ
    )JHI
    DBSEJOBMJUZ
    OVNFSJDBM
    GFBUVSF
    • ྻͷதʹछྨҎԼͷ਺஋ม਺͸࡟আ
    • ͔ͭ͠ͳ͍࣌͸ΧςΰϦม਺ͱͯ͠ѻ͏
16. ϋΠύϥௐ੔  ϋΠύϥௐ੔͸ɼϞσϧੑೳ޲্ʹͪΐͬͱߩݙ͢Δ
    ϋΠύϥௐ੔ʹؔͯ͠͸)ZQFSPQUΛ࢖ͬͨ 
 ϥϯμϜαʔνΛ͢Δ
    ֤σʔληοτͰΠςϨʔγϣϯͰύλʔϯߦ͍ɼྑ ͔ͬͨ΋ͷΛ࠷ྑϋΠύϥͱ͢Δ
    ࣌ؒతʹ͸ 
    ίϯϐϡʔλ࣌ؒͷ݁ՌΛެ։ͨ͠
17. ධՁࢦඪ  ෼ྨͰ͸ਫ਼౓ɼճؼͰ͸3είΞΛධՁࢦඪʹ͢Δ
    ҟͳΔσʔληοτͰείΞΛ௚઀ൺֱ͢Δͷ͸ࠔ೉
    • ճؼͩͱɼ͹Β͖ͭ౓߹͍͕͜ͱͳΔͨΊ
    ˠ
    "WFSBHF
    EJTUBODF
    UP
    UIF
    NJOJNVNΛ࠾༻͢Δ
    • ࠷ྑͱ࠷ѱͷείΞΛ΋ͱʹਖ਼نԽ͢Δ
18. σʔλͷલॲཧ  ೖྗʹ༻͍ΔࡍͷલॲཧΛҰ؏ͯ͠ߦ͏
    
    (BVTTJBOJ[FE
    GFBUVSF
    • ਺஋ม਺͸ਖ਼ن෼෍ʹج͍ͮͯ࠶ม׵
    
    5SBOTGPSNFE
    SFHSFTTJPO
    UBSHFUT
    • ໨తม਺Λม׵ֶ͠शɽਪ࿦࣌͸ٯม׵͠໭͢
    
    0OF)PU&ODPEFS
    • ΧςΰϦม਺͸ϫϯϗοτԽ͢Δ
19. ର߅͢Δܾఆ໦ͷҰཡ  ʢ࿦จதʹ௚઀ॻ͔Ε͍ͯͳ͔ͬͨͷͰਪ࡯Ͱ͢ʣ
    9(#PPTUɿͨͿΜ(16ʹ΋ରԠ͍ͯ͠Δ͔Β
    3BOEPN
    'PSFTUɿݹయత͕ͩڧ͍
    (SBEJFOU
    #PPTUJOH
    5SFFɿΧςΰϦม਺΋ѻ͑Δ
20. ର߅͢Δ//TͷҰཡ  .-1ɿ3FEVDF0O1MBUFBVͷεέδϡʔϥΛ௥Ճ
    3FT/FUɿ.-1
    ESPQPVU CBUDIMBZFS
    OPSNBMJ[F 

    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    TLJQ
    DPOOFDUJPO
    '5@5SBOTGPSNFSɿม਺ΛຒΊࠐΊΔUSBOTGPSNFSϞσϧ 

    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ςʔϒϧσʔλͰҰ൪༗ྗ
    4"*/5ɿ5SBOTGPSNFS
    
    JOUFSTBNQMFT
    BUUFOUJPO
    MBZFS 
 ɹɹɹɹ
    PVUQFSGPSN͢Δ͔Β࠾༻
    
21. ݁Ռɿ਺஋ม਺ͷΈͷͱ͖  • υοτઢ͸σϑΥϧτ஋
    • ϋΠύϥௐ੔ͯ͠΋//T͸4P5"ʹͳΒͳ͍
    • ࣮ߦ࣌ؒ͸ॻ͍ͯͳ͍͕ɼܾఆ໦ͷํ͕ૣ͘ऴΘΔ
22. ݁Ռɿ਺஋ม਺ ΧςΰϦม਺  • طଘݚڀͰ͸දܗࣜͷΧςΰϦม਺ͷѻ͍͕૪఺Ͱ͋ͬͨ
    • ΧςΰϦม਺ͷ͍ͤͰ//T͕ऑ͍Θ͚Ͱ͸ͳ͍
23. ͳͥ//T͕ܾఆ໦ʹউͯͳ͍͔Λߟ͍͑ͯ͘  ϕϯνϚʔΫ࣮ݧʹΑΓɼ//T͕ܾఆ໦ʹউͯͳ͍͜ͱΛ ࠶֬ೝͨ͠
    ͔͜͜Β͸ɼςʔϒϧσʔλͷಛ௃ྔΛมԽͤ͞ɼҧ͍ʹ ͍ͭͯ୳ڀ͍ͯ͘͠
    ໨ඪɿදܗࣜͷͲ͏͍͏ಛ௃͕ܾఆ໦ʹ༗ޮͰ 

    
    
    
    
    
    
    
    
    //TͰ͸೉͍ͯ͘͠͠Δཁૉͳͷ͔Λݟ͚ͭΔ
24. //Tͷग़ྗ͸׈Β͔ʹͳΔΑ͏ʹภΔ  ֤܇࿅ͷηοτͷग़ྗʹରͯ͠ɼΧʔωϧฏ׈ԽΛߦ͏ɽ
    • Χʔωϧฏ׈͔Λߦ͏ͱɼ֎Ε஋ͷ༧ଌΛܰݮ͢Δ͜ͱ ͕Մೳɽ
    • Χʔωϧฏ׈Խ͸ۙ͘ͷ΋ͷͷ஋͸͍ۙΠϝʔδ
25. //Tͷग़ྗ͸׈Β͔ʹͳΔΑ͏ʹภΔ  • ฏ׈Խͷ෯Λมߋ͢Δͱɼ ܾఆ໦ͷਫ਼౓͕ஶ͘͠མͪ ͨ
    • ҰํͰ//T͸͕ࠩখ͍͞
    ˠ
    ΋ͱ΋ͱ//Tࣗ਎͕׈Β͔ ͳग़ྗΛߦ͏ؼೲόΠΞε͕ ଘࡏ
26. //Tͷग़ྗ͸׈Β͔ʹͳΔΑ͏ʹภΔ 
27. //T͸ෆඞཁͳ৘ใʹऑ͍  • ϥϯμϜϑΥϨετʹΑͬͯϥϯΫ෇͚ͨ͠ಛ௃ྔॏཁ౓ ʹԠͯ͡ಛ௃ྔΛܽམͨ࣌͠ͷੑೳࠩʹ͍ͭͯݟ͍ͯ͘
    • (#%5Ͱ͸ɼಛ௃ྔΛ൒෼ܽམͤͯ͞΋ɼਫ਼౓௿Լ͸͋· Γى͖ͳ͔ͬͨ
    • ܽམͤͨ͞ಛ௃ྔͷΈͰֶशͯ͠΋ਫ਼౓͸͋·Γ্͕Βͳ ͍
    
    
    
    ˠ
    ͖ͪΜͱඞཁͳ৘ใͷΈΛ࢖ֶͬͯश͍ͯ͠Δ
28. //T͸ෆඞཁͳ৘ใʹऑ͍  • ಛ௃ྔͷܽམͱɼඇ৘ใͳಛ௃ྔΛ௥Ճͨ࣌͠ͷൺֱ
    • //T͸ඇ৘ใಛ௃ྔʹରͯ͠ؤ݈Ͱ͸ͳ͍
29. දܗࣜʹ͸ճసෆมੑ͕ͳ͘ɼ//Tͷֶशʹ޲͔ͳ͍  • //T͸ճసෆมੑͷಛ௃Λ࣋ͭɽͭ·Γ೚ҙͷϢχλϦ ߦྻΛೖྗʹ͔͚ͯ΋ग़ྗʹӨڹ͕গͳ͍ɽ ճసෆมੑɿೖྗ͕ճసͯ͠΋ɼຊ࣭͸มΘΒͳ͍ ✖ ϢχλϦߦྻͷྫ
30. දܗࣜʹ͸ճసෆมੑ͕ͳ͘ɼ//Tͷֶशʹ޲͔ͳ͍  • σʔληοτΛϥϯμϜʹճసͤ͞ɼਫ਼౓ͷมԽΛݟΔ
31. ·ͱΊ  • ςʔϒϧσʔλʹ͓͍ܾͯఆ໦ͱ//Tͷҧ͍ΛΈ͚ͭͨ
    
    //Tͷ༧ଌ͸׈Β͔ʹͳΔؼೲόΠΞε
    
    //T͸ෆඞཁͳ৘ใʹऑ͍
    
    දܗࣜͷճసෆมੑ͕ͳ͍͜ͱ͕//TͱϛεϚον
    • දܗࣜͷσʔληοτͱϋΠύϥௐ੔ࡁΈϞσϧΛެ։
    ײ૝ɿ
    • ৽ख๏ΛఏҊͨ͠Θ͚Ͱ͸ͳ͍͕ɼ࣮ݧͱߟ࡯͕ஸೡ
    • ͓ۚͱ࣌ؒΛͨ͘͞Μඅ΍͍ͯ͠Δͷ͕͏͔͕͑ͨ
32. ϒϥ΢βૢ࡞͢ΔͷʹϚ΢ε͍ͬͯΒͳ͘ͳ͍ʁʁ  $ISPNFͷ֦ுػೳʮ7JNJVNʯΛ͓͢͢Ί͠·͢ʂʂ
    Ϛ΢εͷҠಈڑ཭͸೔LN΋͋ΔΈ͍ͨ<>ɹ
    • ຖ೔͜Μͳಈ͔͢ͷ͸͠ΜͲ͍
    • ΩʔϘʔυͱϚ΢εͷԟ෮΋ແବ͡Όͳ͍ʁ
    ͣͬͱΩʔϘʔυ্ʹखΛஔ͍ͯ࡞ۀͰ͖ͨΒ 

    ΂ΜΓͳͷʹͳ͊ <>
    IUUQTEBJMZQPSUBM[KQLJKJNPVTF@QPJOUFSNPWFNFOU@EJTUBODF
33. ϒϥ΢βૢ࡞͢ΔͷʹϚ΢ε͍ͬͯΒͳ͘ͳ͍ʁʁ  ͦΕɼʮWJNJVNʯͰͰ͖·͢
    ϒϥ΢δϯάͷϚ΢εૢ࡞Λ 
 ΩʔϘʔυͷΩʔૢ࡞Ͱ୅ସ͢Δ͜ͱ͕Մೳʂ
    • ૢ࡞ײ͸WJNʹ͍ۙͨΊɼWJNNFS͸͙͢׳ΕΔʂ
    ݸਓతʹ͸WJNJVNͷΦϜχݕࡧ͕ΊͬͪΌศར IUUQTDISPNFHPPHMFDPNXFCTUPSFEFUBJMWJNJVNECFQHHFPHCBJCIHOIIOEPKQFQJJIDNFC