DeepGBM 論文の紹介

A61adad507d7bc0ee5b52ebe333abed7?s=47 Yuki Ishikawa
September 09, 2019

DeepGBM 論文の紹介

2019.09.09 [沖縄] KDD 2019 論文読み会 @ちゅらデータ

発表しようとしたものの体調が死んでお蔵入りになったやつを供養
肝心の部分が TODO のままになっている...

A61adad507d7bc0ee5b52ebe333abed7?s=128

Yuki Ishikawa

September 09, 2019
Tweet

Transcript

  1. %FFQ(#. "%FFQ-FBSOJOH'SBNFXPSL%JTUJMMFECZ(#%5GPS0OMJOF1SFEJDUJPO5BTLT ,%%࿦จಡΈձ !IPUP

  2. !IPUP w ͪΎΒσʔλͷਓͰ͢

  3. ঺հ͢Δ࿦จ w %FFQ(#."%FFQ-FBSOJOH'SBNFXPSL%JTUJMMFECZ(#%5GPS0OMJOF1SFEJDUJPO5BTLT w 1%'IUUQTXXXLEEPSHLEEBDDFQUFEQBQFSTWJFXEFFQHCNBEFFQMFBSOJOH GSBNFXPSLEJTUJMMFECZHCEUGPSPOMJOFQSFEJDUJPOU w ಈըIUUQTXXXZPVUVCFDPNXBUDI W6[9/[8T1X w

    ࣮૷IUUQTHJUIVCDPNNPUFqZ%FFQ(#. w .JDSPTPGU3FTFBSDIͷ࿦จ w TU"VUIPSͷ(VPMJO,Fࢯ͸-JHIU(#.ͷ࡞ऀ (VPMJO,F ;IFOIVJ9V +JB;IBOH +JBOH#JBO BOE5JF:BO-JV%FFQ(#."%FFQ-FBSOJOH'SBNFXPSL%JTUJMMFECZ(#%5GPS0OMJOF1SFEJDUJPO5BTLT
 *O5IFUI"$.4*(,%%$POGFSFODFPO,OPXMFEHF%JTDPWFSZBOE%BUB.JOJOH ,%%` "VHVTUr  "ODIPSBHF ", 64""$. /FX:PSL /: 64" QBHFT
 IUUQTEPJPSH
  4. ֓ཁ w ΦϯϥΠϯ༧ଌλεΫͰ͸ɺҎԼͷ̎ͭͷ՝୊Λಉ࣌ʹղܾ͢Δ͜ͱ͕೉͍͠ w ΧςΰϦσʔλͱ࿈ଓσʔλΛಉ࣌ʹ͏·͘ѻ͑ͳ͍ w ࣌ؒͱͱ΋ʹ෼෍͕มԽ͢Δσʔλʹରͯ͠͏·͘ϞσϧΛߋ৽Ͱ͖ͳ͍ w (#%5ͱ//͸ۙ೥Α͘࢖ΘΕΔϞσϧ͕ͩɺͦΕͧΕʹऑ఺͕͋Δ w

    ͜ͷ࿦จͰ͸ɺ(#%5ͱ//ΛৠཹʹΑͬͯ૊Έ߹ΘͤΔ͜ͱͰɺ
 ΦϯϥΠϯ༧ଌλεΫΛޮՌతʹղ͘ϑϨʔϜϫʔΫ%FFQ(#.ΛఏҊ͢Δ w ༷ʑͳσʔληοτͰ࣮ݧΛߦͳ͕ͬͨɺ͢΂ͯͷσʔληοτͰଞͷ
 ͋ΒΏΔख๏ΑΓ΋ੑೳ͕͍͍
  5. *OUSPEVDUJPO

  6. ΦϯϥΠϯ༧ଌͱ͸ w ࠷৽ͷσʔλΛ༻͍ͯ༧ଌϞσϧΛվળ͠ଓ͚ΔΑ͏ͳ໰୊ w ΦϯϥΠϯ༧ଌλεΫͷྫ w ޿ࠂͷΫϦοΫ༧ଌ w 8FCίϯςϯπϥϯΩϯά w

    Ϩίϝϯυ w ഑ૹܭըͷ࣌ؒਪఆ
  7. (#%5ͱ͸ w (#%5(SBEJFOU#PPTUJOH%FDJTJPO5SFF w ऑֶशثʹܾఆ໦Λ༻͍ͨޯ഑ϒʔεςΟϯάͷ૯শ w 9(#PPTU΍-JHIU(#.΋(#%5ͷҰछ w ,BHHMFͰΑ͘࢖Θ͍ͯΔྲྀߦΓͷΞϧΰϦζϜ

  8. (#%5ͱΦϯϥΠϯ༧ଌ w ར఺ w ߴີ౓ͳ਺஋σʔλΛޮՌతʹѻ͑Δ w JOGPSNBUJPOHBJO͕࠷େͱͳΔಛ௃Λ܁Γฦ͠બ୒Ͱ͖ΔͨΊ w ܽ఺ w

    ΦϯϥΠϯͰϞσϧΛߋ৽͢Δ͜ͱ͕ࠔ೉ w ֶश͞ΕͨπϦʔ͕ඍ෼ՄೳͰ͸ͳ͍ͨΊ w ·ͨɺʮϞσϧߋ৽͕Ͱ͖ͳ͍ʯͱ͍͏͜ͱ͸ʮຖճֶश͠௚͞ͳ͚Ε͹͍͚ͳ͍ʯ
 ͱ͍͏͜ͱͰ͋Γɺ͜Ε͸େن໛σʔλΛ༻ֶ͍ͨश͕ࠔ೉Ͱ͋Δ͜ͱΛҙຯ͢Δ
 େن໛σʔλΛҰ౓ʹϝϞϦʹࡌͤΔ͜ͱ͸ݱ࣮తͰͳ͍  w ΧςΰϦσʔλͷֶश͕ۤख w ಛʹɺεύʔεͳΧςΰϦσʔλͷPOFIPUදݱΛೖྗͨ͠৔߹͸JOGPSNBUJPOHBJO͕
 ඇৗʹখ͘͞ͳΔͨΊɺͦͷಛ௃ྔΛ༻ֶ͍ͯशͯ͠΋΄ͱΜͲͷ৔߹ޮՌ͕ͳ͍ɺ
 ͦͷͨΊεύʔεͳΧςΰϦσʔλͰ͸πϦʔΛޮՌతʹ੒௕ͤ͞Δ͜ͱ͕Ͱ͖ͳ͍
  9. //ͱ͸ w ///FVSBM/FUXPSL w ͨͿΜશһ஌͍ͬͯΔͱࢥ͏ͷͰׂѪ w ,BHHMFͰ࢖ΘΕ͍ͯΔྲྀߦΓͷΞϧΰϦζϜ

  10. //ͱΦϯϥΠϯ༧ଌ w ར఺ w େن໛σʔλͰ΋ޮ཰తͳΦϯϥΠϯֶश͕Մೳ w όον୯ҐͷCBDLQSPQBHBUJPOʹΑΔ w εύʔεͳΧςΰϦσʔλͷಛ௃Λֶश͢Δ͜ͱ͕Մೳ w

    ܽ఺ w ߴີ౓ͳ਺஋σʔλͷֶश͕ࠔ೉ w શ݁߹ωοτϫʔΫ '$// Ͱ͸ہॴղʹؕΓ΍͘͢ɺे෼ͳੑೳ͕ग़ͳ͍
  11. ΦϯϥΠϯ༧ଌͷख๏·ͱΊ w (#%5ܥ͸ʮΦϯϥΠϯߋ৽͕ࠔ೉ʯʮΧςΰϦσʔλͷֶश͕ۤखʯ
 ͱ͍͏̎ͭͷऑ఺ʹΑΓɺΦϯϥΠϯ༧ଌλεΫͰ͸͍͍ࣦͩͨഊ͢Δ w //ܥ͸ΦϯϥΠϯߋ৽ʹ͸޲͍͍ͯΔ͕ɺʮີͳ਺஋σʔλΛѻ͑ͳ͍ʯ
 ͱ͍͏ऑ఺͕ղܾͰ͖ͳ͍ ͜ͷ࿦จͰ͸ɺ(#%5ͱ//Λ౷߹ͯ͠ޮՌతʹΦϯϥΠϯ༧ଌ໰୊Λ
 ղ͘ϑϨʔϜϫʔΫ%FFQ(#.ΛఏҊ͢Δ

  12. 3FMBUFE8PSL

  13. (#%5ΛΦϯϥΠϯ༧ଌ΁ద༻͢Δख๏ w 9(#PPTU΍-JHIU(#.Ͱ΋ΦϯϥΠϯߋ৽͢Δख๏͸
 ఏڙ͞Ε͍ͯΔ͕ɺύϑΥʔϚϯε͸ྑ͘ͳ͍͠ੑೳ΋ෆ҆ఆ w ΧςΰϦσʔλΛ͏·͘ѻ͏ख๏΋͍͔ͭ͋͘Δ͕ɺ
 ৘ใଛࣦ͕ൃੜͨ͠ΓɺΦϯϥΠϯ༧ଌ΁ͷద༻͕ࠔ೉ͱ͍͏
 ΋͏Ұํͷ໰୊͕ղܾͰ͖ͳ͍

  14. //ΛΦϯϥΠϯ༧ଌ΁ద༻͢Δख๏ w ΦϯϥΠϯ༧ଌͰ//Λར༻͢Δࣄྫ͸΄ͱΜͲ͕ΧςΰϦσʔλΛ
 ѻ͓ͬͯΓɺ਺஋σʔλͷऑ఺͕ղܾͰ͖͍ͯͳ͍ w ਺஋σʔλΛOPSNBMJ[BUJPOͱSFHVMBSJ[BUJPO͢Δख๏͸͋Δ͕ɺ
 (#%5ͷੑೳΛ্ճΔ͜ͱ͕Ͱ͖͍ͯͳ͍ w ਺஋σʔλͷ཭ࢄԽ EJTDSFUJ[BUJPO

    ͸޿͘࢖ΘΕ͍ͯΔख๏͕ͩɺ
 Ϟσϧͷෳࡶ͕͞૿ͯ͠աֶशΛҾ͖ىͯ͜͠͠·͍͕ͪ
  15. (#%5ͱ//Λ૊Έ߹ΘͤΔख๏ w //ʹπϦʔͷΑ͏ͳܾఆೳྗΛಋೖ͢Δݚڀ͕͍͔ͭ͋͘Δ w ྫ͑͹(PPH-F/FUʹ͸πϦʔͷΑ͏ͳܾఆೳྗ͕͋Δ͜ͱ͕஌ΒΕ͍ͯΔ w $7෼໺͹͔ΓͰΦϯϥΠϯ༧ଌʹద༻ͨ͠ࣄྫ͸ͳ͍ w ֶशࡁΈπϦʔϞσϧΛ//ʹม׵͢Δઌߦݚڀ΋͋Δ w

    ඇޮ཰͔ͭϞσϧ͕ංେԽ͢ΔͷͰݱ࣮తͰ͸ͳ͍ w (#%5ͱ//ͷΞϯαϯϒϧΛࢼΈͨݚڀ΋͍͔ͭ͋͘Δ w 'BDFCPPL ϩδεςΟοΫճؼΛ༻͍ͯϦʔϑΠϯσοΫεΛ༧ଌ͢Δ w .JDSPTPGU (#%5Ͱ//ͷޡࠩΛิਖ਼͢Δ w ͍ͣΕ΋ΦϯϥΠϯߋ৽͕Ͱ͖ͳ͍໰୊͕ղܾ͞Ε͍ͯͳ͍
  16. %FFQ(#.

  17. %FFQ(#.֓ཁ %FFQ(#.͸$BU//ͱ(#%5//ͱ͍͏̎ͭͷίϯϙʔωϯτ͔Β੒Δ

  18. $BU// w ΧςΰϦσʔλΛ&NCFEEJOHදݱΛ༻͍ͯີͳϕΫτϧʹม׵͢Δ w ΦϯϥΠϯ༧ଌͰΧςΰϦσʔλʹ//Λద༻͢Δઌߦݚڀ͸ଟ͋͘Γ
 8JEFˍ%FFQ 1// %FFQ'. Y%FFQ'. ͳͲ

    ɺ%FFQ(#.Ͱ͸
 طଘͷ͏·͍͍ͬͯ͘Δߏ଄Λͦͷ··׆༻ͯ͠$BU//ͱͯ͠ར༻͍ͯ͠Δ w ͜ͷ࿦จͷ$BU//Ͱ͸ઌߦݚڀΛ׆༻֤ͯ͠ಛ௃ྔؒͷ૬ޓ࡞༻΋
 ֶश͢Δ͕ɺͦΕ͸ඞͣ͠΋ඞཁͰ͸ͳ͍ w $BU//͸ଞͷಉ༷ͷػೳΛ࣋ͭ//ίϯϙʔωϯτͰ΋୅༻͢Δ͜ͱ͕Ͱ͖Δ
  19. (#%5// w ֶशࡁΈ(#%5ϞσϧΛʮৠཹʯ͢Δ͜ͱͰ//Ϟσϧʹม׵͢Δ w Ξϓϩʔνͷखॱͱͯ͠͸  ·ͣ୯ҰπϦʔΛৠཹͯ͠//ʹల։͢Δख๏Λߟ͑Δ  ࣍ʹͦΕΛෳ਺πϦʔʹ΋ద༻Ͱ͖ΔΑ͏ʹҰൠԽ͢Δ

  20. ิ଍ɿʮৠཹʯͱ͸ ͋ΔϞσϧͷ஌ࣝΛଞͷϞσϧʹܧঝͤ͞ΔͨΊͷૢ࡞ͷ͜ͱ %FFQ-FBSOJOHʹ͓͚Δ஌ࣝͷৠཹc$PEF$SBGU)PVTFIUUQDPEFDSBGUIPVTFKQQLOPXMFEHFEJTUJMMBUJPOΑΓҾ༻ Ϟσϧͷਫ਼౓ͱܭࢉίετ͸τϨʔυΦϑͷؔ܎͕͋Δ ڭࢣϞσϧͷ஌ࣝΛੜెϞσϧʹ༩͑Δ͜ͱͰɺτϨʔυΦϑΛվળͰ͖Δ

  21. ୯ҰͷπϦʔͷৠཹ  w ઌߦݚڀͷৠཹͷ΄ͱΜͲ͸ɺϞσϧͷग़ྗͷΈΛసૹ͢Δ w ৠཹલͱޙͷϞσϧ͕ಉ༷ͷग़ྗΛੜ੒͢Δ͜ͱΛอূ͢ΔͨΊ w ͔͠͠πϦʔͱ//͸ຊ࣭తʹҟͳΔͨΊɺৠཹͰ͖Δ஌ࣝΑΓ΋
 ଟ͘ͷ஌͕ࣝπϦʔʹ࢒͞Ε͍ͯΔ w

    ۩ମతʹ͸ʮπϦʔ͕બ୒ͨ͠ಛ௃ྔʯͱʮπϦʔͷߏ଄ʯ͸
 ॏཁͳ஌ࣝͱͳΓ͏Δ
  22. ୯ҰͷπϦʔͷৠཹ  w πϦʔ͕બ୒ͨ͠ಛ௃ྔ 5SFF4FMFDUFE'FBUVSFT  w πϦʔ͸͢΂ͯͷಛ௃ྔΛ࢖͏Θ͚Ͱ͸ͳ͍ w ͦͷ஌ࣝΛసૹͯ͠//ͷֶशޮ཰Λ޲্Ͱ͖Δ

    w ۩ମతʹ͸ʮπϦʔ͕બ୒ͨ͠ಛ௃ྔΛ//ͷೖྗʹ͢Δʯ͚ͩ w πϦʔͷߏ଄ %BUB1BSUJUJPO  w πϦʔͷߏ଄͕͍࣋ͬͯΔ஌ࣝ͸ɺσʔλΛҰͭͷ༿ʹ෼ׂ͢Δํ๏Λࣔ͢ w ͜ͷߏ଄Λ//ʹసૹ͢Δͷ͸؆୯ͳ͜ͱͰ͸ͳ͍ɺຊ࣭తʹߏ଄͕ҟͳΔ w //͸೚ҙͷؔ਺Λۙࣅ͢Δ͜ͱೳྗ͕ڧྗͰ͋Δ͜ͱ͕஌ΒΕ͍ͯΔͷͰɺ
 ʮ//ͰπϦʔͷߏ଄Λۙࣅ͢Δʯ͜ͱͰߏ଄ͷ஌ࣝΛநग़͢Δ
  23. ୯ҰͷπϦʔͷৠཹ 

  24. ෳ਺ͷπϦʔͷৠཹ  w 50%0

  25. ෳ਺ͷπϦʔͷৠཹ 

  26. %FFQ(#.ͷֶशํ๏ ΦϑϥΠϯ w 50%0

  27. %FFQ(#.ͷֶशํ๏ ΦϯϥΠϯ w 50%0

  28. &YQFSJNFOU

  29. ࣮ݧʹ࢖͏σʔληοτ w ͍͔ͭ͘ͷެ։σʔληοτΛ࢖͏ w ඈߦػͷ஗Ԇ༗ແΛ༧ଌ͢ΔͨΊͷߤۭձࣾͷσʔληοτ w ͍͔ͭ͘ͷ,BHHMFίϯϖͷσʔληοτ w /FVS*14ͷ"VUP.-ͷͨΊͷσʔληοτ w

    ͜ΕΒͷσʔληοτ͸͢΂ͯҎԼͷΑ͏ͳಛ௃͕͋Δ w ΧςΰϦͱ਺஋ͷ྆ํͷσʔλؚ͕·Ε͍ͯΔ w λΠϜελϯϓؚ͕·Ε͍ͯΔ ΦϯϥΠϯ༧ଌΛγϛϡϨʔτͰ͖Δ
  30. ൺֱର৅ͷϞσϧ  w (#%5 -JHIU(#.  w -3 ϩδεςΟοΫճؼ 

    w '. 'BDUPSJ[BUJPO.BDIJOFT  w 8JEF%FFQ ઢܗϞσϧ %//  w %FFQ'. w 1// 1SPEVDUCBTFE/FVSBM/FUXPSLT
  31. ൺֱର৅ͷϞσϧ  ͞Βʹɺ%FFQ(#.Λগ͠มߋͨ̎ͭ͠ͷϞσϧ΋ൺֱର৅ʹՃ͑Δ w %(#%5//Ͱ͸ͳ͘(#%5Λ௚઀࢖͏%FFQ(#. w (#%5͸ΦϯϥΠϯߋ৽Ͱ͖ͳ͍ͷͰɺ%FFQ(#.͕
 ΦϯϥΠϯߋ৽͕Ͱ͖Δ͜ͱΛࣔͨ͢Ίͷൺֱର৅ w %$BU//ͳ͠Ͱ(#%5//ͷΈΛ࢖͏%FFQ#(.

    w (#%5//୯ମͷੑೳΛࣔͨ͢Ίͷൺֱର৅
  32. ࣮ݧͷઃఆ w ਺஋σʔλΛ͏·͘ѻ͑ͳ͍Ϟσϧ -3 '. 8JEFˍ%FFQ %FFQ'. 1//ͳͲ Ͱ͸ɺ
 ཭ࢄԽͨ͠ΧςΰϦσʔλΛೖྗ͢Δ͜ͱͱ͢Δ

    w ΧςΰϦσʔλΛ͏·͘ѻ͑ͳ͍Ϟσϧ (#%5ͳͲ Ͱ͸ɺ
 ϥϕϧΤϯίʔυ΍όΠφϦΤϯίʔυΛߦͬͨ਺஋σʔλΛೖྗ͢Δ͜ͱͱ͢Δ w ͢΂ͯͷ࣮ݧ͸ҟͳΔཚ਺γʔυͰ̑ճ࣮ߦ͞ΕΔ 
 ˞ϋΠύʔύϥϝʔλઃఆΛؚΉ࣮ݧͷৄࡉ͸࿦จͷ෇࿥͓Αͼίʔυ (JU)VC ʹهࡌ͞Ε͍ͯΔ
  33. ࣮ݧ݁ՌɿΦϑϥΠϯ༧ଌͷੑೳ w (#%5͸ଞͷ//ͷϕʔεϥΠϯΑΓ༏Ε͍ͯΔˠ(#%5ͷ஌ࣝΛҾ͖ग़͢Ξϓϩʔν͸༗ӹͰ͋Δ w % (#%5// ͸(#%5ΛվળͰ͖͍ͯΔˠֶशࡁΈ(#%5ϞσϧΛޮՌతʹৠཹͰ͖͍ͯΔ w (#%5ͱ//ͷ૊Έ߹Θͤ͸ੑೳ޲্ʹߩݙ͢ΔˠΧςΰϦͱ਺஋ͷ྆ํΛॲཧ͢Δ͜ͱ͕Ͱ͖͍ͯΔ w

    %FFQ(#.͸͢΂ͯͷσʔληοτͷ͢΂ͯͷϕʔεϥΠϯΑΓ༏Ε͍ͯΔ ʲදʳΫϥε෼ྨͰ͸"6$ ճؼͰ͸.4&Λهࡌ͍ͯ͠Δ
  34. ࣮ݧ݁ՌɿΦϯϥΠϯ༧ଌͷੑೳ w (#%5͸࠷ॳͷόον͚ͩ͸ੑೳ͕͍͍͕Ҏ߱͸ѱ͍ˠ(#%5͸ΦϯϥΠϯͰ͸ػೳ͠ͳ͍ w (#%5//ͷΦϯϥΠϯͷੑೳ͸ྑ͍ˠ(#%5ͷৠཹ//Ϟσϧ͕͏·͘Ͱ͖͍ͯΔ w %FFQ(#.͸͢΂ͯͷϕʔεϥΠϯΑΓ΋ੑೳ͕͍͍ ʲਤʳΦϯϥΠϯ༧ଌͷ࠷ॳͷόον෼ͷ"6$ͷฏۉΛϓϩοτͨ͠΋ͷ

  35. $PODMVTJPO

  36. ·ͱΊ ֓ཁΛ࠶ܝ w ΦϯϥΠϯ༧ଌλεΫͰ͸ɺҎԼͷ̎ͭͷ՝୊Λಉ࣌ʹղܾ͢Δ͜ͱ͕೉͍͠ w ΧςΰϦσʔλͱ࿈ଓσʔλΛಉ࣌ʹ͏·͘ѻ͑ͳ͍ w ࣌ؒͱͱ΋ʹ෼෍͕มԽ͢Δσʔλʹରͯ͠͏·͘ϞσϧΛߋ৽Ͱ͖ͳ͍ w (#%5ͱ//͸ۙ೥Α͘࢖ΘΕΔϞσϧ͕ͩɺͦΕͧΕʹऑ఺͕͋Δ

    w ͜ͷ࿦จͰ͸ɺ(#%5ͱ//ΛৠཹʹΑͬͯ૊Έ߹ΘͤΔ͜ͱͰɺ
 ΦϯϥΠϯ༧ଌλεΫΛޮՌతʹղ͘ϑϨʔϜϫʔΫ%FFQ(#.ΛఏҊ͢Δ w ༷ʑͳσʔληοτͰ࣮ݧΛߦͳ͕ͬͨɺ͢΂ͯͷσʔληοτͰଞͷ
 ͋ΒΏΔख๏ΑΓ΋ੑೳ͕͍͍