SIGNATEの練習問題コンペで 57位までスコアを上げた話/ The story of the signate competition

Connehito Marché vol.6 ～機械学習・データ分析市～

Transcript

1. $POOFIJUP*ODӬҪউҰ࿠
   ϚϚͷҰาΛࢧ͑Δ
   4*(/"5&ͷ࿅श໰୊ίϯϖͰ
   Ґ·ͰείΞΛ্͛ͨ࿩
   $POOFIJUP.BSDIÉWPMʙػցֶशɾσʔλ෼ੳࢢʙ
   

   View Slide

2. ࣗݾ঺հ
   ӬҪউҰ࿠
   ओͳ׆ಈ

   "84%FW%BZ5PLZP +BQBO$POUBJOFS%BZTW "844VNNJU

   ͸͡Ίͯͷ1)1ϓϩϑΣογϣφϧ։ൃ ೔ܦ4:45&.4 ϚϚϦ͕࣮ફ͢Δɹίϯ
   ςφҠߦͷਖ਼߈๏
   

   ίωώτΤϯδχΞϒϩάIUUQTUFDIDPOOFIJUPDPNBSDIJWFBVUIPSOBHBJT
   ίωώτגࣜձࣾɹΤϯδχΞ

   Πϯϑϥ΢ΣϒΦϖϨʔγϣϯػցֶश ࠷ۙ
   
   !TIOBHBJ
   

   View Slide

3. -5ͳͷͰαΫαΫͬͱ
   ॳΊͯσʔλαΠΤϯείϯϖʹ
   ࢀՃͨ͠ମݧஊʹ͍͓ͭͯ࿩͠·͢
   

   View Slide

4. ͋Δ೔ͷ.-νʔϜͰͷձ࿩
   

   View Slide

5. ֶशਐΊ͖ͯͯɺͦΖͦΖࣗ෼ͰϞσϧ࡞Γ͍ͨͳ
   ӬҪ͞ΜαοΧʔ޷͖Ͱͨ͠ΑͶ
   ͏Μɻͣͬͱ΍͖ͬͯͯͯࠓ͸ࢠڙͷαοΧʔ௮͚ͷि຤
   4*(/"5&ͱ͍͏ίϯϖαΠτʹࢀՃͯ͠Έͯ͸Ͳ͏Ͱ͔͢
   

   View Slide

6. ͓͠ɺ΍ͬͯΈΔͧ
   Αͦ͞͏ ͲΜͳ΋ͷ͔Θ͔ͬͯͳ͍͚Ͳ
   
   +Ϧʔάͷ؍٬਺༧ଌͷ࿅श໰୊͕͋Δ͔ΒͦΕΛ΍ͬͯΈ·͠ΐ͏
   ˞αοΧʔͷσʔλͳΒ΍Γ΍͍͢ΜͰ͸ͱ͍͏λΧύΠͷ΍͍͞͠ࢥ࿭Λޙ೔஌Δ
   

   View Slide

7. ͸͡Ίͯػցֶशͷίϯϖʹ
   ࢀՃͯ͠ΈΔ͜ͱʹͨ͠
   

   View Slide

8. w ೔ຊ࠷େͷσʔλαΠΤϯςΟετίϛϡχςΟ
   w ೔ຊͷاۀ͔Βఏڙ͞ΕͨσʔλͰίϯϖΛ։࠵
   w ೔ຊ൛,BHHMFͱ΋ݴΘΕ͍ͯΔ
   4*(/"5&ͱ͸
   

   View Slide

9. w ʲ࿅श໰୊ʳ+Ϧʔάͷ؍٬ಈһ਺༧ଌ

   ೥ʙ೥γʔζϯલ൒ͷσʔλ͔Β

   ʮ೥ޙ൒ઓ+ +શࢼ߹ͷ؍٬ಈһ਺Λ༧ଌ͢ΔϞσϧʯΛ࡞੒

   IUUQTTJHOBUFKQDPNQFUJUJPOTMFBEFSCPBSE
   ࢀՃͨ͠ίϯϖ
   

   View Slide

10. େ·͔ͳྲྀΕ
    ϕʔεϥΠϯϞσϧ
    ࡞੒
    ଌఆ

    4*(/"5&্ͷείΞ
    σʔλ෼ੳ &%"
    
    ಛ௃ྔ࡞੒ બ୒
    Ϟσϧ࡞੒ ଌఆ
    34.&ͰखݩͰධՁ

    ྑ͘ͳ͍৔߹ɻɻ
    ྑ͍
    

    View Slide

11. 

    େ·͔ͳྲྀΕ
    ϕʔεϥΠϯϞσϧ
    ࡞੒
    ଌఆ

    4*(/"5&্ͷείΞ
    σʔλ෼ੳ &%"
    
    ಛ௃ྔ࡞੒ બ୒
    Ϟσϧ࡞੒ ଌఆ
    34.&ͰखݩͰධՁ

    ྑ͘ͳ͍৔߹ɻɻ
    ྑ͍
    ྑ͍είΞग़Δ·Ͱ͜ͷྲྀΕΛͻͨ͢Β܁Γฦͨ͠
    

    View Slide

12. ϕʔεϞσϧͷείΞ
    ͘Β͍Λ໨ࢦͯ͠΍ͬͯΈ·͠ΐ͏ʂʂ
    ؤுͬͯΈΔʂʂʂ
    

    View Slide

13. σʔλ෼ੳ͸ͲΜͳ͜ͱΛ͔ͨ͠
    

    View Slide

14. w جຊʹଇΓಛ௃ྔͷ૯਺΍ܽଛσʔλͷ֬ೝ

    ࠓճ͸݀ຒΊͨ͠σʔλ͸਺݅
    w ಛ௃ྔຖͷ෼෍ΛݟͨΓ

    + +ͷֶशσʔλྔͷൺ཰౳
    w 1BOEBTͷHSPVQCZͰಛ௃ྔຖͷ؍٬਺΁ͷӨڹ౓ݟͨΓ
    σʔλ෼ੳ
    

    View Slide

15. w جຊʹଇΓɺಛ௃ྔͷ૯਺΍ܽଛσʔλͷ֬ೝ
    w ಛ௃ྔຖͷ਺ͷόϥπΩΛݟͨΓ

    + +ͷֶशσʔλྔͷൺ཰
    w 1BOEBTͷHSPVQCZͰಛ௃ྔຖͷ؍٬਺΁ͷӨڹ౓ݟͨΓ
    σʔλ෼ੳ
    ਖ਼௚ʹݴ͏ͱ
    +VQZUFS/PUFCPPL΁ͷϝϞ͕গͳ͗͢Ͱ
    ޙ͔ΒԿΛ΍͔ͬͨৼΓฦΔͷ͕େมͩͬͨ
    

    View Slide

16. View Slide

17. ͜Ε͔Βσʔλ෼ੳ͢Δ࣌͸
    ͦͷ࣌ʑͷࢥߟΛϝϞʹ࢒͢΂͠ͱ͍͏
    ڧΊͷڭ܇ΛಘΔ
    

    View Slide

18. ಛ௃ྔ࡞੒ʹશମͷׂͷ࣌ؒΛ͔͚ͨ
    

    View Slide

19. w ෼ੳ݁Ռ͔Β؍٬਺ʹӨڹͷେ͖ͦ͏ͳಛ௃ྔΛ࡞੒

    νʔϜຖͷฏۉ؍٬਺ IPNF BXBZ
    

    ελδΞϜຖͷฏۉ؍٬਺

    ։࠵݄ γʔζϯऴ൫͸ू٬͕ྑ͍
    

    ࣌ؒଳ ؙΊͯΧςΰϦԽ
    

    ఱؾΛΧςΰϦԽ
    w ྫ͑͹ɺఱؾ͚ͩͰύλʔϯ͋ͬͨͷͰؙΊͯΧςΰϦԽ

    ੖ͷͪಶ࣌ʑӍ ੖ͷͪಶҰ࣌ӍFUD

    ӍPS੖ΕPS԰಺PSͦͷଞͷύλʔϯʹ෼ྨ
    ࡞੒ͨ͠ಛ௃ྔᶃ
    

    View Slide

20. w ఆੑతײ͔֮Βͷಛ௃ྔΛ࡞੒

    ϑΥϧϥϯ౳ͷελʔϓϨʔϠʔ͕Ξ΢ΣΠνʔϜʹ͍Δͱਓू·Γͦ͏

    +ͷਓؾબख

    + +Ͱू٬ʹେ͖͕ࠩ͋͘ΔͷͰͷঢ֨߱֨Λܗʹ

    BXBZͰͷ ೥౓Ͱͷฏۉ؍٬਺ͷνʔϜຖࠩ෼

    ೥࣌఺ͰͷνʔϜਓؾͱελδΞϜͷվम ࠃཱͰΊͪΌࢼ߹͢Δͱ͔
    ΛΧόʔ

    IPNFͰͷ೥ͷ࠷େ؍٬਺
    w ࣗ෼ͷ+Ϧʔάʹର͢ΔυϝΠϯ஌ࣝΛϑϧ׆༻

    ଞͷڝٕͩͬͨΒࢥ͍ු͔͹ͳ͔͔ͬͨ΋
    ࡞੒ͨ͠ಛ௃ྔᶄ
    

    View Slide

21. ࠷ऴతͳ'FBUVSF*NQPSUBODF
    w ఆੑతʹ࡞ͬͨσʔλ͕Ϟσϧʹͦͦ͜͜Өڹ౓༩͑ͯΔ
    

    View Slide

22. ࠷ऴతͳ'FBUVSF*NQPSUBODF
    w ఆੑతʹ࡞ͬͨσʔλ͕Ϟσϧʹͦͦ͜͜Өڹ౓༩͑ͯΔ
    Α͘ຊͰݟΔ
    ઐ໳Ո υϝΠϯ
    ஌ࣝͷॏཁ͞Λମݧ
    

    View Slide

23. w ΧςΰϦΧϧσʔλʹؾܰʹϫϯϗοτΤϯίʔσΟϯά͕࢖͑ͳ͍

    νʔϜ΍ελδΞϜ౳ͷΧςΰϦΧϧͳσʔλΛϫϯϗοτΤϯίʔσΟϯάͯ͠ɺ

    ಛ௃ྔ௥Ճ͢Δͱଌఆ༻σʔλʹಉ͡σʔλαϯϓϧ͕ͳͯ͘ΤϥʔΛు͘ɻɻɻ

    ֶशσʔλͱଌఆ༻σʔλͷࠩ෼͕ͳ͍ͱࢥ͍͜ΜͰͨͷͰચྱΛ͏͚ͨ
    w ҙຯͷͳ͍εέʔϧม׵

    ࿈ଓ஋ͷಛ௃ྔΛ.JO.BY4DBMFS࢖ͬͯεέʔϧม׵ ͪΐ͏ͲֶΜͰͨ
    

    ˣ

    ޯ഑ϒʔεςΟϯάͰϞσϧ࡞੒ Θ͘Θ͘
    

    ˣ

    શ݁͘ՌมΘΒͳ͍ɻɻɻ ۤ࿑ͨ͠ͷʹɺɺޙʹ໦ܥͷΞϧΰϦζϜ͸εέʔϧม׵͕ҙຯͷͳ͍
    ͜ͱΛ஌Δɻɻ
    
    ಛ௃ྔ࡞੒Ͱۤ࿑ͨ͠ϙΠϯτ
    

    View Slide

24. w ֶश ݕূσʔλͷ෼ׂํ๏ΛTUBHF + +
    Ͱ૚Խநग़
    w ʙͰ৳ͼ೰ΜͰ͍ͨείΞ͕Ұؾʹۙลʹ৳ͼͨ
    είΞʹ࠷΋د༩ͨ͠ࡦ
    

    View Slide

25. w ϥϯμϜϑΥϨετޯ഑ϒʔεςΟϯά TDJLJUMFBSO
    

    ಛ௃ྔͷॏཁ౓͕஌Γ͔ͨͬͨͷͰܾఆ໦ܥΞϧΰϦζϜΛબ୒

    ಛ௃ྔબ୒ͷ౎౓ͦΕͧΕάϦουαʔνͯ͠ϞσϧΛ࡞੒

    ֶश ݕূσʔλʹର͢ΔείΞͱ34.&஋ΛࢀߟʹϞσϧͷ༏ྼΛखݩͰ൑அ

    ϕετείΞग़ͨ৔߹ͷΈ4*(/"5&ʹΞοϓϩʔυ
    ΞϧΰϦζϜબఆ
    

    View Slide

26. ॳίϯϖͷ݁Ռ͸
    

    View Slide

27. είΞ͸͔Βˢˢˢ
    

    View Slide

28. ਓதҐʹ
    

    View Slide

29. ਓதҐʹ
    ΊͪΌͪ͘Ό͏Ε͍͠
    

    View Slide

30. w ͸͡ΊͯࣗྗͰϞσϧΛ࡞੒ͯ͠Έͯಛ௃ྔબ୒ͷॏཁੑΛ
    ਎Λ΋ͬͯମݧͰ͖ͨ
    w +VQZUFS/PUFCPPL΁͸͜·ΊʹϝϞΛ࢒͢श׳͕େࣄͩͱ
    ࠶ೝࣝ

    ޙ͔Βݟฦ͢ͱ΍ͬͨ͜ͱͷ8IZͷ෦෼Λ͍ͩͿ๨ΕͯΔɻɻ
    w ίϯϖ͸ɺείΞͱ͍͏ܗͰ݁Ռ͕ग़ΔͷͰͦΕ͕Ϟνϕʔ
    γϣϯʹͳΔ͠εΩϧΞοϓ΋ग़དྷΔָ͍͠͠ʂʂ
    ·ͱΊ
    

    View Slide