データ分析コンテストの 勝者解答から学ぶ

ステアラボ人工知能シンポジウム 2018 講演資料
https://stair.connpass.com/event/76647/

Transcript

1. σʔλ෼ੳίϯςετͷ

   উऀղ౴͔ΒֶͿ
   ,PIFJ0[BLJ !TNMZ
   
   3FDSVJU5FDIOPMPHJFT
   "EWBODFE5FDIOPMPHZ-BC "5-
   
   εςΞϥϘਓ޻஌ೳγϯϙδ΢Ϝ!ઍ༿޻ۀେֶ
   

   View Slide

2. ࣗݾ঺հ
   ϦΫϧʔτςΫϊϩδʔζ"5-ͷ4S4PGUXBSF&OHJOFFSͰ͢ɽ
   ˝,BHHMFΦϑΟεͰͷू߹ࣸਅ αϯϑϥϯγεί
   
   ɾ,BHHMFSྺ೥ (SBOENBTUFS )JHIFTUSBOLUI
   

   ɾ,BHHMF 5PQpOJTIFTY 1SJ[FY
   

   ɾ5PQ$PEFS.BSBUIPO.BUDI 8*/4
   

   ɾ"$.,%% ,%%$VQTUQSJ[FXJOOFS
   ˝ϦΫϧʔτςΫϊϩδʔζ"5- ޿ඌ
   
   ˞લճͷߨԋ͔Β̏ݸ૿͑·ͨ͠
   

   View Slide

3. ࠓ೔ͷ࿩
   w ͜͜਺೥ͷ,BHHMFͱσʔλ෼ੳίϯςετ
   
   w ͲͷΑ͏ʹͯ͠σʔλ෼ੳίϯςετͰউ͔ͭ
   
   w ࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ
   
   ࠓճ͸Ұൠ࿦ΑΓ΍΍֤࿦ʹ౿ΈࠐΜͩ࿩Λͯ͠Έ·͢ɻ
   ⼀一般
   ⼀一般
   応⽤用
   ͕͜͜ຊ୊
   

   View Slide

4. ࠓ೔ͷ࿩
   w ͜͜਺೥ͷ,BHHMFͱσʔλ෼ੳίϯςετ
   
   w ͲͷΑ͏ʹͯ͠σʔλ෼ੳίϯςετͰউ͔ͭ
   
   w ࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ
   
   ࠓճ͸Ұൠ࿦ΑΓ΍΍֤࿦ʹ౿ΈࠐΜͩ࿩Λͯ͠Έ·͢ɻ
   

   View Slide

5. ৼΓฦΓɿ//๖ժɾπʔϧ։ൃՃ೤
   
   w ೥͝Ζ͸4UF⒎FO3FOEMFͷMJC'. 'BDUPSJ[BUJPO
   .BDIJOFT<>
   ΍3JF+PIOTPOͷ3(' 3FHVMBSJ[FE(SFFEZ
   'PSFTU<>
   ͳͲɺΞϧΰϦζϜͷ৽ن։ൃʹΑͬͯଞͷࠩΛ͚ͭ
   ͯউར͢Δ৔໘͕Կ౓͔͋ͬͨɻ
   NN 萌芽・

   ツール開発過熱
   2012-2014
   フランケンシュタイン

   アンサンブル
   2014-2016?
   NN 時代・

   ⼤大規模MMデータ
   2016-
   Kernel コンペ・

   強化学習？
   2017-
   w ػցֶश΍σʔλϚΠχϯάΛ׆༻͢Δਓ޻͕૿Ճɺ৽͍͠ಓ۩͕
   ࣍ʑʹੜ·Εͨɻ-BTBHOF DYYOFU LFSBT 9(#PPTUͳͲɻ։ൃ
   ऀຊਓ͕ίϯςετΛ௨ͯ͡ιϑτ΢ΣΞͷϕϯνϚʔΫΛߦͬͨ
   Γએ఻͢ΔͳͲ͍ͯͨ͠ɻ
   

   View Slide

6. ৼΓฦΓɿ//๖ժɾπʔϧ։ൃՃ೤
   
   w ೥ͷ*NBHF/FU *-473$
   ʹ͓͚ΔϒϨʔΫεϧʔ͸େ͖ͳি
   ܸͰ͸͕͋ͬͨɺ·ͩ(16Λѻ͏؀ڥΛ੔උͨ͠Γ$6%"Λ࢖ͬ
   ͨϓϩάϥϜΛ,BHHMFͰ࢖͏Ϣʔβʔ͸গ਺೿Ͱ͋ͬͨɻ
   w ೥ʹ͸+PC4BMBSZ1SFEJDUJPO$IBMMFOHFͰ)JOUPOͷݚڀࣨ
   ͷ0#͕εύʔεಛ௃ྔΛೖྗͱͨ͠.-1Λ࣮૷ͯ͠ଞΛѹ౗ɻ
   NN 萌芽・

   ツール開発過熱
   2012-2014
   フランケンシュタイン

   アンサンブル
   2014-2016?
   NN 時代・

   ⼤大規模MMデータ
   2016-
   Kernel コンペ・

   強化学習？
   2017-
   

   View Slide

7. ৼΓฦΓɿϑϥϯέϯγϡλΠϯ
   
   w େྔʹϞσϧΛ࡞ΓελοΩϯά͢Δͱ͍͏ख๏͕ྲྀߦΔɻ༩͑Β
   ΕͨࢦඪͰগ͠Ͱ΋্ճ͍ͬͯΕ͹উར͢Δͱ͍͏ίϯςετͷ࢓
   ૊Έ্ɺτοϓ૪͍͕ᷮࠩͰ͋Ε͹ϞσϧΛ૿΍͢͜ͱʹΠϯηϯ
   ςΟϒ͕ੜ·ΕΔɻ
   NN 萌芽・

   ツール開発過熱
   2012-2014
   フランケンシュタイン

   アンサンブル
   2014-2016?
   NN 時代・

   ⼤大規模MMデータ
   2016-
   Kernel コンペ・

   強化学習？
   2017-
   出典：http://blog.kaggle.com/2016/04/08/homesite-quote-conversion-winners-write-up-1st-place-kazanova-faron-clobber/
   w ϞσϧɺϞσϧͱΞϯα
   ϯϒϧʹ࢖͏Ϟσϧ਺ʹࡍݶ͕ͳ͘
   ͳΓɺGSBOLFOTUFJOFOTFNCMFͳͲ
   ͱᎏ᎐͞ΕΔ͜ͱ΋ɻ
   

   View Slide

8. ৼΓฦΓɿϑϥϯέϯγϡλΠϯ
   
   ҰԠϑΥϩʔ͢Δͱɺ,BHHMF͸ίϯςετೖ৆ऀʹιϦϡʔγϣϯ
   ಺Ͱͷ஌ݟΛυΩϡϝϯτͱͯ͠༻ҙͤ͞ΔʢͲͷΑ͏ͳಛ௃ྔΛ࢖
   ͍ɺؾ෇͖͕͔͋ͬͨͳͲʣɻ
   ΞϯαϯϒϧͰ͕ࠩͭ͘ίϯςετ͸ɺͦ΋ͦ΋λεΫઃܭ͕୯७͢
   ͗Δͱ͔ɺ޻෉ͷ༨஍͕ͳ͍ͱ͔ɺଞͱࠩΛ͚ͭΔ͜ͱ͕೉͍͠ɻί
   ϯςετʹ޲͍͍ͯͳ͍͜ͱ͕ࠜຊతͳ໰୊Ͱ͋Δͱࢥ͏ɻ
   NN 萌芽・

   ツール開発過熱
   2012-2014
   フランケンシュタイン

   アンサンブル
   2014-2016?
   NN 時代・

   ⼤大規模MMデータ
   2016-
   Kernel コンペ・

   強化学習？
   2017-
   

   View Slide

9. ৼΓฦΓɿ//࣌୅ɾେن໛σʔλ
   
   w (16͕ݚڀऀ΍։ൃऀͳͲʹ޿͘ීٴ͠ɺ%-ؔ࿈ͷݚڀ։ൃͱ
   ͦͷ੒Ռ෺ͷϦϦʔεαΠΫϧ͕ߴ଎ʹͳΓɺଟ͘ͷλεΫͰԠ༻
   ՄೳͰ͋Δͱೝࣝ͞ΕΔΑ͏ʹͳΔɻڝٕऀͷղ๏΋όϦΤʔγϣ
   ϯ͕๛͔ʹͳͬͨɻ
   w σʔληοτ΋େن໛ͳϚϧςΟϝσΟΞσʔλʢ৴߸ɺԻ੠ɺը
   ૾ɺಈըʣ͕૿͑ɺ5#ͷίϯςετσʔλΛμ΢ϯϩʔυ͢Δ
   ৔໘΋Ͱ͖ͨɻ
   NN 萌芽・

   ツール開発過熱
   2012-2014
   フランケンシュタイン

   アンサンブル
   2014-2016?
   NN 時代・

   ⼤大規模MMデータ
   2016-
   Kernel コンペ・

   強化学習？
   2017-
   

   View Slide

10. ৼΓฦΓɿ,FSOFMɾڧԽֶशίϯϖ
    
    w ܭࢉࢿݯͱਫ਼౓ͷτϨʔυΦϑ͕஫໨͞Ε͸͡ΊΔɻ5XP4JHNB
    .FSDBSJͳͲͷܭࢉࢿݯ΍࣮ߦ؀ڥʹ੍໿ΛՃ͑ͨίϯςετ͕ొ
    ৔ɻ΄͔5PQ$PEFS։࠵΋4QBDF/FU$IBMMFOHF΋ܭࢉࢿݯͷ੍
    ໿ΛՃ͍͑ͯΔ
    w ೥ʹ͸ڧԽֶशͳͲͷίϯςετ΋ϓϥϯʹ͋Δͱද໌͞Εɺ
    ϢχʔΫͳλεΫͷίϯςετ͕૿͍͑ͯ͘ͱࢥΘΕΔɻ
    ग़యɿz3FWJFXJOHBOE1SFWJFXJOHCMPHLBHHMFDPNSFWJFXJOHBOEQSFWJFXJOH
    NN 萌芽・

    ツール開発過熱
    2012-2014
    フランケンシュタイン

    アンサンブル
    2014-2016?
    NN 時代・

    ⼤大規模MMデータ
    2016-
    Kernel コンペ・

    強化学習？
    2017-
    

    View Slide

11. ݴ͍͔ͨͬͨ͜ͱΛ੔ཧ͢Δͱ
    w Ξϯαϯϒϧͷڝ͍߹͍͸ෆໟ͕ͩɺ໰୊ઃఆʹ΋ݪҼ͕͋Δɻ
    w //ͷݚڀ։ൃ͕׆ൃʹͳ͓͔ͬͨ͛Ͱղ๏΋όϦΤʔγϣϯ͕๛
    ෋ʹͳͬͨɻ
    w ܭࢉࢿݯͷ੍໿ΛೖΕͨΓɺڧԽֶशΛ୊ࡐʹ͢ΔͳͲมԽΛଓ͚
    ͍ͯΔɻ
    NN 萌芽・

    ツール開発過熱
    2012-2014
    フランケンシュタイン

    アンサンブル
    2014-2016?
    NN 時代・

    ⼤大規模MMデータ
    2016-
    Kernel コンペ・

    強化学習？
    2017-
    

    View Slide

12. ࠓ೔ͷ࿩
    w ͜͜਺೥ͷ,BHHMFͱσʔλ෼ੳίϯςετ
    
    w ͲͷΑ͏ʹͯ͠σʔλ෼ੳίϯςετͰউ͔ͭ
    
    w ࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ
    
    ࠓճ͸Ұൠ࿦ΑΓ΍΍֤࿦ʹ౿ΈࠐΜͩ࿩Λͯ͠Έ·͢ɻ
    

    View Slide

13. Ͳ͏΍ͬͨΒউͯΔͷ͔
    େࡶ೺ʹߟ͑Δͱࠓ΋ੲ΋ඞཁͳ͜ͱ͸มΘΒͳ͍ɻ
    ɹ&%" ୳ࡧతσʔλ෼ੳ
    
    ɹ7BMJEBUJPO ద੾ͳϞσϧධՁ
    
    ɹ4VSWFSZ ݚڀ੒Ռ΍աڈղ౴͔ΒֶͿ
    
    

    View Slide

14. ୳ࡧతσʔλ෼ੳ &%"
    
    ༷ʑͳ੾ΓޱͰσʔλΛݟͯɺՄࢹԽͯ͠ɺԾઆΛཱͯɺ໰୊ͷղ͖ํ
    Λߟ͑Δɻͱͯ΋ॏཁͳϑΣʔζɻ
    ظ଴͢Δ੒Ռɿ
    ɾυϝΠϯ஌ࣝ΍σʔλͷύλʔϯ͔ΒϞσϧɾղ๏Λઃܭ͢Δ
    ɾλεΫഎܠ͔ΒσʔλͷنଇੑΛਪଌͯ͠ಛ௃ྔΛ࡞ΔͳͲ
    集計（集約）と可視化を道具として、アイディアを産む
    

    View Slide

15. ूܭɾू໿ॲཧɺՄࢹԽʹΑΔσʔλཧղ
    w খن໛ͳߏ଄ԽσʔλͰ͋Ε͹&YDFMͷϐϘοτςʔϒϧ΋༗༻
    w ը૾σʔλͰ͋Ε͹ύλʔϯ͝ͱʹάϧʔϓԽͯ͠ฒ΂ͨΓɺ

    ༧ଌϞσϧͷϩε͕େ͖͍ࣄྫɾখ͍͞ࣄྫΛ၆ᛌͯ͠ΈΔ
    w ඞཁʹԠͯ͡ՄࢹԽπʔϧΛࣗ࡞͢Δ
    ग़యɿIUUQTXXXLBHHMFDPNDUJUBOJDEJTDVTTJPO
    

    View Slide

16. σʔλΛՄࢹԽ͢ΔɿԾઆݕূͱΞΠσΟΞ
    w ಓ۩ͱͯ͠ՄࢹԽΛ׆༻͢Δ
    w ՄࢹԽˠΞΠσΟΞʢ࣭໰ʹͭͳ͕ΔύλʔϯΛ୳͢ʣ
    w ΞΠσΟΞˠՄࢹԽʢԾઆݕূʣ
    ग़యɿIUUQTXXXDPVSTFSBPSHMFBSODPNQFUJUJWFEBUBTDJFODF
    

    View Slide

17. σʔλΛՄࢹԽ͢ΔɿΤϥʔ෼ੳ
    Ӵ੕ը૾ͷTFNBOUJDTFHNFOUBUJPOͰ༧ଌϚεΫͷΤϯίʔσΟϯά
    ʹόά͕͋Δ͜ͱʹؾͮ͘͜ͱ͕ग़དྷͨέʔεɻ
    σʔλग़యɿ%TUM4BUFMMJUF*NBHFSZ'FBUVSF%FUFDUJPOzIUUQTXXXLBHHMFDPNDETUMTBUFMMJUFJNBHFSZGFBUVSFEFUFDUJPO
    #FGPSF "GUFS
    େ͖ͳ-PTTʹͳΔ
    

    View Slide

18. ద੾ͳϞσϧධՁ 1VCMJD-#Λ࢖͏΂͖͔
    
    w σʔληοτͷ෼ׂ͝ͱʹద੾ͳ7BMJEBUJPOηοτΛ༻ҙ͢Δ
    w 1VCMJD-#͸ςετࣄྫ͕গͳ͍ͱ͖͸ಛʹؾΛ͚ͭΔ
    ,BHHMFͷϑϨʔϜϫʔΫʹ͓͚ΔաֶशΛߟ͑Δͱɺཧ࿦తʹ͸ʮ෼ׂ
    ͷׂ߹ʯͰ͸ͳ͘ʮςετࣄྫ਺ʯʹӨڹ͞ΕΔ໰୊Ͱ͋Δ͸ͣ SFG<>
    
    ग़యl5JQTBOEUSJDLTUPXJOLBHHMFEBUBTDJFODFDPNQFUJUJPOT
    lIUUQTXXXTMJEFTIBSFOFU%BSJVT#BSVBVTLBTUJQTBOEUSJDLTUPXJOLBHHMFEBUBTDJFODFDPNQFUJUJPOT
    
    

    View Slide

19. աֶशͷ௚ײతͳྫɿ#PPTUJOH"UUBDL
    ୯७Խͨ͠/ݸͷςετࣄྫͷೋ஋෼ྨ໰୊Λߟ͑Δɿ
    正解 予測 1 予測 2
    ࣍ϕΫτϧΛ౰ͯΔɽධՁࢦඪ͸Τϥʔ཰ͱ͢Δɽ
    y 2 {0, 1}N
    sH(yi)
    yi
    2 {0, 1}N
    ͋Δ༧ଌ ͷ1VCMJD-#είΞΛ ͱ͢Δɽ
    N
    1
    0
    0
    1
    0
    0
    0
    1
    y =
    1
    1
    1
    0
    0
    1
    1
    1
    y1 =
    1
    0
    1
    1
    1
    1
    0
    0
    y2 =
    Public LB

    Score 1
    Public LB

    Score 2
    sH(y1) = 0.75 sH(y2) = 0.25
    Public
    Private
    

    View Slide

20. #PPTUJOH"UUBDL<#MVN)BSEU`>
    Algorithm (Boosting Attack):
    正解
    1
    0
    0
    1
    0
    0
    0
    1
    y =
    0
    0
    1
    0
    0
    0
    0
    1
    1
    1
    1
    0
    1
    0
    1
    1
    0
    1
    0
    1
    0
    1
    0
    0
    1
    0
    0
    1
    0
    0
    0
    1
    1
    0
    0
    1
    0
    1
    1
    1
    0
    0
    0
    0
    1
    1
    1
    0
    ランダムに予測のベクトルを作成する
    Public
    Private
    1
    0
    1
    1
    1
    1
    0
    0
    1
    0
    0
    1
    0
    1
    1
    1
    0
    0
    0
    1
    0
    1
    1
    0
    0
    0
    1
    1
    0
    0
    1
    1
    0
    0
    1
    0
    0
    0
    1
    1
    1
    1
    0
    1
    0
    0
    0
    0
    ϥϯμϜͳ༧ଌ͔Β1VCMJD4DPSFͷྑ͍݁ՌΛબ୒͢Δ
    

    View Slide

21. #PPTUJOH"UUBDL<#MVN)BSEU`>
    正解
    1
    0
    0
    1
    0
    0
    0
    1
    y =
    1
    0
    1
    1
    1
    1
    0
    0
    1
    0
    0
    1
    0
    1
    1
    1
    0
    0
    0
    1
    0
    1
    1
    0
    1
    0
    0
    1
    0
    0
    0
    1
    1
    0
    0
    1
    0
    1
    1
    1
    1
    1
    0
    1
    0
    0
    0
    0
    㱺
    majority

    voting
    1
    0
    0
    1
    0
    1
    1
    1
    Public LB

    Score
    sH(ˆ
    y) = 0.0
    Algorithm (Boosting Attack):
    Public LB スコアの良いベクトル
    sH (yi) < 0.5 だけを選ぶ
    Public
    Private
    ϥϯμϜͳ༧ଌ͔Β1VCMJD4DPSFͷྑ͍݁ՌΛબ୒͢Δ
    

    View Slide

22. #PPTUJOH"UUBDL<#MVN)BSEU`>
    正解
    1
    0
    0
    1
    0
    0
    0
    1
    y =
    1
    0
    1
    1
    1
    1
    0
    0
    1
    0
    0
    1
    0
    1
    1
    1
    0
    0
    0
    1
    0
    1
    1
    0
    1
    0
    0
    1
    0
    0
    0
    1
    1
    0
    0
    1
    0
    1
    1
    1
    1
    1
    0
    1
    0
    0
    0
    0
    㱺
    majority

    voting
    1
    0
    0
    1
    0
    1
    1
    1
    Public LB

    Score
    sH(ˆ
    y) = 0.0
    Private LB
    Score が

    良くなる保証は

    何もない !!
    Algorithm (Boosting Attack):
    Public
    Private
    Public LB スコアの良いベクトル
    sH (yi) < 0.5 だけを選ぶ
    ϥϯμϜͳ༧ଌ͔Β1VCMJD4DPSFͷྑ͍݁ՌΛબ୒͢Δ
    

    View Slide

23. #PPTUJOH"UUBDL<#MVN)BSEU`>
    ࠷ऴతͳॱҐΛܾఆ͢Δ1SJWBUF-#είΞ͸վળ͠ͳ͍ɻςετࣄྫ਺͕ଟ͚
    Ε͹ɺ1VCMJDͷΤϥʔ཰ͷ෼ࢄ͸খ͘͞ͳΔͷͰဃ཭΋খ͘͞ͳΔɻ
    エラー率
    （低いほど良い）
    予測結果の提出回数
    最終順位の評価対象であるPrivate LB は改善しない
    テスト事例例数が少ない

    場合は特に注意する
    

    View Slide

24. αʔϕΠɿ෼໺ಠಛͷΞϓϩʔνΛֶͿ
    ˙੺֎෼ޫ๏ʹΑΔ౔৕ௐࠪͷ؍ଌσʔλʹର͢Δલॲཧྫ

    ʢ"GSJDB4PJM1SPQFSUZ1SFEJDUJPO$IBMMFOHFʣɿ
    
    4BWJU[LZ(PMBZpMUFS
    $POUJOVVN3FNPWBM
    %JTDSFUFXBWFMFU
    USBOTGPSNT
    'JSTU%FSJWBUJWFT
    6OTVQFSWJTFE'FBUVSF4FMFDUJPO
    -PH
    USBOTGPSNʜ
    ˙೴࣓ਤه࿥ͷલॲཧɾಛ௃ྔநग़ %FD.FH$IBMMFOHF
    ɿ
    PSEFS#VUUFSXPSUICBOEQBTTpMUFS 4QBUJBM'JMUFSJOH 3JFNBOOJBO.FBO
    5BOHFOU4QBDF.BQQJOHʜ
    IUUQTXXXLBHHMFDPNDBGTJTTPJMQSPQFSUJFTEJTDVTTJPO
    IUUQTHJUIVCDPNBMFYBOESFCBSBDIBOU%FD.FH

    IUUQTXFCBSDIJWFPSHXFCIUUQBMFYBOESFCBSBDIBOUPSHXQDPOUFOUVQMPBETEPDVNFOUBUJPOQEG
    

    View Slide

25. αʔϕΠɿਂ૚ֶशͷ࣮ફతͳݚڀ੒Ռ
    ࢖͑ͦ͏ͳ΋ͷ͸νΣοΫ͢Δɻ̍͜͜ʙ̎೥ͷ੒Ռ͕࢖ΘΕΔ͜ͱ΋
    ௝͘͠ͳ͍ɻຊεϥΠυͰ঺հ͢Δ্Ґղ๏͕ࢀߟʹͨ͠จݙͷྫɿ
    [Zhang+ ’17] "mixup: Beyond Empirical Risk Minimization", https://
    arxiv.org/abs/1710.09412
    [Miech+ '17] "Learnable pooling with Context Gating for video
    classification", https://arxiv.org/abs/1706.06905
    [Tian+ '16] "Detecting Text in Natural Image with Connectionist Text
    Proposal Network”, In Proc. of ECCV ‘16 https://arxiv.org/abs/1609.03605
    [Qi+ '17] "PointNet: Deep Learning on Point Sets for 3D Classification and
    Segmentation”, In Proc. of the CVPR ‘17 https://arxiv.org/abs/1612.00593
    [Ma+ '17] "Multi-View Deep Learning for Consistent Semantic Mapping with
    RGB-D Cameras”, In Proc. of the IROS ‘17 https://arxiv.org/abs/1703.08866
    

    View Slide

26. ࠓ೔ͷ࿩
    w ͜͜਺೥ͷ,BHHMFͱσʔλ෼ੳίϯςετ
    
    w ͲͷΑ͏ʹͯ͠σʔλ෼ੳίϯςετͰউ͔ͭ
    
    w ࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ
    
    ࠓճ͸Ұൠ࿦ΑΓ΍΍֤࿦ʹ౿ΈࠐΜͩ࿩Λͯ͠Έ·͢ɻ
    

    View Slide

27. ࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ
    ̎ͭͷίϯςετʹ͓͚Δղ๏Λ঺հ͢Δɻ
    ~ 2018/01/23
    ~ 2017/12/14
    

    View Slide

28. ࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ
    ̎ͭͷίϯςετʹ͓͚Δղ๏Λ঺հ͢Δɻ
    ~ 2017/12/14
    

    View Slide

29. γϣοϐϯάαΠτͷը૾͔ΒଟΫϥε෼ྨ
    λεΫɿෳ਺ͷը૾͕ఴ͑ΒΕͨ঎඼*%͝ͱʹଟΫϥε෼ྨ
    ධՁࢦඪɿ"DDVSBDZ
    ঎඼*%͝ͱʹ̍ʙ̐ຕͷෳ਺ը૾͕༩͑ΒΔɻ
    ͜ͷෳ਺ը૾͔ΒΫϥεʹ෼ྨ͢Δ
    ग़యɿIUUQTXXXDEJTDPVOUDPNFMFDUSPNFOBHFSQFUJUEFKFVOFSDBGFQIJMJQTTFOTFPPSJHJOBMIEBSHFOUGQIJIEIUNM
    

    View Slide

30. σʔληοτͷجຊ৘ใΛ͓͑͞Δ
    Ϋϥε਺͸Ϋϥεʢ֊૚ͷΧςΰϦ͕ఆٛ͞Ε͍ͯΔʣ
    ɾඇৗʹTLFXͳΫϥε෼෍Ͱ͋Δ
    ɾԾઆɿ঎඼*%͸ར༻Ͱ͖ͳ͍͔ʁ
    ɾԾઆɿ܇࿅ࣄྫͱςετࣄྫͰಉ͡ը૾͕ଘࡏ͠ͳ͍͔ʁ
    جຊํ਑ͱͯ͠$//ϞσϧΛը૾୯ҐͰೖྗֶͯ͠श͠ɺ
    ঎඼͝ͱʹ݁ՌΛฏۉͰू໿ͯ͠༧ଌ͢Δɻ
    ܇࿅ࣄྫ (# ঎඼ F
    
    ςετࣄྫ (# ঎඼ F
    
    

    View Slide

31. Ծઆɿ঎඼*%͸ར༻Ͱ͖ͳ͍͔ʁ
    ݁࿦ɿಛఆͷΫϥε͚ͩ঎඼*%ʹنଇੑ͕͋Δɻ
    ϥϕϧͷݱΕͳ͍঎඼*%஋ҬΛϒϥοΫϦετͱͯ͠ɺ

    ผͷϥϕϧΛ౴͑ΔώϡʔϦεςΟΫεΛ࢖͏ɻ
    ܇࿅ࣄྫશମͷ෼෍
    සग़൪ͷΫϥεͷ෼෍
    ঎඼*%ͷঢॱʢCJOOJOHQFSʣˠ
    සग़൪ͷΫϥεͷ෼෍
    සग़൪ͷΫϥεͷ෼෍
    

    View Slide

32. Ծઆɿ܇࿅ςετࣄྫͰಉ͡ը૾͕ଘࡏ
    .%Λ͢΂ͯͷը૾Ͱܭࢉͨ݁͠Ռɺ঎඼ʹରԠ͢Δ͢΂ͯͷը૾͕׬શʹҰ
    க͢Δ৔߹ͱɺҰ෦ͷը૾͚ͩ׬શʹҰக͢Δ৔߹͕͋Δɻ
    )BTIJOHʹΑΔྨࣅը૾΋ಉ༷ͷ݁Ռɻ
    類類似画像
    同⼀一画像
    

    View Slide

33. $//Ϟσϧ
    
    (16࢖༻཰Λҙࣝ͠ͳ͍ͱɺ͍ͭ·Ͱܦͬͯ΋܇࿅͕ऴΘΒͳ͍ɻ
    #40/ CJOBSZGPSNBU.POHP%#
    Ͱ֨ೲ͞Ε͍ͯΔσʔλΛޮ཰తʹ
    73".ʹઈ͑ؒͳ͘సૹͯ͠$6%"ʹܭࢉ͚ͤͭͮ͞Δඞཁ͕͋Δɻ
    $16ϘτϧωοΫ(16ຕ਺Λ૿΍͢ͱҰ౓ʹॲཧͰ͖Δࣄ
    ྫ਺͕૿͑Δɻ͢Δͱࠓ౓͸%BUBBVHNFOUBUJPOͳͲͷը૾
    ॲཧͷܭࢉίετ͕૿͑ΔɻϚϧνεϨουͰσʔλΛॲཧ͢
    ΔͳͲͷ޻෉͕ඞཁͱͳΔ
    *0ϘτϧωοΫେ༰ྔ44%Λߪೖ͢Δ͔ɺ3". UNQGT
    ʹ
    #40/ϑΝΠϧΛσϓϩΠ͢ΔͳͲͯ͠ղফ͢Δඞཁ͕͋Δ
    

    View Slide

34. watch -n5 nvidia-smi͢ΔͳͲͯ͠໨ࢹͰ֬ೝɻ
    ܭଌ΍֬ೝΛ͠ͳ͍ͱɺͳ͔ͳ͔ؾ͕ͭ͘͜ͱ͕ग़དྷͳ͍ɻ
    ϓϩάϥϜͰ*0 $16 (16ͦΕͧΕʹ͔͔࣮ͭߦ࣌ؒΛܭଌ͢Δͱߋʹྑ͍ɻ
    

    View Slide

35. $//Ϟσϧ
    
    ֶशʹ͍ͭͯɻը૾ຕ਺͕ඇৗʹଟ͍ͷͰɺҰճͷࢼߦʹҰिؒ଴ͨ͞ΕΔ͜
    ͱ΋͋Γɺඇৗʹ೉ّͨ͠ͱ͜Ζɻ
    ɾ܇࿅ࣄྫ͕*NBHF/FUΑΓଟ͍ͷͰɺQSFUSBJOFENPEFMͷֶशͨ͠ಛ௃
    ϚοϓΛյͭ͢΋ΓͰେ͖ͳMFBSOJOHSBUFF͔Β4(%Ͱֶश
    ɾे෼ʹWBMJEBUJPOTFUͰͷMPHMPTT͕ανͬͨͱ൑அͰ͖Δ·ͰMFBSOJOH
    SBUFΛԼ͛ͳ͍ɻMFBSOJOHSBUFΛ͙͢ʹԼ͛Δͱޙ൒ͷվળ͕খ͍͞
    ɾ࣮ݧ৚͕݅ಉ͡Ͱ͋Ε͹ɺ࣌ؒઅ໿ͷͨΊ FQPDIͰ࣮ݧΛଧͪ੾Δ
    

    View Slide

36. $//Ϟσϧ
    
    ˙νϟϯωϧ$//
    dຕͱը૾ͷຕ਺͕ݶΒΕ͍ͯͨͨΊɺDIBOOFMTͷ
    DIBOOFMTΛೖྗͱ͢Δ$//ϞσϧΛ࡞੒ͨ͠ɻ
    ݁Ռ͸͋·Γྑ͘ͳ͔͕ͬͨɺΞϯαϯϒϧͰͷEJWFSTJUZΛ্͛
    Δ͜ͱʹ͸੒ޭͯ͠είΞΛগ͚ͩ͠ԡ্͛ͨ͠ɻ
    ˙ઐ໳Ո$//
    Τϥʔ෼ੳͨ͠ͱ͜Ζɺ͍͔ͭ͘ͷେΧςΰϦͰਫ਼౓͕ѱ͍ͨΊɺ
    ͜ΕΒʹಛՁͨ͠Ϟσϧʢઐ໳ՈϞσϧʣΛ༻ҙɻҰ෦ͷ༧ଌ݁Ռ
    Λஔ͖׵͑ͨɻ
    

    View Slide

37. 4JOHMFNPEFMT
    #FTUTJOHMFNPEFM͸1VCMJD-#ͰҐ νʔϜத
    ɻ
    1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    ResNet101-12ch
    ResNet101
    Inception V3
    DPN-92
    InceptionRes V2 Expert
    

    View Slide

38. Ξϯαϯϒϧ ॏΈ෇͖ฏۉ
    
    ςετࣄྫ਺͕े෼ʹେ͖ͷͰɺ1VCMJD-#Λ֬ೝͭͭ͠ௐ੔ɻ
    
    
    
    
    
    Ξϯαϯϒϧ1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    1VCMJD-# Ґ૬౰
    
    ResNet101-12ch
    ResNet101
    Inception V3
    InceptionRes V2
    DPN-92
    Expert
    

    View Slide

39. UIϞσϧͷΞϯαϯϒϧЋ
    ಉҰ.%ͷ܇࿅ࣄྫΛ࢖͍ɺ$//ϞσϧͷTPGUNBYΛิਖ਼͢Δɿ
    

    View Slide

40. UIϞσϧͷΞϯαϯϒϧЋ
    (1) 訓練事例例の

    正例例の割合
    (2) Softmax
    (1), (2) の重み付き平均とみなす
    ಉҰ.%ͷ܇࿅ࣄྫΛ࢖͍ɺ$//ϞσϧͷTPGUNBYΛิਖ਼͢Δɿ
    

    View Slide

41. UIϞσϧͷΞϯαϯϒϧЋ
    Ґ૬౰
    ˠ Ґ૬౰
    
    ʴΫϥε෼෍͔Βܭࢉͨ͠ϒϥοΫϦετͷώϡʔϦεςΟΫεΛద༻
    (1) 訓練事例例の

    正例例の割合
    (2) Softmax
    (1), (2) の重み付き平均とみなす
    ಉҰ.%ͷ܇࿅ࣄྫΛ࢖͍ɺ$//ϞσϧͷTPGUNBYΛิਖ਼͢Δɿ
    

    View Slide

42. UIಛ௃நग़ͯ͠ू໿ˍߋʹֶश
    ϕʔεϞσϧͷCPUUMFOFDLCMPDLͷग़ྗΛ࢖ͬͯ঎඼୯Ґʹू໿ˍֶ
    शɻ0$3 &"45<>$3//<>
    ͯ͠ςΩετ৘ใΛநग़ɻ
    ͜ΕΒΛೖྗͱͯ͠.-1 3// /FU7MBE<>ͳͲͷτοϓϨϕϧϞ
    σϧΛֶशɻ࠷ޙʹϕʔεϞσϧͱτοϓϨϕϧϞσϧͰΞϯαϯϒϧɻ
    w ϕʔεϞσϧ͸*ODFQUJPO3FTOFUW 3FTOFU 4&*ODFQUJPO7 9DFQUJPO
    w ̐ຕͷը૾Λೖྗͯ͠ಘͨ#PUUMFOFDLGFBUVSFTΛ঎඼͝ͱʹάϧʔϓͯ͠

    τοϓϨϕϧϞσϧͷೖྗͱ͢Δ
    w /FU7MBEͷ1PPMJOHֶशͱ(BUJOH͸ɺաڈίϯϖl:PVUVCF.,BHHMF
    -BSHF4DBMF7JEFPVOEFSTUBEJOHDIBMMFOHFzͷղ๏Ͱ΋࢖ΘΕɺ-061&ͱ͠
    ͯπʔϧϘοΫε͕ެ։͞Ε͍ͯΔ
    ग़యɿIUUQTXXXLBHHMFDPNDDEJTDPVOUJNBHFDMBTTJpDBUJPODIBMMFOHFEJTDVTTJPO
    

    View Slide

43. UIೋ஋෼ྨ໰୊ʹม׵
    ͋Γ͑ͦ͏ͳ༧ଌΫϥεͷީิlQPTTJCMF@DMBTT@JEzͱ͍͏ಛ௃ྔΛ࡞Γɺ

    ଟΫϥε෼ྨ໰୊Λೋ஋෼ྨ໰୊ʹม׵ɻͦͯ͠9(#PPTUͳͲͰֶशɻ
    w.%ϨϕϧͰҰக͢Δը૾ͷ࠷සग़Ϋϥε*%Λ

    ΧςΰϦΧϧಛ௃ྔͱͨ͠
    w.%ϨϕϧͰҰக͢Δը૾ͷॏෳ਺Λྔతಛ௃ྔͱͨ͠
    ෳ਺ຕͷը૾Λ঎඼͝ͱʹ·ͱΊΔू໿ͷϋϯυϦϯάͱɺ
    .%ϨϕϧͷҰகͷ৘ใΛϞσϧʹ૊ΈࠐΜͰ͍Δɻ
    ग़యɿIUUQTXXXLBHHMFDPNDDEJTDPVOUJNBHFDMBTTJpDBUJPODIBMMFOHFEJTDVTTJPO
    

    View Slide

44. OE.-1aXHBUFETDBMJOH
    w CPUUMFOFDLCMPDLͷDPOWYY͔Βը૾෼YΛநग़
    w ֤TUSFBNT͔Βಛ௃ΛDPODBUͨ͠YΛೖྗͱͯ͠.-1Ͱֶश
    w .VMUJWJFXQPPMJOH<>ʹ͍͕ۙɺσʔλ͕େ͖͍ͷͰֶश͸TUBHFʹ෼ׂ
    qJQʹΑΔσʔλ֦ு͕͋ΔͷͰ

    4&3FT/F9U͸PVUQVUEJNY͕̎ͭͰYY
    ग़యIUUQTXXXLBHHMFDPNDDEJTDPVOUJNBHFDMBTTJpDBUJPODIBMMFOHFEJTDVTTJPO
    

    View Slide

45. OE.-1aXHBUFETDBMJOH
    w தؒ੒Ռ෺ɿը૾ຕ਺Yಛ௃਺Yɻ͜ΕʹHBUFETDBMJOH.-1ద༻
    w ը૾ʹ͖ͭͷEJN͔Β4&4DBMFNPEVMFͰը૾Λબ୒ͯ͠Ճࢉ͢Δ
    w ը૾ͷ͏ͪຕ͚͕ͩॏཁͱ͍͏ࣄྫ͕͋ΔͷͰ༗ޮͦ͏ SFG1PJOU/FU<>
    
    ग़యIUUQTXXXLBHHMFDPNDDEJTDPVOUJNBHFDMBTTJpDBUJPODIBMMFOHFEJTDVTTJPO
    EJN
    EJN
    EJN
    EJN
    EJN
    ঎඼ը૾
    Y
    
    4DBMJOH
    ը૾બ୒
    
    "%%
    } +
    ○
    *
    *
    *
    * .-1΁GPSXBSE
    

    View Slide

46. OE.-1aXHBUFETDBMJOH
    w தؒ੒Ռ෺ɿը૾ຕ਺Yಛ௃਺Yɻ͜ΕʹHBUFETDBMJOH.-1ద༻
    w ը૾ʹ͖ͭͷEJN͔Β4&4DBMFNPEVMFͰը૾Λબ୒ͯ͠Ճࢉ͢Δ
    w ը૾ͷ͏ͪຕ͚͕ͩॏཁͱ͍͏ࣄྫ͕͋ΔͷͰ༗ޮͦ͏ SFG1PJOU/FU<>
    
    ग़యIUUQTXXXLBHHMFDPNDDEJTDPVOUJNBHFDMBTTJpDBUJPODIBMMFOHFEJTDVTTJPO
    

    View Slide

47. OE.-1aXHBUFETDBMJOH
    w ΄͔ʹ΋ɺதؒ૚ͷDPODBU෦෼Ͱ.JYVQBVHNFOUBUJPO<>͢ΔϞσϧͳͲ
    w ͦΕͧΕඍົʹҟͳΔτοϓϨϕϧϞσϧܭ̐ݸΛΞϯαϯϒϧ
    ग़యIUUQTXXXLBHHMFDPNDDEJTDPVOUJNBHFDMBTTJpDBUJPODIBMMFOHFEJTDVTTJPO
    

    View Slide

48. TUදݱྗΛ্͛ΔͨΊʹBSDIมߋ
    ࠷ॳ͸খ͞ͳ3FT/FUͰ࣮ݧΛ͘Γฦͯ͠Ϟσϧͷݕূɻ
    ଟ͘ͷ*NBHF/FUQSFUSBJOFE͸Ϋϥεͷઃܭ͚ͩͲࠓճ͸Ϋϥε਺͸
    ΫϥεɻΞʔΩςΫνϟͷදݱྗʹݶք͕͋Γɺ͜ΕΛղফ͢ΔมߋΛ௥Ճɻ
    νϟϯωϧ਺Λ૿΍ͨ͢ΊʹYDPOWMBZFSΛ௥Ճͯ͠νϟϯωϧ਺Λ
    ͔Βʹ૿΍͢ɻ7((OFUʹश͍GDMBZFS΋௥Ճ͢Δɻ
    YDPOW
    GD
    GD
    #FGPSF "GUFS
    ௥Ճ ௥Ճ
    มߋ
    

    View Slide

49. TUෳ਺ը૾Λ࿈݁ͯ͠୯Ұը૾ʹ
    ෳ਺ը૾ͷऔΓѻ͍ɿ࿈݁ͯ͠Ұͭͷը૾ʹ͢Δ
    ঎඼ຕͷ෦෼ηοτ ঎඼ຕͷ෦෼ηοτ ঎඼ຕͷ෦෼ηοτ
    ঎඼͝ͱͷը૾ຕ਺ͰσʔληοτΛ෼ׂʢ̐௨Γʣɻը૾ຕ਺͝ͱͷ
    σʔληοτΛ࡞੒ͯ͠ɺ୯Ұը૾Ͱֶशͨ͠Ϟσϧ͔ΒpOFUVOJOH
    

    View Slide

50. TU0$3ͯ͠NVMUJJOQVU$//
    $51/<>ͰςΩετྖҬͷநग़ɺ$3//<>ͰςΩετͷநग़Λߦ͏ɻ.VMUJ
    JOQVU$//Ͱ$3//GFBUVSFTͱ3FT/FUͷ'$GFBUVSFTΛ࿈݁͢Δɻ
    

    தؒϑΝΠϧ͸VJOUʹྔࢠԽʢͯ͠DBTUʣͯ͠TQBSTFNBUSJYͱͯ͠

    อଘ͢Δɻ.#͕.#ҎԼʹͳΔɻ
    $51/ $3//
    ରԠ͢Δຕ਺ͷ

    ઐ༻3FT/FU .VMUJJOQVU
    $// ༧ଌ
    ೖྗը૾
    <>%FUFDUJOH5FYUJO/BUVSBM*NBHFXJUI$POOFDUJPOJTU5FYU1SPQPTBM/FUXPSL

    <>"O&OEUP&OE5SBJOBCMF/FVSBM/FUXPSLGPS*NBHFCBTFE4FRVFODF3FDPHOJUJPOBOE*UT"QQMJDBUJPOUP4DFOF5FYU3FDPHOJUJPO
    

    View Slide

51. ࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ
    ̎ͭͷίϯςετʹ͓͚Δղ๏Λ঺հ͢Δɻ
    ~ 2018/01/23
    

    View Slide

52. 4UBUPJM$$03&*DFCFSH
    λεΫɿ߹੒։ޱϨʔμʔ 4"3
    ͷ؍ଌσʔλ͔Βණࢁ͔ધഫ͔ೋ஋෼ྨ͢Δ
    ධՁࢦඪɿ-PHMPTT
    ภ޲೾ͷೖࣹ֯౓ʢྔతม਺ʣ
    ภ޲೾ͷ؍ଌ஋ ภ޲೾ͷ؍ଌ஋
    ණࢁ͔ધ͔ʢ໨ඪม਺ʣ
    

    View Slide

53. 氷⼭山
    船舶
    

    View Slide

54. ͲͪΒ͕ྲྀණʁ
    

    View Slide

55. 氷⼭山
    氷⼭山
    船舶
    ࠔ೉ͳࣄྫ͕͋Δɻ
    աֶशʹ஫ҙ͕ඞཁɻ
    

    View Slide

56. σʔλʹର͢ΔཧղΛਂΊΔ
    ߹੒։ޱϨʔμʔ͸ೖࣹ֯ʢ*ODJEFODFBOHMFʣΛௐ੔ͯ͠؍ଌ͢ΔͷͰɺ

    ΄΅ಉ஋ͷάϧʔϓ͕Ͱ͖Δͱߟ͑Δ͜ͱ͕ग़དྷΔɻ
    1
    2
    3
    4
    5
    6
    ic=44.1923
    ic=44.1925
    ic=44.1919
    ic=41.4321
    ic=41.4315
    ic=41.4317
    ग़యʢࠨʣɿIUUQXXXBTDDTBHDDBFOHTBUFMMJUFTSBEBSTBUDPNQPOFOUTBTQ

    ʢӈʣ*NBHFSZ˜*#$"0 -BOETBU$PQFSOJDVT .BQEBUB˜(PPHMF
    ʢ˞ૉਓʹΑΔߟ࡯ͳͷͰɺؒҧ͍͕͋Δ͔΋͠Ε·ͤΜʣ
    

    View Slide

57. σʔληοτը૾͸͋Β͔͡ΊDSPQͨ͠΋ͷ
    $SPQલͷΠϝʔδਤ
    ༩͑ΒΕͨը૾
    ic=44.1923
    ic=44.1925
    ic=44.1919
    ic=41.4321
    ic=41.4315
    ic=41.4317
    ߹੒։ޱϨʔμʔͷ؍ଌྖҬͷΠϝʔδਤ
    ೖࣹ֯
    ͜ͷྖҬ͸͢΂ͯ
    ೖࣹ֯
    Ծઆɿೖࣹ֯ͷগ਺දܻࣔ͢΂͕ͯ׬શҰக͢Δ৔߹ɺ
    ݩʑ͕ಉ͡؍ଌྖҬ˙͔Β੾ΓऔͬͨDSPQ͞Εͨը૾˙Ͱ༩͑ΒΕΔ
    ༩͑ΒΕͨ؍ଌσʔλ͸ɺધഫ͋Δ͍͸ණࢁ͕த৺Β͖͠΋ͷ͕
    ͍ࣸͬͯΔɻ͋Β͔͡ΊDSPQ͞Εͨը૾ɻ
    

    View Slide

58. Ծઆೖࣹ͕֯Ұக͢Δάϧʔϓ͸ಉ͡ϥϕϧ
    ೖࣹ͕֯׬શҰக͢Δࣄྫάϧʔϓ͸ɺ΄΅͓ͳ͡ϥϕϧʹͳΔɻ
    എܠΛߟ͑Δͱଥ౰ͳ݁Ռɻ
    ԫ৭ʹ͢΂ͯණࢁ ΦϨϯδʹ͢΂ͯધഫ ੺ʹණࢁͱધഫ͕͍ࠞͬͯ͟Δ
    

    View Slide

59. ώϡʔϦεςΟΫεͰ܇࿅ࣄྫΛ௥Ճ
    ʮֶशͨ͠$//Ϟσϧʯͷ"DDVSBDZΑΓ΋

    ʮ܇࿅ࣄྫʹ͋Δɺ׬શʹಉҰͷೖࣹ֯ͷ؍ଌࣄྫʯ

    Λ୳ͯ͠࠷සग़ϥϕϧΛ౴͑ͨ΄͏͕"DDVSBDZྑ͍
    ɻ
    ܇࿅ࣄྫ਺ɿˠ
    ςετࣄྫ਺ɿˠ
    ࣮ࡍʹ͸μϛʔը૾Ͱਫ૿͠͞Ε͍ͯΔͷͰධՁͷର৅ͱͳΔςετࣄྫ͸
    ͱͯ΋গͳ͍ɻςετࣄྫ΋গͳ͍ͷͰɺ1VCMJD-#Λࢀߟʹ͢Δͷ͸ةݥ
    ܇࿅ࣄྫ͕গͳ͍ͷͰɺ্ͷ࠷සग़ϥϕϧΛ͢΂ͯ܇࿅ࣄྫʹ௥Ճͨ͠ɻ
    

    View Slide

60. $//Ϟσϧͷ࡞੒
    w ը૾͚ͩΛ࢖ͬͨϞσϧΛ༻ҙ͢Δʢྔతม਺Λಉ࣌ʹֶश͠ͳ͍ʣ
    w ܇࿅ࣄྫ਺͕গͳ͍ͷͰGPME$7ͰϞσϧΛධՁˍνϡʔχϯά
    w Ϟσϧ͸૚$POWPMVUJPO-BZFS͚ͩͰे෼ͦ͏

    ʢม͑ͯ΋େࠩͳ͍ʣ
    w QSFUSBJOFENPEFMΛ࢖͏ͱٯʹѱ͘ͳΔ
    前処理理 CV Public LB
    4L CNN Scaling 0.2212
    4L CNN Raw 0.2191
    ResNet50 Scaling 0.2206
    VGG16 Scaling 0.2107 1VCMJD-#͸֬ೝ͍ͯ͠ͳ͍
    

    View Slide

61. ೖࣹ֯͝ͱʹਖ਼نԽ
    ೖࣹ֯͝ͱʹ܏޲͕ผΕ͍ͯΔɻ
    άϧʔϓԽͯ͠౷ܭྔΛܭࢉͯ͠ɺ

    άϧʔϓ͝ͱʹਖ਼نԽ͢Δɻ
    ੜσʔλ
    աڈίϯϖͷ༏উऀ͕ໄͷ͋Δը૾Λ
    ໄআڈ<>ʹΑΓਖ਼نԽͨ͠ղ๏͔Β

    ண૝Λಘͨɻਖ਼نԽ͸ॏཁɻ
    ग़యɿIUUQCMPHLBHHMFDPNQMBOFUVOEFSTUBOEJOHUIFBNB[POGSPNTQBDFTUQMBDFXJOOFSTJOUFSWJFX
    

    View Slide

62. ੜσʔλ ਖ਼نԽޙ
    

    View Slide

63. ೖࣹ֯͝ͱͷσʔλਖ਼نԽͰվળ
    ೖࣹ֯Λ࢖ͬͨσʔλਖ਼نԽΛߦͱ$7վળ
    %BUB"VHNFOUBUJPO SPU qJQ [PPN
    ΋վળʹ༗ޮͰ͋ͬͨ
    前処理理 CV Public LB
    4L CNN Scaling 0.2212
    4L CNN Norm+ Scaling 0.1824
    4L CNN +DA Norm + Scaling 0.1615 1VCMJD-#͸֬ೝ͍ͯ͠ͳ͍
    

    View Slide

64. UIೖࣹ֯ͷ৘ใΛϞσϧʹ૊ΈࠐΉ
    ྔతม਺ ೖࣹ֯
    ͷ৘ใΛϞσϧʹ૊ΈࠐΉͨΊʹɺ$//Ϟσ
    ϧͷ༧ଌ݁Ռͱྔతม਺ΛTUBDLJOHͨ͠ɻ
    ݸͷ$//Ϟσϧྔతม਺YͰ-JHIU(#.ͱEFFQCJU
    (#%5
    Ͱֶशɻ࠷ޙʹॏΈ෇͖ฏۉɻ
    前処理理 CV Public LB
    4L CNN Scaling 0.2212
    4L CNN Norm+Scaling 0.1824
    4L CNN +DA Norm+Scaling 0.1615
    stage2 (LGBM) NA 0.0895 0.0873
    stage3 (Average) NA 0.0852
    1VCMJD-#OE1SJWBUF-#UI
    

    View Slide

65. ݸͷ//ϞσϧΛ࡞੒ɻGPME$7Ͱνϡʔχϯάɻ
    $7Ͱֶशͨ͠ϞσϧͷNFBOQSFEJDUJPOΛಛ௃ྔͱ͢Δ ྔతม਺
    
    ೖࣹ֯ͰάϧʔϓԽͯ͠ूܭ NFBO NFEJBO DPVOU
    ͯ͠ಛ௃ྔ࡞੒
    ೖࣹ֯ͱ
    ͷNFBOQSFEJDUJPOͰ,//SFHSFTTPSʢྔతม਺ʣ
    -(#.Λ
    ͷಛ௃ྔͰֶशɻ߹ܭͰͭͷಛ௃ྔɻ
    4. KNNreg
    5. LGBM
    1. CNNs
    2. Mean
    prediction
    3. Agg.

    features
    ೖࣹ֯
    ೖྗը૾
    
    UIΑΓগͳ͍Ϟσϧ਺ೖࣹ֯Lۙ๣
    ग़యɿIUUQTXXXLBHHMFDPNDTUBUPJMJDFCFSHDMBTTJpFSDIBMMFOHFEJTDVTTJPOɻগ͠؆ུԽͯ͠঺հ
    

    View Slide

66. ݸͷ//ϞσϧΛ࡞੒ɻGPME$7Ͱνϡʔχϯάɻ
    $7Ͱֶशͨ͠ϞσϧͷNFBOQSFEJDUJPOΛಛ௃ྔͱ͢Δ ྔతม਺
    
    ೖࣹ֯ͰάϧʔϓԽͯ͠ूܭ NFBO NFEJBO DPVOU
    ͯ͠ಛ௃ྔ࡞੒
    ೖࣹ֯ͱ
    ͷNFBOQSFEJDUJPOͰ,//SFHSFTTPSʢྔతม਺ʣ
    -(#.Λ
    ͷಛ௃ྔͰֶशɻ߹ܭͰͭͷಛ௃ྔɻ
    4. KNNreg
    5. LGBM
    1. CNNs
    2. Mean
    prediction
    3. Agg.

    features
    ೖࣹ֯
    ೖྗը૾
    
    UIΑΓগͳ͍Ϟσϧ਺ೖࣹ֯Lۙ๣
    ग़యɿIUUQTXXXLBHHMFDPNDTUBUPJMJDFCFSHDMBTTJpFSDIBMMFOHFEJTDVTTJPOɻগ͠؆ུԽͯ͠঺հ
    ˞֤ϝλಛ௃ྔ͸

    $7Ͱ෼ׂͯ͠ܭࢉ
    

    View Slide

67. TUೖࣹ֯ͷద੾ͳϞσϦϯά
    ೖࣹ֯ͷՄࢹԽ͕伴ɻl7JTVBMJ[JOHJOD@BOHMFXBTUIFLFZpOEJOHUIBU
    MFEVTEPXOPVSTPMVUJPOQBUIz
    ˠೖࣹ֯ʹΑͬͯ6OTVQFSWJTFEʹάϧʔϓԽͯ͠ϞσϧΛ࡞Δ
    ग़యɿIUUQTXXXLBHHMFDPNDTUBUPJMJDFCFSHDMBTTJpFSDIBMMFOHFEJTDVTTJPO
    άϧʔϓ̍
    άϧʔϓ̎
    

    View Slide

68. ࠶ܝɿͲ͏΍ͬͨΒউͯΔͷ͔
    େࡶ೺ʹߟ͑Δͱࠓ΋ੲ΋ඞཁͳ͜ͱ͸มΘΒͳ͍ɻ
    ɹ&%" ୳ࡧతσʔλ෼ੳ
    
    ɹ7BMJEBUJPO ద੾ͳϞσϧධՁ
    
    ɹ4VSWFSZ ݚڀ੒Ռ΍աڈղ౴͔ΒֶͿ
    
    

    View Slide

69. ͍͞͝ʹ
    w ,BHHMFͰ͸ΞϯαϯϒϧҎ֎͕伴ͱͳΔ͜ͱ͕͋Δɻσʔλ͔Βͷ
    ؾ෇͖ɾ//ͷσβΠϯͳͲɻ//ͷൃల΍ଟ༷ͳσʔλͷ͓͔͛ɻ
    w ֶशɾٞ࿦ɾήʔϜͱͯ͠ͳͲ༷ʑͳ໨తҙࣝͷࢀՃऀ͕ڞଘ͍ͯ͠
    ΔɻڵຯΛ͍͚࣋ͬͯͨͩΔͱ,BHHMFѪ޷ऀͱͯ͠خ͍͠ɻ
    

    View Slide

70. ෇࿥ɿࢀߟจݙ
    
    1. [Blum & Hardt '15] "The Ladder: A Reliable Leaderboard for Machine
    Learning Competitions", In Proc. of the ICML '15. https://arxiv.org/abs/
    1502.04585
    2. [Hardt '17] "Climbing a shaky ladder: Better adaptive risk estimation",
    https://arxiv.org/abs/1706.02733
    3. [Rendle '10] "Factorization machines", In Proc. of the ICDM ’10.
    4. [Johnson & Zhang '11] "Learning Nonlinear Functions Using Regularized
    Greedy Forest", https://arxiv.org/abs/1109.0887
    5. [Hu+ ’17] “Squeeze-and-Excitation Networks”, In Proc. of the CVPR ’17.
    https://arxiv.org/abs/1709.01507
    6. [He+ ’09] “Single Image Haze Removal”, In Proc. of the CVPR ’09.
    http://kaiminghe.com/cvpr09/
    

    View Slide

71. ෇࿥ɿࢀߟจݙ
    
    7. [Zhang+ ’17] "mixup: Beyond Empirical Risk Minimization", https://
    arxiv.org/abs/1710.09412
    8. [Miech+ '17] "Learnable pooling with Context Gating for video
    classification", https://arxiv.org/abs/1706.06905
    9. [Tian+ '16] "Detecting Text in Natural Image with Connectionist Text
    Proposal Network”, In Proc. of ECCV ‘16 https://arxiv.org/abs/1609.03605
    10. [Qi+ '17] "PointNet: Deep Learning on Point Sets for 3D Classification
    and Segmentation”, In Proc. of the CVPR ‘17 https://arxiv.org/abs/
    1612.00593
    11. [Ma+ '17] "Multi-View Deep Learning for Consistent Semantic Mapping
    with RGB-D Cameras”, In Proc. of the IROS ‘17 https://arxiv.org/abs/
    1703.08866
    12. [Shi+ '15] "An End-to-End Trainable Neural Network for Image-based
    Sequence Recognition and Its Application to Scene Text Recognition”,
    https://arxiv.org/abs/1507.05717
    

    View Slide

72. ෇࿥ɿࢀߟจݙ
    
    13. [Arandjelović+ ’16] "NetVLAD: CNN architecture for weakly supervised
    place recognition”, In Proc. of the CVPR ’16 https://arxiv.org/abs/
    1511.07247
    14. [Zhou+ '17] "EAST: An Efficient and Accurate Scene Text Detector", In
    Proc. of the CVPR’17 https://arxiv.org/abs/1704.03155v2
    

    View Slide