Share
Embed
データ分析コンテストの 勝者解答から学ぶ
ステアラボ人工知能シンポジウム 2018 講演資料
https://stair.connpass.com/event/76647/
@smly
March 03, 2018
Transcript
72 slides
-
ࣗݾհ ϦΫϧʔτςΫϊϩδʔζ"5-ͷ4S4PGUXBSF&OHJOFFSͰ͢ɽ ˝,BHHMFΦϑΟεͰͷू߹ࣸਅ αϯϑϥϯγεί ɾ,BHHMFSྺ (SBOENBTUFS )JHIFTUSBOLUI ɾ,BHHMF 5PQpOJTIFTY
1SJ[FY ɾ5PQ$PEFS.BSBUIPO.BUDI 8*/4 ɾ"$.,%% ,%%$VQTUQSJ[FXJOOFS ˝ϦΫϧʔτςΫϊϩδʔζ"5- ඌ ˞લճͷߨԋ͔Β̏ݸ૿͑·ͨ͠ -
ࠓͷ w ͜͜ͷ,BHHMFͱσʔλੳίϯςετ w ͲͷΑ͏ʹͯ͠σʔλੳίϯςετͰউ͔ͭ w
࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ ࠓճҰൠΑΓ֤ʹ౿ΈࠐΜͩΛͯ͠Έ·͢ɻ ⼀一般 ⼀一般 応⽤用 ͕͜͜ຊ -
ࠓͷ w ͜͜ͷ,BHHMFͱσʔλੳίϯςετ w ͲͷΑ͏ʹͯ͠σʔλੳίϯςετͰউ͔ͭ w
࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ ࠓճҰൠΑΓ֤ʹ౿ΈࠐΜͩΛͯ͠Έ·͢ɻ -
ৼΓฦΓɿ//๖ժɾπʔϧ։ൃՃ w ͝Ζ4UF⒎FO3FOEMFͷMJC'. 'BDUPSJ[BUJPO .BDIJOFT<> 3JF+PIOTPOͷ3(' 3FHVMBSJ[FE(SFFEZ 'PSFTU<> ͳͲɺΞϧΰϦζϜͷ৽ن։ൃʹΑͬͯଞͷࠩΛ͚ͭ
ͯউར͢Δ໘͕Կ͔͋ͬͨɻ NN 萌芽・ ツール開発過熱 2012-2014 フランケンシュタイン アンサンブル 2014-2016? NN 時代・ ⼤大規模MMデータ 2016- Kernel コンペ・ 強化学習? 2017- w ػցֶशσʔλϚΠχϯάΛ׆༻͢Δਓ͕૿Ճɺ৽͍͠ಓ۩͕ ࣍ʑʹੜ·Εͨɻ-BTBHOF DYYOFU LFSBT 9(#PPTUͳͲɻ։ൃ ऀຊਓ͕ίϯςετΛ௨ͯ͡ιϑτΣΞͷϕϯνϚʔΫΛߦͬͨ Γએ͢ΔͳͲ͍ͯͨ͠ɻ -
ৼΓฦΓɿ//๖ժɾπʔϧ։ൃՃ w ͷ*NBHF/FU *-473$ ʹ͓͚ΔϒϨʔΫεϧʔେ͖ͳি ܸͰ͕͋ͬͨɺ·ͩ(16Λѻ͏ڥΛඋͨ͠Γ$6%"Λͬ ͨϓϩάϥϜΛ,BHHMFͰ͏ϢʔβʔগͰ͋ͬͨɻ w ʹ+PC4BMBSZ1SFEJDUJPO$IBMMFOHFͰ)JOUPOͷݚڀࣨ
ͷ0#͕εύʔεಛྔΛೖྗͱͨ͠.-1Λ࣮ͯ͠ଞΛѹɻ NN 萌芽・ ツール開発過熱 2012-2014 フランケンシュタイン アンサンブル 2014-2016? NN 時代・ ⼤大規模MMデータ 2016- Kernel コンペ・ 強化学習? 2017- -
ৼΓฦΓɿϑϥϯέϯγϡλΠϯ w େྔʹϞσϧΛ࡞ΓελοΩϯά͢Δͱ͍͏ख๏͕ྲྀߦΔɻ༩͑Β ΕͨࢦඪͰগ͠Ͱ্ճ͍ͬͯΕউར͢Δͱ͍͏ίϯςετͷ Έ্ɺτοϓ૪͍͕ᷮࠩͰ͋ΕϞσϧΛ૿͢͜ͱʹΠϯηϯ ςΟϒ͕ੜ·ΕΔɻ NN 萌芽・ ツール開発過熱
2012-2014 フランケンシュタイン アンサンブル 2014-2016? NN 時代・ ⼤大規模MMデータ 2016- Kernel コンペ・ 強化学習? 2017- 出典:http://blog.kaggle.com/2016/04/08/homesite-quote-conversion-winners-write-up-1st-place-kazanova-faron-clobber/ w ϞσϧɺϞσϧͱΞϯα ϯϒϧʹ͏Ϟσϧʹࡍݶ͕ͳ͘ ͳΓɺGSBOLFOTUFJOFOTFNCMFͳͲ ͱᎏ᎐͞ΕΔ͜ͱɻ -
ৼΓฦΓɿϑϥϯέϯγϡλΠϯ ҰԠϑΥϩʔ͢Δͱɺ,BHHMFίϯςετೖऀʹιϦϡʔγϣϯ ͰͷݟΛυΩϡϝϯτͱͯ͠༻ҙͤ͞ΔʢͲͷΑ͏ͳಛྔΛ ͍ɺؾ͖͕͔͋ͬͨͳͲʣɻ ΞϯαϯϒϧͰ͕ࠩͭ͘ίϯςετɺͦͦλεΫઃܭ͕୯७͢ ͗Δͱ͔ɺͷ༨͕ͳ͍ͱ͔ɺଞͱࠩΛ͚ͭΔ͜ͱ͕͍͠ɻί ϯςετʹ͍͍ͯͳ͍͜ͱ͕ࠜຊతͳͰ͋Δͱࢥ͏ɻ NN 萌芽・
ツール開発過熱 2012-2014 フランケンシュタイン アンサンブル 2014-2016? NN 時代・ ⼤大規模MMデータ 2016- Kernel コンペ・ 強化学習? 2017- -
ৼΓฦΓɿ//࣌ɾେنσʔλ w (16͕ݚڀऀ։ൃऀͳͲʹ͘ීٴ͠ɺ%-ؔ࿈ͷݚڀ։ൃͱ ͦͷՌͷϦϦʔεαΠΫϧ͕ߴʹͳΓɺଟ͘ͷλεΫͰԠ༻ ՄೳͰ͋Δͱೝࣝ͞ΕΔΑ͏ʹͳΔɻڝٕऀͷղ๏όϦΤʔγϣ ϯ͕๛͔ʹͳͬͨɻ w σʔληοτେنͳϚϧςΟϝσΟΞσʔλʢ৴߸ɺԻɺը ૾ɺಈըʣ͕૿͑ɺ5#ͷίϯςετσʔλΛμϯϩʔυ͢Δ
໘Ͱ͖ͨɻ NN 萌芽・ ツール開発過熱 2012-2014 フランケンシュタイン アンサンブル 2014-2016? NN 時代・ ⼤大規模MMデータ 2016- Kernel コンペ・ 強化学習? 2017- -
ৼΓฦΓɿ,FSOFMɾڧԽֶशίϯϖ w ܭࢉࢿݯͱਫ਼ͷτϨʔυΦϑ͕͞Ε͡ΊΔɻ5XP4JHNB .FSDBSJͳͲͷܭࢉࢿݯ࣮ߦڥʹ੍ΛՃ͑ͨίϯςετ͕ొ ɻ΄͔5PQ$PEFS։࠵4QBDF/FU$IBMMFOHFܭࢉࢿݯͷ੍ ΛՃ͍͑ͯΔ w ʹڧԽֶशͳͲͷίϯςετϓϥϯʹ͋Δͱද໌͞Εɺ
ϢχʔΫͳλεΫͷίϯςετ͕૿͍͑ͯ͘ ͱࢥΘΕΔɻ ग़యɿz3FWJFXJOHBOE1SFWJFXJOHCMPHLBHHMFDPNSFWJFXJOHBOEQSFWJFXJOH NN 萌芽・ ツール開発過熱 2012-2014 フランケンシュタイン アンサンブル 2014-2016? NN 時代・ ⼤大規模MMデータ 2016- Kernel コンペ・ 強化学習? 2017- -
ݴ͍͔ͨͬͨ͜ͱΛཧ͢Δͱ w Ξϯαϯϒϧͷڝ͍߹͍ෆໟ͕ͩɺઃఆʹݪҼ͕͋Δɻ w //ͷݚڀ։ൃ͕׆ൃʹͳ͓͔ͬͨ͛Ͱղ๏όϦΤʔγϣϯ͕๛ ʹͳͬͨɻ w ܭࢉࢿݯͷ੍ΛೖΕͨΓɺڧԽֶशΛࡐʹ͢ΔͳͲมԽΛଓ͚ ͍ͯΔɻ NN
萌芽・ ツール開発過熱 2012-2014 フランケンシュタイン アンサンブル 2014-2016? NN 時代・ ⼤大規模MMデータ 2016- Kernel コンペ・ 強化学習? 2017- -
ࠓͷ w ͜͜ͷ,BHHMFͱσʔλੳίϯςετ w ͲͷΑ͏ʹͯ͠σʔλੳίϯςετͰউ͔ͭ w
࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ ࠓճҰൠΑΓ֤ʹ౿ΈࠐΜͩΛͯ͠Έ·͢ɻ -
దͳϞσϧධՁ 1VCMJD-#Λ͏͖͔ w σʔληοτͷׂ͝ͱʹదͳ7BMJEBUJPOηοτΛ༻ҙ͢Δ w 1VCMJD-#ςετࣄྫ͕গͳ͍ͱ͖ಛʹؾΛ͚ͭΔ ,BHHMFͷϑϨʔϜϫʔΫʹ͓͚ΔաֶशΛߟ͑Δͱɺཧతʹʮׂ ͷׂ߹ʯͰͳ͘ʮςετࣄྫʯʹӨڹ͞ΕΔͰ͋Δͣ SFG<> ग़యl5JQTBOEUSJDLTUPXJOLBHHMFEBUBTDJFODFDPNQFUJUJPOT
lIUUQTXXXTMJEFTIBSFOFU%BSJVT#BSVBVTLBTUJQTBOEUSJDLTUPXJOLBHHMFEBUBTDJFODFDPNQFUJUJPOT -
աֶशͷײతͳྫɿ#PPTUJOH"UUBDL ୯७Խͨ͠/ݸͷςετࣄྫͷೋྨΛߟ͑Δɿ 正解 予測 1 予測 2 ࣍ϕΫτϧΛͯΔɽධՁࢦඪΤϥʔͱ͢Δɽ y 2
{0, 1}N sH(yi) yi 2 {0, 1}N ͋Δ༧ଌ ͷ1VCMJD-#είΞΛ ͱ͢Δɽ N 1 0 0 1 0 0 0 1 y = 1 1 1 0 0 1 1 1 y1 = 1 0 1 1 1 1 0 0 y2 = Public LB Score 1 Public LB Score 2 sH(y1) = 0.75 sH(y2) = 0.25 Public Private -
#PPTUJOH"UUBDL<#MVN)BSEU`> Algorithm (Boosting Attack): 正解 1 0 0 1 0
0 0 1 y = 0 0 1 0 0 0 0 1 1 1 1 0 1 0 1 1 0 1 0 1 0 1 0 0 1 0 0 1 0 0 0 1 1 0 0 1 0 1 1 1 0 0 0 0 1 1 1 0 ランダムに予測のベクトルを作成する Public Private 1 0 1 1 1 1 0 0 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 0 0 0 1 1 0 0 1 1 0 0 1 0 0 0 1 1 1 1 0 1 0 0 0 0 ϥϯμϜͳ༧ଌ͔Β1VCMJD4DPSFͷྑ͍݁ՌΛબ͢Δ -
#PPTUJOH"UUBDL<#MVN)BSEU`> 正解 1 0 0 1 0 0 0 1
y = 1 0 1 1 1 1 0 0 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 0 1 0 0 1 0 0 0 1 1 0 0 1 0 1 1 1 1 1 0 1 0 0 0 0 㱺 majority voting 1 0 0 1 0 1 1 1 Public LB Score sH(ˆ y) = 0.0 Algorithm (Boosting Attack): Public LB スコアの良いベクトル sH (yi) < 0.5 だけを選ぶ Public Private ϥϯμϜͳ༧ଌ͔Β1VCMJD4DPSFͷྑ͍݁ՌΛબ͢Δ -
#PPTUJOH"UUBDL<#MVN)BSEU`> 正解 1 0 0 1 0 0 0 1
y = 1 0 1 1 1 1 0 0 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 0 1 0 0 1 0 0 0 1 1 0 0 1 0 1 1 1 1 1 0 1 0 0 0 0 㱺 majority voting 1 0 0 1 0 1 1 1 Public LB Score sH(ˆ y) = 0.0 Private LB Score が 良くなる保証は 何もない !! Algorithm (Boosting Attack): Public Private Public LB スコアの良いベクトル sH (yi) < 0.5 だけを選ぶ ϥϯμϜͳ༧ଌ͔Β1VCMJD4DPSFͷྑ͍݁ՌΛબ͢Δ -
αʔϕΠɿಠಛͷΞϓϩʔνΛֶͿ ˙֎ޫ๏ʹΑΔௐࠪͷ؍ଌσʔλʹର͢Δલॲཧྫ ʢ"GSJDB4PJM1SPQFSUZ1SFEJDUJPO$IBMMFOHFʣɿ 4BWJU[LZ(PMBZpMUFS $POUJOVVN3FNPWBM %JTDSFUFXBWFMFU USBOTGPSNT
'JSTU%FSJWBUJWFT 6OTVQFSWJTFE'FBUVSF4FMFDUJPO -PH USBOTGPSNʜ ˙࣓ਤهͷલॲཧɾಛྔநग़ %FD.FH$IBMMFOHF ɿ PSEFS#VUUFSXPSUICBOEQBTTpMUFS 4QBUJBM'JMUFSJOH 3JFNBOOJBO.FBO 5BOHFOU4QBDF.BQQJOHʜ IUUQTXXXLBHHMFDPNDBGTJTTPJMQSPQFSUJFTEJTDVTTJPO IUUQTHJUIVCDPNBMFYBOESFCBSBDIBOU%FD.FH IUUQTXFCBSDIJWFPSHXFCIUUQBMFYBOESFCBSBDIBOUPSHXQDPOUFOUVQMPBETEPDVNFOUBUJPOQEG -
αʔϕΠɿਂֶशͷ࣮ફతͳݚڀՌ ͑ͦ͏ͳͷνΣοΫ͢Δɻ̍͜͜ʙ̎ͷՌ͕ΘΕΔ͜ͱ ͘͠ͳ͍ɻຊεϥΠυͰհ͢Δ্Ґղ๏͕ࢀߟʹͨ͠จݙͷྫɿ [Zhang+ ’17] "mixup: Beyond Empirical Risk Minimization",
https:// arxiv.org/abs/1710.09412 [Miech+ '17] "Learnable pooling with Context Gating for video classification", https://arxiv.org/abs/1706.06905 [Tian+ '16] "Detecting Text in Natural Image with Connectionist Text Proposal Network”, In Proc. of ECCV ‘16 https://arxiv.org/abs/1609.03605 [Qi+ '17] "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation”, In Proc. of the CVPR ‘17 https://arxiv.org/abs/1612.00593 [Ma+ '17] "Multi-View Deep Learning for Consistent Semantic Mapping with RGB-D Cameras”, In Proc. of the IROS ‘17 https://arxiv.org/abs/1703.08866 -
ࠓͷ w ͜͜ͷ,BHHMFͱσʔλੳίϯςετ w ͲͷΑ͏ʹͯ͠σʔλੳίϯςετͰউ͔ͭ w
࠷ۙͷίϯςετʹ͓͚Δղ๏ͷղઆ ࠓճҰൠΑΓ֤ʹ౿ΈࠐΜͩΛͯ͠Έ·͢ɻ -
$//Ϟσϧ (16༻Λҙࣝ͠ͳ͍ͱɺ͍ͭ·Ͱܦͬͯ܇࿅͕ऴΘΒͳ͍ɻ #40/ CJOBSZGPSNBU.POHP%# Ͱ֨ೲ͞Ε͍ͯΔσʔλΛޮతʹ 73".ʹઈ͑ؒͳ͘సૹͯ͠$6%"ʹܭࢉ͚ͤͭͮ͞Δඞཁ͕͋Δɻ $16ϘτϧωοΫ(16ຕΛ૿͢ͱҰʹॲཧͰ͖Δࣄ ྫ͕૿͑Δɻ͢Δͱࠓ%BUBBVHNFOUBUJPOͳͲͷը૾ ॲཧͷܭࢉίετ͕૿͑ΔɻϚϧνεϨουͰσʔλΛॲཧ͢
ΔͳͲͷ͕ඞཁͱͳΔ *0ϘτϧωοΫେ༰ྔ44%Λߪೖ͢Δ͔ɺ3". UNQGT ʹ #40/ϑΝΠϧΛσϓϩΠ͢ΔͳͲͯ͠ղফ͢Δඞཁ͕͋Δ -
4JOHMFNPEFMT #FTUTJOHMFNPEFM1VCMJD-#ͰҐ νʔϜத ɻ 1VCMJD-# Ґ૬ 1VCMJD-# Ґ૬ 1VCMJD-# Ґ૬
1VCMJD-# Ґ૬ 1VCMJD-# Ґ૬ ResNet101-12ch ResNet101 Inception V3 DPN-92 InceptionRes V2 Expert -
Ξϯαϯϒϧ ॏΈ͖ฏۉ ςετࣄྫ͕ेʹେ͖ͷͰɺ1VCMJD-#Λ֬ೝͭͭ͠ௐɻ Ξϯαϯϒϧ1VCMJD-# Ґ૬
1VCMJD-# Ґ૬ 1VCMJD-# Ґ૬ 1VCMJD-# Ґ૬ 1VCMJD-# Ґ૬ 1VCMJD-# Ґ૬ ResNet101-12ch ResNet101 Inception V3 InceptionRes V2 DPN-92 Expert -
UIϞσϧͷΞϯαϯϒϧ Ћ (1) 訓練事例例の 正例例の割合 (2) Softmax (1), (2) の重み付き平均とみなす
ಉҰ.%ͷ܇࿅ࣄྫΛ͍ɺ$//ϞσϧͷTPGUNBYΛิਖ਼͢Δɿ -
UIϞσϧͷΞϯαϯϒϧ Ћ Ґ૬ ˠ Ґ૬ ʴΫϥε͔Βܭࢉͨ͠ϒϥοΫϦετͷώϡʔϦεςΟΫεΛద༻ (1) 訓練事例例の 正例例の割合
(2) Softmax (1), (2) の重み付き平均とみなす ಉҰ.%ͷ܇࿅ࣄྫΛ͍ɺ$//ϞσϧͷTPGUNBYΛิਖ਼͢Δɿ -
UIಛநग़ͯ͠ूˍߋʹֶश ϕʔεϞσϧͷCPUUMFOFDLCMPDLͷग़ྗΛͬͯ୯Ґʹूˍֶ शɻ0$3 &"45<> $3//<> ͯ͠ςΩετใΛநग़ɻ ͜ΕΒΛೖྗͱͯ͠.-1 3// /FU7MBE<>ͳͲͷτοϓϨϕϧϞ σϧΛֶशɻ࠷ޙʹϕʔεϞσϧͱτοϓϨϕϧϞσϧͰΞϯαϯϒϧɻ
w ϕʔεϞσϧ*ODFQUJPO3FTOFUW 3FTOFU 4&*ODFQUJPO7 9DFQUJPO w ̐ຕͷը૾Λೖྗͯ͠ಘͨ#PUUMFOFDLGFBUVSFTΛ͝ͱʹάϧʔϓͯ͠ τοϓϨϕϧϞσϧͷೖྗͱ͢Δ w /FU7MBEͷ1PPMJOHֶशͱ(BUJOHɺաڈίϯϖl:PVUVCF.,BHHMF -BSHF4DBMF7JEFPVOEFSTUBEJOHDIBMMFOHFzͷղ๏ͰΘΕɺ-061&ͱ͠ ͯπʔϧϘοΫε͕ެ։͞Ε͍ͯΔ ग़యɿIUUQTXXXLBHHMFDPNDDEJTDPVOUJNBHFDMBTTJpDBUJPODIBMMFOHFEJTDVTTJPO -
OE.-1aXHBUFETDBMJOH w தؒՌɿը૾ຕYಛYɻ͜ΕʹHBUFETDBMJOH .-1ద༻ w ը૾ʹ͖ͭͷEJN͔Β4&4DBMFNPEVMFͰը૾Λબͯ͠Ճࢉ͢Δ w ը૾ͷ͏ͪຕ͚͕ͩॏཁͱ͍͏ࣄྫ͕͋ΔͷͰ༗ޮͦ͏ SFG1PJOU/FU<> ग़యIUUQTXXXLBHHMFDPNDDEJTDPVOUJNBHFDMBTTJpDBUJPODIBMMFOHFEJTDVTTJPO
EJN EJN EJN EJN EJN ը૾ Y 4DBMJOH ը૾બ "%% } + ◦ * * * * .-1GPSXBSE -
TU0$3ͯ͠NVMUJJOQVU$// $51/<>ͰςΩετྖҬͷநग़ɺ$3//<>ͰςΩετͷநग़Λߦ͏ɻ.VMUJ JOQVU$//Ͱ$3//GFBUVSFTͱ3FT/FUͷ'$GFBUVSFTΛ࿈݁͢Δɻ தؒϑΝΠϧVJOUʹྔࢠԽʢ ͯ͠DBTUʣͯ͠TQBSTFNBUSJYͱͯ͠ อଘ͢Δɻ .#͕.#ҎԼʹͳΔɻ $51/ $3//
ରԠ͢Δຕͷ ઐ༻3FT/FU .VMUJJOQVU $// ༧ଌ ೖྗը૾ <>%FUFDUJOH5FYUJO/BUVSBM*NBHFXJUI$POOFDUJPOJTU5FYU1SPQPTBM/FUXPSL <>"O&OEUP&OE5SBJOBCMF/FVSBM/FUXPSLGPS*NBHFCBTFE4FRVFODF3FDPHOJUJPOBOE*UT"QQMJDBUJPOUP4DFOF5FYU3FDPHOJUJPO -
σʔλʹର͢ΔཧղΛਂΊΔ ߹։ޱϨʔμʔೖࣹ֯ʢ*ODJEFODFBOHMFʣΛௐͯ͠؍ଌ͢ΔͷͰɺ ΄΅ಉͷάϧʔϓ͕Ͱ͖Δͱߟ͑Δ͜ͱ͕ग़དྷΔɻ 1 2 3 4 5 6 ic=44.1923
ic=44.1925 ic=44.1919 ic=41.4321 ic=41.4315 ic=41.4317 ग़యʢࠨʣɿIUUQXXXBTDDTBHDDBFOHTBUFMMJUFTSBEBSTBUDPNQPOFOUTBTQ ʢӈʣ*NBHFSZ*#$"0 -BOETBU$PQFSOJDVT .BQEBUB(PPHMF ʢ˞ૉਓʹΑΔߟͳͷͰɺؒҧ͍͕͋Δ͔͠Ε·ͤΜʣ -
σʔληοτը૾͋Β͔͡ΊDSPQͨ͠ͷ $SPQલͷΠϝʔδਤ ༩͑ΒΕͨը૾ ic=44.1923 ic=44.1925 ic=44.1919 ic=41.4321 ic=41.4315 ic=41.4317 ߹։ޱϨʔμʔͷ؍ଌྖҬͷΠϝʔδਤ
ೖࣹ֯ ͜ͷྖҬͯ͢ ೖࣹ֯ Ծઆɿೖࣹ֯ͷগදܻ͕ࣔͯ͢શҰக͢Δ߹ɺ ݩʑ͕ಉ͡؍ଌྖҬ˙͔ΒΓऔͬͨDSPQ͞Εͨը૾˙Ͱ༩͑ΒΕΔ ༩͑ΒΕͨ؍ଌσʔλɺધഫ͋Δ͍ණࢁ͕த৺Β͖͠ͷ͕ ͍ࣸͬͯΔɻ͋Β͔͡ΊDSPQ͞Εͨը૾ɻ -
$//Ϟσϧͷ࡞ w ը૾͚ͩΛͬͨϞσϧΛ༻ҙ͢ΔʢྔతมΛಉ࣌ʹֶश͠ͳ͍ʣ w ܇࿅ࣄྫ͕গͳ͍ͷͰGPME$7ͰϞσϧΛධՁˍνϡʔχϯά w Ϟσϧ$POWPMVUJPO-BZFS͚ͩͰेͦ͏ ʢม͑ͯେࠩͳ͍ʣ w QSFUSBJOFENPEFMΛ͏ͱٯʹѱ͘ͳΔ
前処理理 CV Public LB 4L CNN Scaling 0.2212 4L CNN Raw 0.2191 ResNet50 Scaling 0.2206 VGG16 Scaling 0.2107 1VCMJD-#֬ೝ͍ͯ͠ͳ͍ -
ೖࣹ֯͝ͱͷσʔλਖ਼نԽͰվળ ೖࣹ֯Λͬͨσʔλਖ਼نԽΛߦͱ$7վળ %BUB"VHNFOUBUJPO SPU qJQ [PPN վળʹ༗ޮͰ͋ͬͨ 前処理理 CV Public
LB 4L CNN Scaling 0.2212 4L CNN Norm+ Scaling 0.1824 4L CNN +DA Norm + Scaling 0.1615 1VCMJD-#֬ೝ͍ͯ͠ͳ͍ -
UIೖࣹ֯ͷใΛϞσϧʹΈࠐΉ ྔతม ೖࣹ֯ ͷใΛϞσϧʹΈࠐΉͨΊʹɺ$//Ϟσ ϧͷ༧ଌ݁ՌͱྔతมΛTUBDLJOHͨ͠ɻ ݸͷ$//Ϟσϧ ྔతมYͰ-JHIU(#.ͱEFFQCJU (#%5 Ͱֶशɻ࠷ޙʹॏΈ͖ฏۉɻ 前処理理
CV Public LB 4L CNN Scaling 0.2212 4L CNN Norm+Scaling 0.1824 4L CNN +DA Norm+Scaling 0.1615 stage2 (LGBM) NA 0.0895 0.0873 stage3 (Average) NA 0.0852 1VCMJD-#OE1SJWBUF-#UI -
ݸͷ//ϞσϧΛ࡞ɻGPME$7Ͱνϡʔχϯάɻ $7Ͱֶशͨ͠ϞσϧͷNFBOQSFEJDUJPOΛಛྔͱ͢Δ ྔతม ೖࣹ֯ͰάϧʔϓԽͯ͠ूܭ NFBO NFEJBO
DPVOU ͯ͠ಛྔ࡞ ೖࣹ֯ͱ ͷNFBOQSFEJDUJPOͰ,//SFHSFTTPSʢྔతมʣ -(#.Λ ͷಛྔͰֶशɻ߹ܭͰͭͷಛྔɻ 4. KNNreg 5. LGBM 1. CNNs 2. Mean prediction 3. Agg. features ೖࣹ֯ ೖྗը૾ UIΑΓগͳ͍Ϟσϧ ೖࣹ֯Lۙ ग़యɿIUUQTXXXLBHHMFDPNDTUBUPJMJDFCFSHDMBTTJpFSDIBMMFOHFEJTDVTTJPOɻগ͠؆ུԽͯ͠հ -
ݸͷ//ϞσϧΛ࡞ɻGPME$7Ͱνϡʔχϯάɻ $7Ͱֶशͨ͠ϞσϧͷNFBOQSFEJDUJPOΛಛྔͱ͢Δ ྔతม ೖࣹ֯ͰάϧʔϓԽͯ͠ूܭ NFBO NFEJBO
DPVOU ͯ͠ಛྔ࡞ ೖࣹ֯ͱ ͷNFBOQSFEJDUJPOͰ,//SFHSFTTPSʢྔతมʣ -(#.Λ ͷಛྔͰֶशɻ߹ܭͰͭͷಛྔɻ 4. KNNreg 5. LGBM 1. CNNs 2. Mean prediction 3. Agg. features ೖࣹ֯ ೖྗը૾ UIΑΓগͳ͍Ϟσϧ ೖࣹ֯Lۙ ग़యɿIUUQTXXXLBHHMFDPNDTUBUPJMJDFCFSHDMBTTJpFSDIBMMFOHFEJTDVTTJPOɻগ͠؆ུԽͯ͠հ ˞֤ϝλಛྔ $7Ͱׂͯ͠ܭࢉ -
ɿࢀߟจݙ 1. [Blum & Hardt '15] "The Ladder: A
Reliable Leaderboard for Machine Learning Competitions", In Proc. of the ICML '15. https://arxiv.org/abs/ 1502.04585 2. [Hardt '17] "Climbing a shaky ladder: Better adaptive risk estimation", https://arxiv.org/abs/1706.02733 3. [Rendle '10] "Factorization machines", In Proc. of the ICDM ’10. 4. [Johnson & Zhang '11] "Learning Nonlinear Functions Using Regularized Greedy Forest", https://arxiv.org/abs/1109.0887 5. [Hu+ ’17] “Squeeze-and-Excitation Networks”, In Proc. of the CVPR ’17. https://arxiv.org/abs/1709.01507 6. [He+ ’09] “Single Image Haze Removal”, In Proc. of the CVPR ’09. http://kaiminghe.com/cvpr09/ -
ɿࢀߟจݙ 7. [Zhang+ ’17] "mixup: Beyond Empirical Risk Minimization",
https:// arxiv.org/abs/1710.09412 8. [Miech+ '17] "Learnable pooling with Context Gating for video classification", https://arxiv.org/abs/1706.06905 9. [Tian+ '16] "Detecting Text in Natural Image with Connectionist Text Proposal Network”, In Proc. of ECCV ‘16 https://arxiv.org/abs/1609.03605 10. [Qi+ '17] "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation”, In Proc. of the CVPR ‘17 https://arxiv.org/abs/ 1612.00593 11. [Ma+ '17] "Multi-View Deep Learning for Consistent Semantic Mapping with RGB-D Cameras”, In Proc. of the IROS ‘17 https://arxiv.org/abs/ 1703.08866 12. [Shi+ '15] "An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition”, https://arxiv.org/abs/1507.05717 -
ɿࢀߟจݙ 13. [Arandjelović+ ’16] "NetVLAD: CNN architecture for weakly
supervised place recognition”, In Proc. of the CVPR ’16 https://arxiv.org/abs/ 1511.07247 14. [Zhou+ '17] "EAST: An Efficient and Accurate Scene Text Detector", In Proc. of the CVPR’17 https://arxiv.org/abs/1704.03155v2