Share
Embed
Transcript
21 slides
-
0. ࣗݾհ • @tomo20180402 • ~2020.8 : SEɺ2020.9~ : σʔλੳपΓͷΤϯδχΞ
• σʔλੳίϯϖ2019.5͝Ζ͔Β͍ͬͯΔ • kaggle competitions expert (soloɿ*2ɺ*2) • atmaCupͷ݁ߏͳϔϏʔϢʔβ • ΦϨϯδδϡʔε͋·Γҿ·ͳ͍ ˡࠓճ -
• σʔλΛݟΔɺͱ • ؍ɿ • ςʔϒϧؒͷؔ • ֤ΧϥϜͷҙຯɾ༰ • σʔλܕɿnum,
cat, boolean • ܽଛ • ΧʔσΟφϦςΟͷߴ͞ • ֤ΧϥϜͷ • ΧϥϜؒͷؔ • train/testͷͷҧ͍ɺͳͲ ݟ͍ͨ؍͕ͨ͘͞Μ͋ͬͯେมɻ ಛྔ࡞ʹܨ͕ΔΑ͏ใΛཧ͍ͨ͠ʜɻ 1-1. σʔλΛݟΔ ˞ςʔϒϧσʔλͷ߹ -
1-1. σʔλΛݟΔ ᶃ ςʔϒϧͷؔΛ1ຕʹ·ͱΊΔ • ςʔϒϧͷඥ͚ • ΧϥϜͷҙຯ • σʔλܕ
• ϢχʔΫ • ܽଛͷɺͳͲ ΧϥϜ ༰ EUZQF OVMM OVOJRVF DPM" DPM$ ɿ ΧϥϜ ༰ EUZQF OVMM OVOJRVF DPM" DPM# ɿ ΧϥϜ ༰ EUZQF OVMM OVOJRVF DPM$ DPM% ɿ σʔλߏΛཧɾཧղͰ͖Δɻ جຊతͳใࡌͤΔ͜ͱͰɺΞΠσΞग़͠Λิॿ͢Δɻ UBCMF@B UBCMF@C UBCMF@D -
1-1. σʔλΛݟΔ ᶄ ֤ΧϥϜ͝ͱʹΞΠσΞΛ·ͱΊΔ • matrixΜͰߟ͑ͯΈΔ ΧϥϜ ϝϞ DPM" DPM#
DPM" DPM# ʜ DPM" DPM# ࣗ༝ͳσʔλ୳ࡧʹՃ͑ͯߦ͏͜ͱͰ࿙ΕΛ͙ʢ͍͗ͨʣɻ -
1-1. σʔλΛݟΔ • ૣσʔλΛݟͳ͕Β·ͱΊͯΈΔ • ex) Name • Cat •
ΧʔσΟφϦςΟߴ͍͕ɺॏෳ͢Δσʔλ͕ଘࡏ͢Δ • ෳͷϋʔυͰൃച͍ͯ͠Δ༷ • ൃച͍ͯ͠Δϋʔυ͕ଟ͍΄Ͳച্େ͖͘ͳΔͷͰ • NameͷΧϯτΛಛྔͱ͢Δ˒ • train/testͰେ͖͘ဃ͍ͯ͠ΔͨΊͦͷ··ಛྔͱͯ͑͠ͳ͍ • sortͯ͠தΛ֬ೝ͢ΔͱɺγϦʔζͷ͕ଟ͘ଘࡏ͢ΔΑ͏ʹݟ͑Δ • γϦʔζΛಛఆ͢Δ͜ͱ͕Ͱ͖Εച্ͷΛ௫ΊΔͷͰ • ྫ͑”pokemon”ΛؚΉιϑτΛݟΔͱɺϝΠϯͷγϦʔζશମతʹ͔ͳΓചΕ͍ͯͦ͏ • ԿΒ͔ͷํ๏ͰNameΛάϧʔϐϯά͢Δ˒ • ୯ޠͷΧϯτϕʔεͰͰ͖Δ͔ʁ • Name͝ͱͷച্ͷฏۉΛ֬ೝ • Wii SportsΊͪΌͪ͘ΌചΕͯΔʁʢ͔֬ʹ͏ͪʹ͋Δʣ ˞ࠓճγϯϓϧͳσʔλͳͷͰᶄͷΈ࣮ࢪ -
1-1. σʔλΛݟΔ • ૣσʔλΛݟͳ͕Β·ͱΊͯΈΔ • ex) Name • Cat •
ΧʔσΟφϦςΟߴ͍͕ɺॏෳ͢Δσʔλ͕ଘࡏ͢Δ • ෳͷϋʔυͰൃച͍ͯ͠Δ༷ • ൃച͍ͯ͠Δϋʔυ͕ଟ͍΄Ͳച্େ͖͘ͳΔͷͰ • NameͷΧϯτΛಛྔͱ͢Δ˒ • train/testͰେ͖͘ဃ͍ͯ͠ΔͨΊͦͷ··ಛྔͱͯ͑͠ͳ͍ • sortͯ͠தΛ֬ೝ͢ΔͱɺγϦʔζͷ͕ଟ͘ଘࡏ͢ΔΑ͏ʹݟ͑Δ • γϦʔζΛಛఆ͢Δ͜ͱ͕Ͱ͖Εച্ͷΛ௫ΊΔͷͰ • ྫ͑”pokemon”ΛؚΉιϑτΛݟΔͱɺϝΠϯͷγϦʔζશମతʹ͔ͳΓചΕ͍ͯͦ͏ • ԿΒ͔ͷํ๏ͰNameΛάϧʔϐϯά͢Δ˒ • ୯ޠͷΧϯτϕʔεͰͰ͖Δ͔ʁ • Name͝ͱͷച্ͷฏۉΛ֬ೝ • Wii SportsΊͪΌͪ͘ΌചΕͯΔʁʢ͔֬ʹ͏ͪʹ͋Δʣ ˞ࠓճγϯϓϧͳσʔλͳͷͰᶄͷΈ࣮ࢪ ଞͷΧϥϜʢ͓ΑͼΧϥϜͷ߹ͤʣʹ͍ͭͯ·ͱΊΔɻ ϝϞࡶͰྑ͍ͷͰɺͱʹ͔͘୳ࡧͷ͍Λอͭͷ͕େࣄɺͳؾ͕͢Δɻ -
1-1. σʔλΛݟΔ • ૣσʔλΛݟͳ͕Β·ͱΊͯΈΔ • ex) Year_of_Release • Cat, NumͷͲͪΒͱͯ͠༻Ͱ͖ͦ͏ʢnunique=40ʣ
• train/testͷ΄΅ಉ͡ • testʹະͷʢ2020ʣؚ͕·ΕΔ͕ɺ݅1݅ͷΈ • ൃച͕෯͍ɺͭ·Γଓ͖͍ͯ͠ΔγϦʔζ΄Ͳਓؾ͕͋Γɺച্ଟ͍ͷͰ • ൃചͷظؒɺٴͼɺϢχʔΫΛಛྔͱ͢Δ˒ • ൃചͷִ͕͍ؒ΄Ͳਓؾ͕͋Γɺച্ଟ͍ͷͰ • աڈͷൃച͔Βͷܦաɺະདྷͷൃച·ͰͷΛಛྔͱ͢Δ˒ • ʢnullΛআ͍ͯʣtrain/testͱʹYear_of_ReleaseͷঢॱͰฒΜͰ͍Δ • σʔλͷฒͼʹԿ͔͠Βҙຯ͕͋Δ͔ʁɺྫ͑Ҏ্ͷࡉ͔͍࣌ܥॱྻʹฒΜͰ͍ΔɺͳͲ • Year_of_Release͝ͱͷച্Λ֬ೝʢରมࡁʣ • େ͖͘ݟΔͱݮগʹ͋Γͦ͏ ˞ࠓճγϯϓϧͳσʔλͳͷͰᶄͷΈ࣮ࢪ -
1-1. σʔλΛݟΔ • ಛྔͷ؍Λଟ͍࣋ͬͯ͘Δ΄Ͳଟ͘ͷΞΠσΞΛग़ͤΔ • ྫ͑… • Catɿ৽ͨͳใΛநग़Ͱ͖Δ͔ɺcount / frequency
encoding͕ޮ͖ͦ͏͔ • NumɿυϝΠϯࣝʹج͍ͮͯbinningग़དྷͦ͏͔ • Cat * Numɿaggregation͕ޮ͖ͦ͏͔ • Cat * Catɿ༗ޮͳΧςΰϦΛ࡞ΕΔ͔ɺunique͕ޮ͖ͦ͏͔ • Num * Numɿratio, diff͕ޮ͖ͦ͏͔ • Otherɿshift, rolling͕ޮ͖ͦ͏͔ʢtime seriesʣɺtarget encoding͕ޮ͖ͦ͏͔ աڈίϯϖLBHHMFؔ࿈ͷॻ੶͔ΒֶͿͷ͕͓͢͢Ίɻ -
• ༻ͨ͠ಛྔ • Catɿ • NameͷάϧʔϐϯάʢγϦʔζͷಛఆʣ • Χϯτ1, 2Ҏ্ͷ୯ޠͰNameΛʢग़ݱճ͕গͳ͍୯ޠΛ༏ઌͯ͠ʣ্ॻ͖ •
τʔΫϯʹԠͨ͡ॏΈ͚ʹΑΔάϧʔϐϯάʢhakubishin3͞ΜͷdiscussionΑΓʣ • count encodingʢ߹ؚͤΉʣ • Cat * Numɿ • NumʢCritic/User_Count/Score, Year_of_Releaseʣʹର͢Δaggregation • keyɿ߹ؚͤΉCat • “Platform_and_Publisher”, “Genre_and_Publisher", etc… • mean, min, max, median, std 1-2. ಛྔΛ࡞Δ -
• ༻ͨ͠ಛྔ • Cat * Catɿ • NameܥͷCat͝ͱͷɺҎԼͷunique • Platform,
Genre, Year_of_Release, Publisher • Num * Numɿ • PublisherܥɺNameܥͷCat͝ͱͷҎԼͷಛྔ • աڈͷൃച͔Βͷܦաɺະདྷͷൃച·Ͱͷ • աڈͷൃച͔Βͷιϑτͷྦྷܭɺকདྷൃച͢Διϑτͷྦྷܭ • NumʢCritic/User_Count/Score, Year_of_Releaseʣͷmeanʹର͢Δratio, diff 1-2. ಛྔΛ࡞Δ -
• ༻ͨ͠ಛྔ • Otherɿ • PublisherܥɺNameܥͷCat͝ͱͷҎԼͷಛྔ • ൃച͞Εͨιϑτͷshift • leak
• ʮName, Year_of_ReleaseʯʮGenre, Year_of_ReleaseʯͰsort͢Δͱച্ॱʹฒͿ 1-2. ಛྔΛ࡞Δ /BNF :FBS@PG@3FMFBTFͰTPSUʢ߱ॱʣ (FOSF :FBS@PG@3FMFBTFͰTPSUʢ߱ॱʣ -
• ޮ͔ͳ͔ͬͨಛྔ • target encoding • ল • shiftͷ͞ •
Year_of_ReleaseͷΧςΰϦผͰͷlagͱleadͷDiff͕ޮ͍ͨʢAkira Shirahama͞ΜΑΓʣ • [ࢀߟ] ಛྔҎ֎ • validationɿgroupkfoldʢ5fold, key=“Name"ʣ • modelɿlgb+xgb+catΛridge regressionͰstacking 1-2. ಛྔΛ࡞Δ -
2. ॳ৺ऀͷํʹΦεεϝ͍ͨ͜͠ͱ • ·ͣࣗͰαϒ·ͰͬͯΈΔ • σΟεΧογϣϯͱͯوॏ͕ͩɺઌೖ؍ΛͨͣʹσʔλΛݟΔͷେࣄͩͱײ͡Δ • 1dayίϯϖͰαϒͰ͖ΔΑ͏ʹ͢Δ • ظܾઓʹͳΔͨΊɺEDAfeature
engineeringͷ؍ɺ·ͨɺίʔυͷཧ͕ਐΉ • ෛ͚ͳ͕ΒֶͿ • ະདྷͷใΛར༻͢Δߟ͕͑ͳܸ͘ˏatmaCup#7 • ࠓճ׆͔͖͠Ε͍ͯͳ͍Ͱ͕͢…