Share
Embed
データ分析コンテストの技術と最近の進展
第14回ステアラボ人工知能セミナー https://stair.connpass.com/event/68515/ の発表資料です.
共有用のショートカットURL: https://goo.gl/MgFmJk
@smly
October 20, 2017
Transcript
63 slides
-
ࣗݾհ ϦΫϧʔτςΫϊϩδʔζ"5-ͷ4S4PGUXBSF&OHJOFFSͰ͢ɽ ˝,BHHMFΦϑΟεͰͷू߹ࣸਅ αϯϑϥϯγεί ɾ,BHHMFSྺ (SBOENBTUFS )JHIFTUSBOLUI ɾ,BHHMF 5PQpOJTIFTY
1SJ[FY ɾ"$.,%% ,%%$VQTUQSJ[FXJOOFS ɾ5PQ$PEFS.BSBUIPO.BUDI 8*/4 ˝ϦΫϧʔτςΫϊϩδʔζ"5- ඌ -
ࠓͷ w ίϯςετͱ-FBEFSCPBSEͷϝΧχζϜ w ϝλֶश 4UBDLJOH /FUqJY#MFOEJOH FUDʜ
w ਂֶश $MBTTJpDBUJPO 4FHNFOUBUJPO -
ࠓͷ w ίϯςετͱ-FBEFSCPBSEͷϝΧχζϜ w ϝλֶश 4UBDLJOH /FUqJY#MFOEJOH FUDʜ
w ਂֶश $MBTTJpDBUJPO 4FHNFOUBUJPO -
σʔλੳίϯςετͷϓϥοτϑΥʔϜ ,BHHMFίϯςετͷ࠷େ͖ͳϓϥοτϑΥʔϜ݉ίϛϡχςΟ w ສਓҎ্ͷొϢʔβʔ ΞΫςΟϒສਓҎ্ w ༷ʑͳͷاۀஂମ͕ίϯςετΛ։࠵͍ͯ͠Δ ීஈΞΫηεͰ͖ͳ͍༷ʑͳۀքͷσʔλઃఆʹ৮Εɼ σʔλੳͷܦݧΛੵΉ͜ͱ͕ग़དྷΔɽ
保険 製造 不不動産 政府 サービス 防衛 研究 ※ USSOCOM は TopCoder Marathon Match: Urban3D Challenge ⾦金金融 医療 -
λεΫͷଟ༷ੑ Ԡ༻Λҙࣝͨ͠λεΫઃܭ͕ଟ͘ɺࢀߟʹͳΔɽ ظΛݟੵΔͨΊͷܦݧ͕ੵΊΔɽ ˝ྫ:FMQ3FTUBVSBOU1IPUP$MBTTJpDBUJPO ⼊入⼒力力:お店に関する複数の画像 屋外席あり アルコールあり ランチ可 ディナー可 お店に対応する
ラベルを複数選択する 出⼒力力:お店に関する複数のラベル ※ 写真1枚ずつにラベルが付いていない. 複数画像を単⼀一のベクトルで表現するなど⼯工夫が必要 Multi-instances, Multi-labeling 値段が⾼高い ビュッフェ形式 -
Ұൠతͳίϯςετͷߏ 訓練データ テストデータ 「Validation」 テストデータ 「Holdout」 訓練ラベル 提出ファイル (予測結果) ܇࿅σʔλ
ςετσʔλ͕༩͑ΒΕΔɽ ςετσʔλߋʹʮ7BMJEBUJPOʯʮ)PMEPVUʯͷ̎छʹ͔Ε͍ͯΔɽ ༧ଌ݁ՌΛαʔόʔʹΞοϓϩʔυ͢Δͱɼαʔόʔ͕ଈ࠲ʹ ʮ7BMJEBUJPOʯͷධՁΛܭࢉͯ͠ఆॱҐද 1VCMJD-# ʹөɽ ࢀՃऀ܇࿅σʔλͱϥϕϧ͔ΒɺςετσʔλͷϥϕϧΛ༧ଌ ίϯςετऴྃޙʹఏग़ࡁΈͷϑΝΠϧʹ͓͚Δʮ)PMEPVUʯͰͷ ධՁ݁Ռʹͱ͍ͮͯ࠷ऴॱҐද 1SJWBUF-# ͕ެ։͞ΕΔɻ -
Ұൠతͳίϯςετͷߏ ܇࿅σʔλ ςετσʔλ͕༩͑ΒΕΔɽ ςετσʔλߋʹʮ7BMJEBUJPOʯʮ)PMEPVUʯͷ̎छʹ͔Ε͍ͯΔɽ 訓練データ テストデータ 「Validation」 テストデータ 「Holdout」 訓練ラベル
提出ファイル (予測結果) ᶃ༧ଌ݁Ռ ༧ଌ݁ՌΛαʔόʔʹΞοϓϩʔυ͢Δͱɼαʔόʔ͕ଈ࠲ʹ ʮ7BMJEBUJPOʯͷධՁΛܭࢉͯ͠ఆॱҐද 1VCMJD-# ʹөɽ ࢀՃऀ܇࿅σʔλͱϥϕϧ͔ΒɺςετσʔλͷϥϕϧΛ༧ଌ ίϯςετऴྃޙʹఏग़ࡁΈͷϑΝΠϧʹ͓͚Δʮ)PMEPVUʯͰͷ ධՁ݁Ռʹͱ͍ͮͯ࠷ऴॱҐද 1SJWBUF-# ͕ެ։͞ΕΔɽ -
Ұൠతͳίϯςετͷߏ 訓練データ テストデータ 「Validation」 テストデータ 「Holdout」 訓練ラベル 提出ファイル (予測結果) ᶄ1VCMJD-#4DPSF
܇࿅σʔλ ςετσʔλ͕༩͑ΒΕΔɽ ςετσʔλߋʹʮ7BMJEBUJPOʯʮ)PMEPVUʯͷ̎छʹ͔Ε͍ͯΔɽ ༧ଌ݁ՌΛαʔόʔʹΞοϓϩʔυ͢Δͱɼαʔόʔ͕ଈ࠲ʹ ʮ7BMJEBUJPOʯͷධՁΛܭࢉͯ͠ఆॱҐද 1VCMJD-# ʹөɽ ࢀՃऀ܇࿅σʔλͱϥϕϧ͔ΒɺςετσʔλͷϥϕϧΛ༧ଌ ίϯςετऴྃޙʹఏग़ࡁΈͷϑΝΠϧʹ͓͚Δʮ)PMEPVUʯͰͷ ධՁ݁Ռʹͱ͍ͮͯ࠷ऴॱҐද 1SJWBUF-# ͕ެ։͞ΕΔɽ -
Ұൠతͳίϯςετͷߏ 訓練データ テストデータ 「Validation」 テストデータ 「Holdout」 訓練ラベル 提出ファイル (予測結果) ᶅ1SJWBUF-#4DPSF
܇࿅σʔλ ςετσʔλ͕༩͑ΒΕΔɽ ςετσʔλߋʹʮ7BMJEBUJPOʯʮ)PMEPVUʯͷ̎छʹ͔Ε͍ͯΔɽ ༧ଌ݁ՌΛαʔόʔʹΞοϓϩʔυ͢Δͱɼαʔόʔ͕ଈ࠲ʹ ʮ7BMJEBUJPOʯͷධՁΛܭࢉͯ͠ఆॱҐද 1VCMJD-# ʹөɽ ࢀՃऀ܇࿅σʔλͱϥϕϧ͔ΒɺςετσʔλͷϥϕϧΛ༧ଌ ίϯςετऴྃޙʹఏग़ࡁΈͷϑΝΠϧʹ͓͚Δʮ)PMEPVUʯͰͷ ධՁ݁Ռʹͱ͍ͮͯ࠷ऴॱҐද 1SJWBUF-# ͕ܾ·Δɽ -
աֶश 0WFSpUUJOH ʹҙ 1VCMJD-#Ͱදࣔ͞ΕΔࣈ͋͘·Ͱʮ7BMJEBUJPOʯ্ͷධՁɽ ͜ͷࣈ͚ͩΛཔΓʹνϡʔχϯά͗͢͠Δͱɼ σʔλͷࣄྫσʔληοτͷಛੑʹΑͬͯաֶशΛҾ͖ى͜͢ɽ 訓練データ テストデータ 「Validation」 テストデータ
「Holdout」 訓練ラベル 提出ファイル (予測結果) ͕݅ἧ͑ʮσʔλΛҰݟΔ͜ͱແ͘ʯ ػցతʹ1VCMJD-#ͷείΞ͚ͩΛ্͛Δ͜ͱ͕༰қʹͰ͖Δɽ ˠఢରతϕϯνϚʔΫ ᶄ1VCMJD-#4DPSF -
ఢରతϕϯνϚʔΫ<#MVN)BSEU`> ୯७Խͨ͠/ݸͷςετࣄྫͷೋྨΛߟ͑Δɿ 正解 予測 1 予測 2 ࣍ϕΫτϧΛͯΔɽධՁࢦඪΤϥʔͱ͢Δɽ y 2
{0, 1}N sH(yi) yi 2 {0, 1}N ͋Δ༧ଌ ͷ1VCMJD-#είΞΛ ͱ͢Δɽ N 1 0 0 1 0 0 0 1 y = 1 1 1 0 0 1 1 1 y1 = 1 0 1 1 1 1 0 0 y2 = Public LB Score 1 Public LB Score 2 sH(y1) = 0.75 sH(y2) = 0.25 Val Hol -
ఢରతϕϯνϚʔΫ<#MVN)BSEU`> Algorithm (Boosting Attack): 正解 1 0 0 1 0
0 0 1 y = 0 0 1 0 0 0 0 1 1 1 1 0 1 0 1 1 0 1 0 1 0 1 0 0 1 0 0 1 0 0 0 1 1 0 0 1 0 1 1 1 0 0 0 0 1 1 1 0 ランダムに予測のベクトルを作成する Val Hol 1 0 1 1 1 1 0 0 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 0 0 0 1 1 0 0 1 1 0 0 1 0 0 0 1 1 1 1 0 1 0 0 0 0 -
ఢରతϕϯνϚʔΫ<#MVN)BSEU`> 正解 1 0 0 1 0 0 0 1
y = 1 0 1 1 1 1 0 0 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 0 1 0 0 1 0 0 0 1 1 0 0 1 0 1 1 1 1 1 0 1 0 0 0 0 㱺 majority voting 1 0 0 1 0 1 1 1 Public LB Score sH(ˆ y) = 0.0 Val Hol Algorithm (Boosting Attack): ランダムな予測のベクトルから Public LB スコアの良いベクトル sH (yi) < 0.5 だけを選ぶ -
ఢରతϕϯνϚʔΫ<#MVN)BSEU`> 正解 1 0 0 1 0 0 0 1
y = 1 0 1 1 1 1 0 0 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 0 1 0 0 1 0 0 0 1 1 0 0 1 0 1 1 1 1 1 0 1 0 0 0 0 㱺 majority voting 1 0 0 1 0 1 1 1 Public LB Score sH(ˆ y) = 0.0 Val Hol Private LB Score が 良くなる保証は 何もない !! Algorithm (Boosting Attack): ランダムに予測のベクトルから Public LB スコアの良いベクトル sH (yi) < 0.5 だけを選ぶ -
νʔτରࡦϚϧνεςʔδͳධՁ ༩͑ΒΕͨσʔλʹಛԽ͗ͨ͢͠ϞσϧΛ࡞Βͤͳ͍ɽ ϓϩάϥϜͷఏग़ظݶΛઃ͚ͯมߋෆՄͱͨ͠ޙͰIPMEPVUσʔλΛ ެ։͢Δܗࣜɽ 訓練データ テストデータ 「Validation」 テストデータ 「Holdout」 訓練ラベル
① 予測結果の提出 ③ 予測結果の提出 ② ソースコード提出 提出後はモデル変更更禁⽌止 テスト事例例に特化した ルールやモデルを ⽤用意させない ࣌ܥྻ༧ଌͷΑ͏ͳςετσʔλΛΘͤͨ͘ͳ͍߹ɺ ςετࣄྫ͕গͳ͘Ξϊςʔγϣϯ͕༰қͰ͋Δ߹ͳͲʹద͍ͯ͠Δɽ 1st ステージ 2nd ステージ ⼈人⼿手でラベル付けて if ⽂文 10000 ⾏行行の解答は欲しくない -
ࠓͷ ʣ ͜͜ͰOFVSPTDJFODFڧԽֶशʹ͓͚Δಔ୩ΒͷNFUBMFBSOJOHͰͳ͘ɼ ݹయతͳؼೲֶशͷจ຺ʹ͓͚ΔNFUBMFBSOJOHΛࢦ͠·͢ɽ w ίϯςετͱ-FBEFSCPBSEͷϝΧχζϜ w ϝλֶश
4UBDLJOH /FUqJY#MFOEJOH FUDʜ w ਂֶश $MBTTJpDBUJPO 4FHNFOUBUJPO -
ग़ൃϞσϧͷग़ྗΛಛྔͱͯ͠͏ Ϟσϧͷग़ྗ݁ՌΛಛྔͱͯ͠͏͜ͱΛߟ͑Δɽ Text 特徴量量 Numerical 特徴量量 Categorical 特徴量量 Prediction Prediction
Logistic Regression Gradient Boosting ߴ࣍ϕΫτϧϩδεςΟοΫճؼͰʜ -
ग़ൃϞσϧͷग़ྗΛಛྔͱͯ͠͏ Ϟσϧͷग़ྗ݁ՌΛಛྔͱͯ͠͏͜ͱΛߟ͑Δɽ ܇࿅ࣄྫʹରͯ͠աֶशΛىͯ͜͠͠·͏ɽ લஈͷϞσϧ͕গ͠Ͱ܇࿅σʔλʹରͯ͠աͳࣝผڥքΛ࡞͍ͬͯ ΔͳΒɺͦͷ݁ՌΛ࣍ஈͷϞσϧ͕ߋʹաʹֶशͯ͠͠·͏ɽ 㱺̍ͭ̍ͭͷࣄྫʹରԠ͢ΔϥϕϧΛΘͳ͍Α͏ҙΛ͏ Text 特徴量量 Numerical 特徴量量
Categorical 特徴量量 Logistic Regression Prediction Gradient Boosting Prediction աֶशͯ͠͠·͍·͢ -
訓練事例例の 特徴量量 ͓͞Β͍Lׂަࠩ֬ೝͰϞσϧΛධՁ Logistic Regression Prediction Part 1 Part 2
Part 3 Part 4 Part 5 train test test ܇࿅ࣄྫΛLׂ͢Δɽͭͷ෦ΛʮΓͷLͷ෦Ͱ༧ଌʯ͢Δɽ Γͷ1BSU Λͬͯ 1BSUͷඪมΛ༧ଌ͢Δɽ -
訓練事例例の 特徴量量 ͓͞Β͍Lׂަࠩ֬ೝͰϞσϧΛධՁ Part 1 Part 2 Part 3 Part
4 Part 5 train test test Logistic Regression Prediction Γͷ1BSU Λͬͯ 1BSUͷඪมΛ༧ଌ͢Δɽ ܇࿅ࣄྫΛLׂ͢Δɽͭͷ෦ΛʮΓͷLͷ෦Ͱ༧ଌʯ͢Δɽ -
訓練事例例の 特徴量量 ͓͞Β͍Lׂަࠩ֬ೝͰϞσϧΛධՁ LݸͷධՁͷฏۉΛͱΓɺׂʹภΓͷͳ͍ධՁͷݟੵΓΛಘΔɽ Logistic Regression Prediction Part 1 Part
2 Part 3 Part 4 Part 5 Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction -PH-PTT -PH-PTT -PH-PTT -PH-PTT -PH-PTT ฏۉͷ-PH-PTT test test test test test -
訓練事例例の 特徴量量 Lׂަࠩ֬ೝͷ༧ଌΛಛྔͱ͢Δ Logistic Regression Prediction Part 1 Part 2
Part 3 Part 4 Part 5 Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction この Prediction をメタ特徴量量として使う Ͱ͖ͨϝλಛྔݸʑͷࣄྫʹରԠ͢ΔϥϕϧΛ͍ͬͯͳ͍ɽ ʢաֶशΛى͜͞ͳ͍ͱظͰ͖Δʣ -
ςετࣄྫͷϝλಛྔ ςετࣄྫʹ͍ͭͯಉ༷ʹϝλಛྔΛ༻ҙ͢Δɽ 訓練事例例の 特徴量量 Logistic Regression Prediction Part 1 Part
2 Part 3 Part 4 Part 5 Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction train test テスト事例例の 特徴量量 -
ςετࣄྫͷϝλಛྔʢʣ ׂ֤Ͱ࡞ͨ͠Ϟσϧͷ1SFEJDUJPOͷฏۉΛ͏͜ͱͰ͖Δɽ 訓練事例例の 特徴量量 Logistic Regression Prediction Part 1 Part
2 Part 3 Part 4 Part 5 Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction Logistic Regression Prediction テスト事例例の 特徴量量 Prediction test NN モデルや early stopping など 収束判断が必要なモデルで有⽤用 Averaging -
4UBDLJOH 4UBDLFE(FOFSBMJ[BUJPO ༷ʑͳϞσϧͰ࡞ͨ͠ϝλಛྔΛूΊɼಛྔηοτΛߏ͢Δɽ Prediction Prediction Prediction Prediction Prediction Prediction Prediction
Prediction Prediction Prediction Prediction Prediction Prediction Prediction Prediction Prediction Prediction Prediction Model 1 Model 2 Model p ……… X = -
4UBDLJOH 4UBDLFE(FOFSBMJ[BUJPO ϝλಛྔ͔ΒߋʹϝλͳಛྔΛ࡞͠ɼଟԽ͢Δ͜ͱͰ͖Δɽ 訓練事例例の メタ特徴量量 テスト事例例の メタ特徴量量 Logistic Regression Prediction
Part 1 Part 2 Part 3 Part 4 Part 5 Logistic Regression Logistic Regression Logistic Regression Logistic Regression Logistic Regression Prediction Prediction Prediction Prediction Prediction Prediction test test test test test test -
4UBDLJOHΛ͏࣌ͷҙ w 4UBDLJOHʹ͏ϞσϧͷEJWFSTJUZΛ૿͢ͱޮՌతɽ w (SBEJFOUCPPTUJOH/FVSBMOFUXPSLϞσϧͷଞʹ -PHJTUJDSFHSFTTJPOL/FBSFTU/FJHICPSͳͲࢼ͢ w ҟͳΔಛྔηοτɺҟͳΔύϥϝʔλɺҟͳΔࣄྫू߹ͳͲͳ Ͳʜ w
1VCMJD-#ʹPWFSpU͠ͳ͍Α͏ؾΛ͚ͭΔɽ w ಛʹςετࣄྫ͕গͳ͍߹ަࠩ֬ೝ $7 ͷείΞΛ৴͡Δ w ํ๏ʹ͕ͳ͚Ε$7TDPSFͱ1VCMJD-#ઢܗͷؔʹ ͳΔɽͳΒͳ͚ΕݪҼ͕Ͳ͜ʹ͋Δͷ͔ߟ͑Δɽ -
ඪมΛͬͨಛྔͷΤϯίʔσΟϯά 4UBDLJOHʹؔ࿈͢Δͱͯ͠ɼඪมΛͬͨಛྔͷΤϯίʔ σΟϯάํ๏͕͋Δɽ4UBDLJOHͱಉ༷ʹ̍ͭ̍ͭͷࣄྫʹରԠ͢Δ ϥϕϧΛʢׂͷதͰʣΘͳ͍Α͏ҙΛ͏ɽ ׂ*% ΧςΰϦΧϧม ඪม Τϯίʔυ 1 エコノミー
3 (1+4) / 2 = 2.5 1 ビジネス 10 (9 + 8) / 2 = 8.5 1 ビジネス 11 (9 + 8) / 2 = 8.5 1 エコノミー 4 (1+4) / 2 = 2.5 2 エコノミー 1 (3+4) / 2 = 3.5 2 エコノミー 4 (3+4) / 2 = 3.5 2 ビジネス 9 (10+11) / 2 = 10.5 2 ビジネス 8 (10+11) / 2 = 10.5 ׂҎ֎ͷ෦͔Β ΧςΰϦΧϧม͕ಉͰ͋Δࣄྫͷ ඪมͷฏۉͰΤϯίʔυ -
/FUqJY#MFOEJOH<5ÖTDIFS+BISFS> ɿ3.4&ΛධՁࢦඪͱͨ͠༧ଌͷΞϯαϯϒϧΛߟ͑Δɻ ΰʔϧݸʑͷϞσϧͷग़ྗ͢Δ༧ଌͷઢܗճؼʹΑΓ ਅͷʹ͍ۙϕΫτϧΛಘΔ͜ͱɽ yi 2 RN y 2 RN
/YQߦྻ /ςετࣄྫɼQݸͷϞσϧͷ༧ଌΛ݁߹ͨ͠ߦྻ ਅͷʢະ؍ଌʣ yi 2 RN -
ࠓͷ w ίϯςετͱ-FBEFSCPBSEͷϝΧχζϜ w ϝλֶश 4UBDLJOH /FUqJY#MFOEJOH FUDʜ
w ਂֶश $MBTTJpDBUJPO 4FHNFOUBUJPO ը૾ͷྨλεΫͷίϯςετͰΑ͘ΘΕΔجຊతͳٕज़ɼ ը૾ͷ4FHNFOUBUJPOλεΫͷίϯςετͰޮՌతͰ͋ͬͨ τϦοΩʔͳํ๏ͷ۩ମྫΛհ -
࠷ۙͷσʔλੳίϯςετͷ w ίϯςετ্ҐʹਂֶशΛͬͨղ๏͕૿͍͑ͯΔɽ w ͨͩ͠୯ʹ4P5"Λ͑উͯΔͱ͍͏ʹͳΒͳ͍ɽجຊతͳ͜ ͱͯ͢Ͱ͖Δ͜ͱΛલఏͱͯ͠ɼσʔλλεΫධՁࢦඪʹద߹͢ Δख๏ಛผͳΞΠσΟΞΛબ͢Δ͜ͱ͕ܾΊखʹͳΔ͜ͱ͕ଟ͍ɽ ▲霧のかかった衛星画像が含まれるデータセットに 対し霧を除去する⼿手法 [He+
’09] で正規化して学習 ▲ Squeeze-and-Excitation [Hu+ '17] を応⽤用した SE-ResNeXT での実験結果や実装の共有 http://blog.kaggle.com/2017/10/17/planet-understanding-the-amazon-from-space-1st-place-winners-interview/ -
5SBOTGFS-FBSOJOH pOFUVOJOH 画像出典: http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture7.pdf ֶशσʔλ͕খ͍͞ͳΒผͷେنσʔληοτͰֶशࡁΈϞσϧ QSF USBJOFENPEFM ͷಛύλʔϯΛྲྀ༻͢Δɻ ղ͘ରͷσʔληοτ͕খنͰ͋ΕޮՌతͳํ๏ʢ˞ͨͩ͠ಉ༷ ͷಛύλʔϯΛ༗͢Δʣ
ύλʔϯ͕ࣦΘΕͯ ͠·Θͳ͍Α͏ʹɺ ϨΠϠʔ͝ͱʹֶश Λม͑ΔͳͲඍௐ ここを置き換えて クラス数を合わせる パラメータを固定 初期化して学習 パラメータを固定 σʔληοτ͕େ͖ ͍ͳΒॳظԽ͢Δ ϨΠϠʔΛ૿͢ ֶशࡁΈͷϞσϧ ༷ʑͳ։ൃऀ͕ެ։ ͍ͯ͠Δɻ -
5SBOTGFS-FBSOJOH pOFUVOJOH 画像出典: http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture7.pdf ֶशσʔλ͕খ͍͞ͳΒผͷେنσʔληοτͰֶशࡁΈϞσϧ QSF USBJOFENPEFM ͷಛύλʔϯΛྲྀ༻͢Δɻ ղ͘ରͷσʔληοτ͕খنͰ͋ΕޮՌతͳํ๏ʢ˞ͨͩ͠ಉ༷ ͷಛύλʔϯΛ༗͢Δʣ
ύλʔϯ͕ࣦΘΕͯ ͠·Θͳ͍Α͏ʹɺ ϨΠϠʔ͝ͱʹֶश Λม͑ΔͳͲඍௐ ここを置き換えて クラス数を合わせる パラメータを固定 初期化して学習 パラメータを固定 σʔληοτ͕େ͖ ͍ͳΒॳظԽ͢Δ ϨΠϠʔΛ૿͢ ֶशࡁΈͷϞσϧ ༷ʑͳ։ൃऀ͕ެ։ ͍ͯ͠Δɻ エッジなど既に獲得できているパターンが失われないように ⼩小さな学習率を設定する -
%BUB"VHNFOUBUJPO 0WFSpUUJOHΛආ͚ΔͨΊͷผͷํ๏ͱͯ͠ɺೖྗը૾ʹਓతͳ มܗΛ΄Ͳͯ͜͠܇࿅σʔληοτΛେ͖͘͢Δͱ͍͏ํ๏͕ ҰൠతʹΘΕ͍ͯΔɽ 画像出典:http://ultraist.hatenablog.com/entry/2015/03/20/121031 データサイズが膨⼤大になるので、バッチ作成時に CPU で ランダムをいれながら変形することが効率的 (Real-time
Data Augmentation)。 今は特に “Real-time” と書かなくても “Real-time” であることが多い。 ・画像から⼀一部を切り取り ・⽔水平⽅方向の flip ・回転 ・拡⼤大・縮⼩小 ・etc… -
1TFVEP-BCFMJOH 4FMGUSBJOJOH ڭࢣ͋ΓֶशͷҰͭɻ,BHHMFͰ1TFVEPMBCFMJOHͱΑ͘ݺΕͯ ͍Δɻʮ༧ଌͨ͠ςετσʔλͷҰ෦ʯΛֶशσʔλͱͯ͠Ճ͢Δɻ Γ͗͢ΔͱʮϥϕϧϊΠζΛ૿෯ͯ͠͠·͏ʯͨΊɺ )JHIDPOpEFODFͳࣄྫ͔ΒҰ෦͚ͩΛར༻͢Δͷ͕Ұൠతͳํɻ すーど Algorithm (Pseudo-Labeling):
ϥϕϧ͋Γσʔλ͔ΒΛֶश ϥϕϧͳ͠ࣄྫΛͰ༧ଌ Λϥϕϧ͋ΓσʔλʹՃɽ ͜ΕҰʹ෦ू߹ΛՃͯ͠ྑ͍ɽ ͘Γฦ͠ f x 2 Xu (Xl, yl) ( x, f ( x )) f -
4FNBOUJD4FHNFOUBUJPOϞσϧ ը૾͔ΒϐΫηϧ୯ҐͰͷྨΛߦ͏Ϟσϧɻ'VMMZ$POOFDUFE -BZFSΛ࣋ͨͳ͍'VMMZ$POWPMVUJPOBM/FUXPSL '$/ ͰϞσϧΛ ߏ͢Δ͜ͱ͕Ұൠతɻ ఆ൪ͱͯ͠4FH/FU<#BESJOBSBZBOBO `>ɺ6/FU<3POOFCFSHFS `> ͕͋Δɻ྆ऀCZQBTTͷํ๏͕ҟͳΔ͕ɺ΄΅ಉ͡ͷɻ
ηάϝϯςʔγϣϯগྔͷϥϕϧσʔλͰ&OEUPFOEͳ'$/ʹΑͬ ͯ༏Εͨ݁Ռ͕ಘΒΕΔ͜ͱ͕ΒΕ͍ͯΔɻ -
4FHNFOUBUJPOΛಓ۩ͱͯ͠͏ /0""3JHIU8IBMF$MBTTJpDBUJPO ˞લͷ4FH/FUจҎલ ˠΫϥεྨɻΫδϥ಄෦ݕग़$//ˠΫδϥྨ$// 4UBUF'BSN%JTUSBDUFE%SJWFS%FUFDUJPO ଟΫϥεྨɻ ӡసखݕग़'$/
4FH/FU ˠةݥӡసྨ$// /0""4FB-JPO$PVOUJOH τυͷ্͑͛ɻ τυݕग़'$/ 6/FU ˠ ্͑͛3JEHF3FHSFTTJPO Input Target Prediction 画像出典:https://twitter.com/toshi_k_datasci/status/760795285807247360 https://www.kaggle.com/c/noaa-fisheries-steller-sea-lion-population-count/discussion/35422 -
4QBDF/FU$IBMMFOHF എܠɿӴը૾͔Βਤ࡞ʢݐͷݕग़ʣͷࣗಈԽΛߦ͏ λεΫɿ4FNBOUJD*OTUBODF4FHNFOUBUJPO ධՁࢦඪɿݐϙϦΰϯͷඃ෴Ҏ্Λ51ͱͨ͠'TDPSF ⼊入⼒力力 出⼒力力 建物ごとの評価 被覆率 50% 以上を
TP: (A ∩ B) / (A ∪ B) > 0.5 Ground truth Prediction -
খ͍͞ΦϒδΣΫτΛΓࣺͯΔ F-Score を最⼤大とする PR トレードオフを⾒見見つける しきい値で FP が⼤大きく減る ʮখ͍͞ΦϒδΣΫτΛΓࣺͯΔʯώϡʔϦεςΟΫεΛ࣮ɻ ໘ੵΛ͖͍͠ͱͯ͠SFDBMMQSFDJTJPOͷτϨʔυΦϑΛௐ͢Δɻ
ᮢWBMJEBUJPOTFU͔Βܾఆ͢Δɻ しきい値 F-スコア Precision Recall FP TP Recall Precision F-score ˠ'TDPSF΄Ͳͷେ͖ͳվળ 難しい事例例がなくなるので Precision は上がる TP が減るので Recall は下がる -
Ξϯαϯϒϧ খ͍͞ΦϒδΣΫτʹର͢ΔᮢʹΑΔվળ͕େ͖͘ɺ ୯ମͷϞσϧͰҐ૬ͷείΞɻ Ճ͑ͯ04.ͱΞϯαϯϒϧͰҐͱͷࠩΛ·Ͱ͛ͨɻ +OSM Ensemble RGB+M x0.39 scale RGB+M
x1.0 scale 2nd place 3rd place 4th place ηάϝϯςʔγϣϯϞσϧඇৗʹύϥϝʔλ͕ෆ҆ఆͳͷͰɺ ܦݧతʹΞϯαϯϒϧ#BHHJOH͕ޮՌతͰ͋Δ͜ͱ͕ଟ͍ɻ -
݁Ռੳ ਂֶश Ґ WTΤοδݕग़ϕʔεͷΞϧΰϦζϜ Ґ Ґ *P6είΞͷΛൺֱɽ 切り出した オブジェクトの数
オブジェクトの IoU スコア (⾼高いほど良い) IoU が全体的に 10% ほど⾼高い.個々の Instance の形を正確に切り出せている. 画像出典:https://medium.com/the-downlinq/2nd-spacenet-competition-winners-code-release-c7473eea7c11 -
ؔ࿈ݚڀ ίϯςετऴྃલʹ0/&3" ϑϥϯεࠃཱߤۭӉݚڀॴ ͷ ݚڀһ͔Βಉ͡ΞΠσΟΞΛݩʹͨ͠จ͕ग़ͨɻ'VTF/FUΛ͏ ͷͰࢲͷํ๏ΑΓϞσϧύϥϝʔλ͕গͳֶ͘शޮ͕ྑͦ͞͏ɻ 出典: http://www.onera.fr/en/staff/bertrand-le-saux 'VTF/FU )B[JSCBT
` FMFNFOUXJTF TVNNBUJPOͰ࣮͞ΕΔ'VTJPO-BZFSΛ 1PPMJOHͷલʹૠೖͯ͠ෳͷCSBODIʹ͓͚Δ GFBUVSFNBQΛ߹͢Δํ๏ɻ -
ɿࢀߟจݙ 1. [Blum & Hardt '15] "The Ladder: A
Reliable Leaderboard for Machine Learning Competitions", In Proc. of the ICML '15. https://arxiv.org/abs/ 1502.04585 2. [Hardt '17] "Climbing a shaky ladder: Better adaptive risk estimation", https://arxiv.org/abs/1706.02733 3. [Töscher & Jahrer '09] "The BigChaos Solution to the Netflix Grand Prize", http://www.netflixprize.com/assets/GrandPrize2009_BPC_BigChaos.pdf 4. [Wang & Yang '17] "Diabetic Retinopathy Detection via Deep Convolutional Networks for Discriminative Localization and Visual Explanation", https:// arxiv.org/abs/1703.10757, 5. [Audebert+ '17] "Joint Learning from Earth Observation and OpenStreetMap Data to Get Faster Better Semantic Maps" In Proc. of EARTHVISION 2017 IEEE/ISPRS CVPR Workshop, https://arxiv.org/abs/1705.06057 6. [Hazirbas+ '16] "FuseNet: incorporating depth into semantic segmentation via fusion-based CNN architecture", In Proc of Asian Conference on Computer Vision 2016. -
ɿࢀߟจݙ 7. [Hu+ ’17] “Squeeze-and-Excitation Networks”, In Proc. of
the CVPR ’17. https://arxiv.org/abs/1709.01507 8. [He+ ’09] “Single Image Haze Removal”, In Proc. of the CVPR ’09. http://kaiminghe.com/cvpr09/