JSAI Cup 2018に惨敗!! Random Erasing & Mixupやってみた / Try Random Erasing & Mixup

Transcript

1. 1.

   JSAI Cup2018に惨敗!! Random Erasing & Mixupやってみた 2018/8/26 Moonlight明日香 大江橋Pythonの会 #2

   LT
2. 2.

   自己紹介 ➢鶴田 彰 ➢外資系メーカー勤務 ➢昔は, ・パターン認識(音声, 文字, etc) ・ユーザ適応(レコメンド, etc)

   なども・・・ 最近は, 週末プログラマとして また機械学習に再チャレンジ中! Facebook ：moonlight.aska Twitter ：@moonlight_aska Blog ：みらいテックラボ http://mirai-tec.hatenablog.com
3. 3.

   JSAI Cup 2018とは? テーマ：画像認識 クックパッド様の提供する画像データを使用して, 食材の分類の 画像認識アルゴリズムの作成に挑戦 データと評価関数 55種類の食材カテゴリの1つに分類 [学習データ]

   [テストデータ] ・11,995枚 ・3,995枚 [評価関数] Accuracy = :集合Aの要素数 :サンプル数 :i番目の真値 ෝ :i番目の予測値 ( = ෡ = 1,2,… , )
4. 4.

   データの確認(1) 55カテゴリ 分類 果菜類 トマト カボチャ キューリ ナス ピーマン ・・・

   葉菜類 ハクサイ キャベツ コマツナ ミズナ レタス ・・・ 茎菜類 アスパラ ネギ タマネギ ニンニク 根菜類 ダイコン ゴボウ ニンジン レンコン ショウガ イモ類 ジャガイ モ サトイモ サツマイモ ナガイモ ： 菌茸類 エノキ エリンギ マイタケ マッシュルーム シイタケ シメジ 果物 アボカド バナナ クリ リンゴ レモン その他 エビ タコ タマゴ
5. 5.

   データの確認(2) データの一例 注) クックパッド様に画像の使用許諾取得済

6. 6.

   JSAI Cupでやったこと 実装制限 ◆ API(Google Cloud Vision等)の利用は禁止. ◆ ImageNetなどによる学習済モデルの利用は 禁止.

   ◆ 2つ以上の異なるモデルを用いてアンサンブ ル学習させるのは禁止. 画像認識で性能upする方法 ◆ 前処理(高解像度, 正規化, ほか) ◆ Data Augmentation ◆ 転移学習(Fine Tuning) ◆ Ensemble学習(複数モデル, 複数入力) ◆ モデル構造の改良 ◆ ハイパーパラメータの調整 ： ◼ 公知モデルの使用 ◼ データオーギュメンテーション ◼ 複数入力によるアンサンブル (Test Time Augmentation)
7. 7.

   コンテストの結果 ・ ・ ・ 応募(3/16) 9位(95.0%) 締切(3/29) 14位 ↓ 最終

   19位(93.2%) 惨 敗!! Top 98.3%
8. 8.

   記事をもとに振り返り http://tech.nikkeibp.co.jp/atcl/nxt/column/18/00323/061600003/?P=1

9. 9.

   入賞者の手法(1) Data Augmentation 1. Random Erasing Data Augmentation (2017/8) 2.

   mixup : Beyond Empirical Risk Minimization (2017/10) 0.7 * dog + 0.3 * cat
10. 10.

    入賞者の手法(2) 2018年度人工知能学会データ解析コンペティション発表資料より 半教師あり学習 1. Mean teachers are better role models

    (2017/3) 生徒, 教師は互いに別々のノイズが付与さ れたデータをもとに予測を行い, 生徒はラベルと教師の予測との一致をもと に学習を行い, 教師は, エポック終了後に生徒の学習結果 をマージするらしい.
11. 11.

    入賞者の手法(3) 半教師あり学習 2. Pseudo-labelling 2018年度人工知能学会データ解析コンペティション発表資料より

12. 12.

    Random Erasing Data Augmentation やってみた!!

13. 13.

    Random Erasing Data Augmentationとは? 画像の一部を矩形領域でマスクしても, 犬とわかる!! 過学習を防ぐのに効果あり!!

14. 14.

    アルゴリズム https://arxiv.org/abs/1708.04896 p : Random Erasingを使用する確率 Sl, Sh : マスク領域の最小/最大比率

    r1, r2 : マスク領域のアスペクト比の最大/最小値
15. 15.

    画像生成結果 入力画像 生成画像

16. 16.

    Mixupもやってみた!!

17. 17.

    Mixupとは? X = λX1 + (1 – λ)X2 y =

    λy1 + (1 – λ)y2 2つの訓練サンプルのペア(X1 , y1 ), (X2 , y2 )を 混合して新たな訓練サンプルを作成 但し, λ∈[0, 1]はベータ分布Be(α, α)からのサンプリング ラベルy1 , y2 も混合するところが特徴的 0.7 * dog + 0.3 * cat
18. 18.

    ベータ分布

19. 19.

    画像生成結果 α = 0.5

20. 20.

    効果は？ 金魚分類タスク(22種類の分類)でやってみたが… ⇒ ほとんど効果みられず. 考えられること: 学習/評価データが少ない為か!? 学習データ：880 (約40サンプル/種類) 評価データ： 87

    (約4サンプル/種類)
21. 21.

    最後に, 金魚分類タスクとは？ 金魚AI(愛)育成プロジェクト ・金魚の見分け難しい ・体調わかるようになりたい http://mirai-tec.hatenablog.com/entry/2018/07/30/235036 ▪金魚データの収集 ▪金魚22種類の分類

22. 22.

    Thank You!