JSAI Cup 2018に惨敗!! Random Erasing & Mixupやってみた / Try Random Erasing & Mixup

59613a9ebdbfacb213e86dd470c52025?s=47 moonlight-aska
August 26, 2018
410

JSAI Cup 2018に惨敗!! Random Erasing & Mixupやってみた / Try Random Erasing & Mixup

2018年8月26日開催の「大江橋Pythonの会#2」のLT資料です.

59613a9ebdbfacb213e86dd470c52025?s=128

moonlight-aska

August 26, 2018
Tweet

Transcript

  1. 2.

    自己紹介 ➢鶴田 彰 ➢外資系メーカー勤務 ➢昔は, ・パターン認識(音声, 文字, etc) ・ユーザ適応(レコメンド, etc)

    なども・・・ 最近は, 週末プログラマとして また機械学習に再チャレンジ中! Facebook :moonlight.aska Twitter :@moonlight_aska Blog :みらいテックラボ http://mirai-tec.hatenablog.com
  2. 3.
  3. 4.

    データの確認(1) 55カテゴリ 分類 果菜類 トマト カボチャ キューリ ナス ピーマン ・・・

    葉菜類 ハクサイ キャベツ コマツナ ミズナ レタス ・・・ 茎菜類 アスパラ ネギ タマネギ ニンニク 根菜類 ダイコン ゴボウ ニンジン レンコン ショウガ イモ類 ジャガイ モ サトイモ サツマイモ ナガイモ : 菌茸類 エノキ エリンギ マイタケ マッシュルーム シイタケ シメジ 果物 アボカド バナナ クリ リンゴ レモン その他 エビ タコ タマゴ
  4. 6.

    JSAI Cupでやったこと 実装制限 ◆ API(Google Cloud Vision等)の利用は禁止. ◆ ImageNetなどによる学習済モデルの利用は 禁止.

    ◆ 2つ以上の異なるモデルを用いてアンサンブ ル学習させるのは禁止. 画像認識で性能upする方法 ◆ 前処理(高解像度, 正規化, ほか) ◆ Data Augmentation ◆ 転移学習(Fine Tuning) ◆ Ensemble学習(複数モデル, 複数入力) ◆ モデル構造の改良 ◆ ハイパーパラメータの調整 : ◼ 公知モデルの使用 ◼ データオーギュメンテーション ◼ 複数入力によるアンサンブル (Test Time Augmentation)
  5. 9.

    入賞者の手法(1) Data Augmentation 1. Random Erasing Data Augmentation (2017/8) 2.

    mixup : Beyond Empirical Risk Minimization (2017/10) 0.7 * dog + 0.3 * cat
  6. 10.

    入賞者の手法(2) 2018年度人工知能学会データ解析コンペティション発表資料より 半教師あり学習 1. Mean teachers are better role models

    (2017/3) 生徒, 教師は互いに別々のノイズが付与さ れたデータをもとに予測を行い, 生徒はラベルと教師の予測との一致をもと に学習を行い, 教師は, エポック終了後に生徒の学習結果 をマージするらしい.
  7. 17.

    Mixupとは? X = λX1 + (1 – λ)X2 y =

    λy1 + (1 – λ)y2 2つの訓練サンプルのペア(X1 , y1 ), (X2 , y2 )を 混合して新たな訓練サンプルを作成 但し, λ∈[0, 1]はベータ分布Be(α, α)からのサンプリング ラベルy1 , y2 も混合するところが特徴的 0.7 * dog + 0.3 * cat