Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JSAI Cup 2018に惨敗!! Random Erasing & Mixupやってみた ...
Search
moonlight-aska
August 26, 2018
0
880
JSAI Cup 2018に惨敗!! Random Erasing & Mixupやってみた / Try Random Erasing & Mixup
2018年8月26日開催の「大江橋Pythonの会#2」のLT資料です.
moonlight-aska
August 26, 2018
Tweet
Share
More Decks by moonlight-aska
See All by moonlight-aska
【入門】プロンプトの書き方のコツ / Tips for writing prompts
aska
0
160
CHATGPT。はじめの一歩 / ChatGPT. Get Started
aska
0
110
「Kingyo AI Navi」アプリ / Kingyo AI Navi App
aska
0
240
Kingo AI Navi LINEをもっと使い倒せ!!
aska
0
110
Depth画像で物体検知やってみたー。/ Objects Detection with Depth Images
aska
0
710
Kingyo AI Naviアプリ開発 / Kingyo AI Navi App
aska
0
410
AutoML Vision Edgeで金魚分類モデルを学習してみた / Kingyo Classification Model with AutoML Vision Edge
aska
0
540
AutoML Vision Edge + ML Kit for Firebase ⇒ Kingyo Classification
aska
1
670
Kingyo AI Navi
aska
0
640
Featured
See All Featured
Embracing the Ebb and Flow
colly
86
4.7k
Adopting Sorbet at Scale
ufuk
77
9.5k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
We Have a Design System, Now What?
morganepeng
53
7.7k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Making Projects Easy
brettharned
116
6.3k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
GitHub's CSS Performance
jonrohan
1031
460k
Visualization
eitanlees
146
16k
Transcript
JSAI Cup2018に惨敗!! Random Erasing & Mixupやってみた 2018/8/26 Moonlight明日香 大江橋Pythonの会 #2
LT
自己紹介 ➢鶴田 彰 ➢外資系メーカー勤務 ➢昔は, ・パターン認識(音声, 文字, etc) ・ユーザ適応(レコメンド, etc)
なども・・・ 最近は, 週末プログラマとして また機械学習に再チャレンジ中! Facebook :moonlight.aska Twitter :@moonlight_aska Blog :みらいテックラボ http://mirai-tec.hatenablog.com
JSAI Cup 2018とは? テーマ:画像認識 クックパッド様の提供する画像データを使用して, 食材の分類の 画像認識アルゴリズムの作成に挑戦 データと評価関数 55種類の食材カテゴリの1つに分類 [学習データ]
[テストデータ] ・11,995枚 ・3,995枚 [評価関数] Accuracy = :集合Aの要素数 :サンプル数 :i番目の真値 ෝ :i番目の予測値 ( = = 1,2,… , )
データの確認(1) 55カテゴリ 分類 果菜類 トマト カボチャ キューリ ナス ピーマン ・・・
葉菜類 ハクサイ キャベツ コマツナ ミズナ レタス ・・・ 茎菜類 アスパラ ネギ タマネギ ニンニク 根菜類 ダイコン ゴボウ ニンジン レンコン ショウガ イモ類 ジャガイ モ サトイモ サツマイモ ナガイモ : 菌茸類 エノキ エリンギ マイタケ マッシュルーム シイタケ シメジ 果物 アボカド バナナ クリ リンゴ レモン その他 エビ タコ タマゴ
データの確認(2) データの一例 注) クックパッド様に画像の使用許諾取得済
JSAI Cupでやったこと 実装制限 ◆ API(Google Cloud Vision等)の利用は禁止. ◆ ImageNetなどによる学習済モデルの利用は 禁止.
◆ 2つ以上の異なるモデルを用いてアンサンブ ル学習させるのは禁止. 画像認識で性能upする方法 ◆ 前処理(高解像度, 正規化, ほか) ◆ Data Augmentation ◆ 転移学習(Fine Tuning) ◆ Ensemble学習(複数モデル, 複数入力) ◆ モデル構造の改良 ◆ ハイパーパラメータの調整 : ◼ 公知モデルの使用 ◼ データオーギュメンテーション ◼ 複数入力によるアンサンブル (Test Time Augmentation)
コンテストの結果 ・ ・ ・ 応募(3/16) 9位(95.0%) 締切(3/29) 14位 ↓ 最終
19位(93.2%) 惨 敗!! Top 98.3%
記事をもとに振り返り http://tech.nikkeibp.co.jp/atcl/nxt/column/18/00323/061600003/?P=1
入賞者の手法(1) Data Augmentation 1. Random Erasing Data Augmentation (2017/8) 2.
mixup : Beyond Empirical Risk Minimization (2017/10) 0.7 * dog + 0.3 * cat
入賞者の手法(2) 2018年度人工知能学会データ解析コンペティション発表資料より 半教師あり学習 1. Mean teachers are better role models
(2017/3) 生徒, 教師は互いに別々のノイズが付与さ れたデータをもとに予測を行い, 生徒はラベルと教師の予測との一致をもと に学習を行い, 教師は, エポック終了後に生徒の学習結果 をマージするらしい.
入賞者の手法(3) 半教師あり学習 2. Pseudo-labelling 2018年度人工知能学会データ解析コンペティション発表資料より
Random Erasing Data Augmentation やってみた!!
Random Erasing Data Augmentationとは? 画像の一部を矩形領域でマスクしても, 犬とわかる!! 過学習を防ぐのに効果あり!!
アルゴリズム https://arxiv.org/abs/1708.04896 p : Random Erasingを使用する確率 Sl, Sh : マスク領域の最小/最大比率
r1, r2 : マスク領域のアスペクト比の最大/最小値
画像生成結果 入力画像 生成画像
Mixupもやってみた!!
Mixupとは? X = λX1 + (1 – λ)X2 y =
λy1 + (1 – λ)y2 2つの訓練サンプルのペア(X1 , y1 ), (X2 , y2 )を 混合して新たな訓練サンプルを作成 但し, λ∈[0, 1]はベータ分布Be(α, α)からのサンプリング ラベルy1 , y2 も混合するところが特徴的 0.7 * dog + 0.3 * cat
ベータ分布
画像生成結果 α = 0.5
効果は? 金魚分類タスク(22種類の分類)でやってみたが… ⇒ ほとんど効果みられず. 考えられること: 学習/評価データが少ない為か!? 学習データ:880 (約40サンプル/種類) 評価データ: 87
(約4サンプル/種類)
最後に, 金魚分類タスクとは? 金魚AI(愛)育成プロジェクト ・金魚の見分け難しい ・体調わかるようになりたい http://mirai-tec.hatenablog.com/entry/2018/07/30/235036 ▪金魚データの収集 ▪金魚22種類の分類
Thank You!