Fast AutoAugment

2019年 NeurIPSに投稿された「Fast AutoAugment」の紹介スライドです。
NeurIPS 2019 読み会 in 京都のLTで使った資料になります。
間違ってるところ等ございましたらご指摘いただけますと幸いです。
ご質問などあればTwitterからお願いします。
SlideShare: https://www.slideshare.net/ssusera81123/fast-auto-augment

Transcript

1. NeurIPS 2019 論文読み会 Fast AutoAugment Inoue Yuichi (@inoichan)
2. - データセットを見て、人がどのAugmentationをするか考えていた...！ 引用: albumentations-team/albumentations Augmentation...
3. AutoAugment (2017, Ekin D. Cubuk et al.) - 強化学習を使ってデータセットに最適なAugmentationを探索 - コントローラRNNでAugmentationの組み合わせをサンプリング Augmentationしたデータでモデルを学習 検証データの精度を報酬として与えてコントローラRNNを更新
4. - SOTAを更新した！ - 他のデータセットでも有効なAugmentation policy (transfer) AutoAugment (2017, Ekin D. Cubuk et al.)
5. AutoAugment (2017, Ekin D. Cubuk et al.) しかし、学習に膨大な計算リソースが必要！！！
6. Fast AutoAugmentの工夫点 ❖ ベイズ最適化で探索 ➢ どの処理をするか ➢ どのくらいの確率でするか ➢ どのくらいの強度で処理をするか ❖ Augmentationしてないデータでモデルを学習し、 推論時に精度が良くなるAugmentation policyを探す。
7. Fast AutoAugmentの処理
8. 1個分のAugmentation処理 Fast AutoAugmentの処理
9. p : Augmentation処理をする確率 λ : 各Augmentation処理の強度 (magnitude) Fast AutoAugmentの処理
10. 各画像にNτ種類のAugmentation処理をする Fast AutoAugmentの処理
11. Fast AutoAugmentの処理（イメージ図）
12. Fast AutoAugmentのアルゴリズム
13. Fast AutoAugmentのアルゴリズム 訓練データをK分割する(Stratified) 各Foldでさらに DM : モデル訓練 DA : Augmentationしてモデル評価 に分ける。
14. Fast AutoAugmentのアルゴリズム DMでモデルをスクラッチから学習
15. Fast AutoAugmentのアルゴリズム DAをAugmentationして推論する。 Lossが小さくなるように以下を探索 - Augmentationの取り方 - 各Augmentationの確率p - 各Augmentationの強度λ T回探索を繰り返す。
16. Fast AutoAugmentのアルゴリズム 上位N個のAugmentation policyを選び、 最終的なAugmentationのリストに加える。
17. Fast AutoAugmentのアルゴリズム（イメージ図） 最終的にはこれでモデルを訓練する！
18. 計算コストの削減に成功 AutoAugmentよりはるかに早く計算できてる！（GPU hours）
19. 従来手法に匹敵する精度
20. Thanks!!! Link: Fast AutoAugment arXive: https://arxiv.org/abs/1905.00397 Github: https://github.com/kakaobrain/fast-autoaugment AutoAugment arXive: https://arxiv.org/abs/1805.09501 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（図はこれらの論文から引用してます。）