Fast AutoAugment

2019年 NeurIPSに投稿された「Fast AutoAugment」の紹介スライドです。
NeurIPS 2019 読み会 in 京都のLTで使った資料になります。
間違ってるところ等ございましたらご指摘いただけますと幸いです。
ご質問などあればTwitterからお願いします。
SlideShare: https://www.slideshare.net/ssusera81123/fast-auto-augment

Transcript

1. NeurIPS 2019 論文読み会
   Fast AutoAugment
   Inoue Yuichi
   (@inoichan)
   

   View Slide

2. - データセットを見て、人がどのAugmentationをするか考えていた...！
   引用: albumentations-team/albumentations
   Augmentation...
   

   View Slide

3. AutoAugment (2017, Ekin D. Cubuk et al.)
   - 強化学習を使ってデータセットに最適なAugmentationを探索
   - コントローラRNNでAugmentationの組み合わせをサンプリング
   Augmentationしたデータでモデルを学習
   検証データの精度を報酬として与えてコントローラRNNを更新
   

   View Slide

4. - SOTAを更新した！
   - 他のデータセットでも有効なAugmentation policy (transfer)
   AutoAugment (2017, Ekin D. Cubuk et al.)
   

   View Slide

5. AutoAugment (2017, Ekin D. Cubuk et al.)
   しかし、学習に膨大な計算リソースが必要！！！
   

   View Slide

6. Fast AutoAugmentの工夫点
   ❖ ベイズ最適化で探索
   ➢ どの処理をするか
   ➢ どのくらいの確率でするか
   ➢ どのくらいの強度で処理をするか
   ❖ Augmentationしてないデータでモデルを学習し、
   推論時に精度が良くなるAugmentation policyを探す。
   

   View Slide

7. Fast AutoAugmentの処理
   

   View Slide

8. 1個分のAugmentation処理
   Fast AutoAugmentの処理
   

   View Slide

9. p : Augmentation処理をする確率
   λ : 各Augmentation処理の強度
   (magnitude)
   Fast AutoAugmentの処理
   

   View Slide

10. 各画像にNτ種類のAugmentation処理をする
    Fast AutoAugmentの処理
    

    View Slide

11. Fast AutoAugmentの処理（イメージ図）
    

    View Slide

12. Fast AutoAugmentのアルゴリズム
    

    View Slide

13. Fast AutoAugmentのアルゴリズム
    訓練データをK分割する(Stratified)
    各Foldでさらに
    DM : モデル訓練
    DA : Augmentationしてモデル評価
    に分ける。
    

    View Slide

14. Fast AutoAugmentのアルゴリズム
    DMでモデルをスクラッチから学習
    

    View Slide

15. Fast AutoAugmentのアルゴリズム
    DAをAugmentationして推論する。
    Lossが小さくなるように以下を探索
    - Augmentationの取り方
    - 各Augmentationの確率p
    - 各Augmentationの強度λ
    T回探索を繰り返す。
    

    View Slide

16. Fast AutoAugmentのアルゴリズム
    上位N個のAugmentation policyを選び、
    最終的なAugmentationのリストに加える。
    

    View Slide

17. Fast AutoAugmentのアルゴリズム（イメージ図）
    最終的にはこれでモデルを訓練する！
    

    View Slide

18. 計算コストの削減に成功
    AutoAugmentよりはるかに早く計算できてる！（GPU hours）
    

    View Slide

19. 従来手法に匹敵する精度
    

    View Slide

20. Thanks!!!
    Link:
    Fast AutoAugment
    arXive: https://arxiv.org/abs/1905.00397
    Github: https://github.com/kakaobrain/fast-autoaugment
    AutoAugment
    arXive: https://arxiv.org/abs/1805.09501
    　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（図はこれらの論文から引用してます。）
    

    View Slide