Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Fast AutoAugment

Eae3142b0987e2df6468ce085da3c7b7?s=47 Inoichan
February 11, 2020

Fast AutoAugment

2019年 NeurIPSに投稿された「Fast AutoAugment」の紹介スライドです。
NeurIPS 2019 読み会 in 京都のLTで使った資料になります。
間違ってるところ等ございましたらご指摘いただけますと幸いです。
ご質問などあればTwitterからお願いします。
SlideShare: https://www.slideshare.net/ssusera81123/fast-auto-augment

Eae3142b0987e2df6468ce085da3c7b7?s=128

Inoichan

February 11, 2020
Tweet

More Decks by Inoichan

Other Decks in Technology

Transcript

  1. NeurIPS 2019 論文読み会 Fast AutoAugment Inoue Yuichi (@inoichan)

  2. - データセットを見て、人がどのAugmentationをするか考えていた...! 引用: albumentations-team/albumentations Augmentation...

  3. AutoAugment (2017, Ekin D. Cubuk et al.) - 強化学習を使ってデータセットに最適なAugmentationを探索 -

    コントローラRNNでAugmentationの組み合わせをサンプリング Augmentationしたデータでモデルを学習 検証データの精度を報酬として与えてコントローラRNNを更新
  4. - SOTAを更新した! - 他のデータセットでも有効なAugmentation policy (transfer) AutoAugment (2017, Ekin D.

    Cubuk et al.)
  5. AutoAugment (2017, Ekin D. Cubuk et al.) しかし、学習に膨大な計算リソースが必要!!!

  6. Fast AutoAugmentの工夫点 ❖ ベイズ最適化で探索 ➢ どの処理をするか ➢ どのくらいの確率でするか ➢ どのくらいの強度で処理をするか

    ❖ Augmentationしてないデータでモデルを学習し、 推論時に精度が良くなるAugmentation policyを探す。
  7. Fast AutoAugmentの処理

  8. 1個分のAugmentation処理 Fast AutoAugmentの処理

  9. p : Augmentation処理をする確率 λ : 各Augmentation処理の強度 (magnitude) Fast AutoAugmentの処理

  10. 各画像にNτ種類のAugmentation処理をする Fast AutoAugmentの処理

  11. Fast AutoAugmentの処理(イメージ図)

  12. Fast AutoAugmentのアルゴリズム

  13. Fast AutoAugmentのアルゴリズム 訓練データをK分割する(Stratified) 各Foldでさらに DM : モデル訓練 DA : Augmentationしてモデル評価

    に分ける。
  14. Fast AutoAugmentのアルゴリズム DMでモデルをスクラッチから学習

  15. Fast AutoAugmentのアルゴリズム DAをAugmentationして推論する。 Lossが小さくなるように以下を探索 - Augmentationの取り方 - 各Augmentationの確率p - 各Augmentationの強度λ

    T回探索を繰り返す。
  16. Fast AutoAugmentのアルゴリズム 上位N個のAugmentation policyを選び、 最終的なAugmentationのリストに加える。

  17. Fast AutoAugmentのアルゴリズム(イメージ図) 最終的にはこれでモデルを訓練する!

  18. 計算コストの削減に成功 AutoAugmentよりはるかに早く計算できてる!(GPU hours)

  19. 従来手法に匹敵する精度

  20. Thanks!!! Link: Fast AutoAugment arXive: https://arxiv.org/abs/1905.00397 Github: https://github.com/kakaobrain/fast-autoaugment AutoAugment arXive:

    https://arxiv.org/abs/1805.09501                                        (図はこれらの論文から引用してます。)