NeurIPS 2019 論文読み会 Fast AutoAugment Inoue Yuichi (@inoichan)

- データセットを見て、人がどのAugmentationをするか考えていた...！ 引用: albumentations-team/albumentations Augmentation...

AutoAugment (2017, Ekin D. Cubuk et al.) - 強化学習を使ってデータセットに最適なAugmentationを探索 - コントローラRNNでAugmentationの組み合わせをサンプリング Augmentationしたデータでモデルを学習 検証データの精度を報酬として与えてコントローラRNNを更新

- SOTAを更新した！ - 他のデータセットでも有効なAugmentation policy (transfer) AutoAugment (2017, Ekin D. Cubuk et al.)

AutoAugment (2017, Ekin D. Cubuk et al.) しかし、学習に膨大な計算リソースが必要！！！

Fast AutoAugmentの工夫点 ❖ ベイズ最適化で探索 ➢ どの処理をするか ➢ どのくらいの確率でするか ➢ どのくらいの強度で処理をするか ❖ Augmentationしてないデータでモデルを学習し、 推論時に精度が良くなるAugmentation policyを探す。

Fast AutoAugmentの処理

1個分のAugmentation処理 Fast AutoAugmentの処理

p : Augmentation処理をする確率 λ : 各Augmentation処理の強度 (magnitude) Fast AutoAugmentの処理

各画像にNτ種類のAugmentation処理をする Fast AutoAugmentの処理

Fast AutoAugmentの処理（イメージ図）

Fast AutoAugmentのアルゴリズム

Fast AutoAugmentのアルゴリズム 訓練データをK分割する(Stratified) 各Foldでさらに DM : モデル訓練 DA : Augmentationしてモデル評価 に分ける。

Fast AutoAugmentのアルゴリズム DMでモデルをスクラッチから学習

Fast AutoAugmentのアルゴリズム DAをAugmentationして推論する。 Lossが小さくなるように以下を探索 - Augmentationの取り方 - 各Augmentationの確率p - 各Augmentationの強度λ T回探索を繰り返す。

Fast AutoAugmentのアルゴリズム 上位N個のAugmentation policyを選び、 最終的なAugmentationのリストに加える。

Fast AutoAugmentのアルゴリズム（イメージ図） 最終的にはこれでモデルを訓練する！

計算コストの削減に成功 AutoAugmentよりはるかに早く計算できてる！（GPU hours）

従来手法に匹敵する精度

Thanks!!! Link: Fast AutoAugment arXive: https://arxiv.org/abs/1905.00397 Github: https://github.com/kakaobrain/fast-autoaugment AutoAugment arXive: https://arxiv.org/abs/1805.09501 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（図はこれらの論文から引用してます。）