AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search

論文LT会で作成したAlphaX論文の説明資料です。

Transcript

1. 画像処理＆機械学習 論文LT会 #4
   AlphaX: eXploring Neural Architectures
   with Deep Neural Networks and
   Monte Carlo Tree Search
   2019年7月4日(木)
   矢農 正紀 (Masanori YANO)
   

   View Slide

2. 論文
   2
   AlphaX: eXploring Neural Architectures
   with Deep Neural Networks and
   Monte Carlo Tree Search
   論文のURL: https://arxiv.org/abs/1903.01747
   旧バージョン？: https://arxiv.org/abs/1805.07440
   ⇒ NASに「AlphaZero方式のMCTS」を適用した論文
   著者は、アメリカ東海岸のブラウン大学とFAIRメンバー
   (Third Authorは、東大出身の陣内佑さん)
   選んだ理由
   ・MCTSの応用に関心があり、arXiv論文を検索
   ・NASは全くの素人(汎用性に疑問、でも少しは知りたい)
   NAS: Neural Architecture Search(ニューラルアーキテクチャ探索)
   MCTS: Monte-Carlo Tree Search(モンテカルロ木探索)
   

   View Slide

3. NAS(Neural Architecture Search)とは
   3
   ニューラルネットワークの「設計～学習」を探索
   ・設計: アーキテクチャ、ハイパーパラメータ
   ・学習: 重み・バイアスの最適化
   ⇒ アーキテクチャの探索には、各種パラメータも密接に関連
   数多くの論文が発表されている状況
   (参考) Literature on Neural Architecture Search
   https://www.automl.org/automl/literature-on-neural-architecture-search/
   「Neural Architecture Search: A Survey」における分類
   サーベイ論文のURL: https://arxiv.org/abs/1808.05377
   [1] 探索空間
   [2] 探索手法
   [3] 精度測定手法
   ⇒ AlphaX論文は、主に「探索手法」と「精度測定手法」
   

   View Slide

4. AlphaX論文の手法のポイント(1/2)
   4
   探索手法に、MCTS(モンテカルロ木探索)
   ・MCTS自体の論文はあったが、CIFAR-10のみで並列不可
   ・AlphaXは、ImageNetでも評価を行い、並列化も実現
   ・UCB1 scoreで順番に候補を見るため、局所解を脱出可能
   (AlphaXでは、乱数を使った確率的な処理は、精度の測定)
   

   View Slide

5. AlphaX論文の手法のポイント(2/2)
   5
   精度測定手法に、Meta-DNNと呼ぶネットワーク
   ・ネットワークが出力するベクトルを、Meta-DNNに通す
   ・実測値と、回のMeta-DNNの予測値から評価値
   

   View Slide

6. AlphaX論文
   6
   性能の評価は、NASBenchとCIFAR-10とImageNet
   ・ImageNetでは、top1 errが24.5% ／ top5 errが7.8%
   (参考: EfficientNet-B0は、top1 errが23.7% ／ top5 errが6.8%)
   ・AlphaX論文では、探索の高速化による優位性も主張
   記載があるGPU使用量は、CIFAR-10で16GPU×14日間
   

   View Slide

7. まとめ
   7
   AlphaXは、MCTSとMeta-DNNで効率よく探索
   ・500GPU×4日間のNASNetに対して、16GPU×14日間
   ・論文では「MXNetで実行」とあり、Kerasのコードが公開
   https://github.com/linnanwang/AlphaX-NASBench101
   ・キャプションや物体検出やスタイル変換も、定性的に評価
   所感
   ・シミュレーションが行える環境なら、やはりMCTSは強い
   ・NASの研究はスピード感があって、論文執筆は大変そう
   ・arXivに2バージョンある理由は、採録のための努力かも
   

   View Slide