AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search

論文LT会で作成したAlphaX論文の説明資料です。

Transcript

1. 画像処理＆機械学習 論文LT会 #4 AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search 2019年7月4日(木) 矢農 正紀 (Masanori YANO)
2. 論文 2 AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search 論文のURL: https://arxiv.org/abs/1903.01747 旧バージョン？: https://arxiv.org/abs/1805.07440 ⇒ NASに「AlphaZero方式のMCTS」を適用した論文 著者は、アメリカ東海岸のブラウン大学とFAIRメンバー (Third Authorは、東大出身の陣内佑さん) 選んだ理由 ・MCTSの応用に関心があり、arXiv論文を検索 ・NASは全くの素人(汎用性に疑問、でも少しは知りたい) NAS: Neural Architecture Search(ニューラルアーキテクチャ探索) MCTS: Monte-Carlo Tree Search(モンテカルロ木探索)
3. NAS(Neural Architecture Search)とは 3 ニューラルネットワークの「設計～学習」を探索 ・設計: アーキテクチャ、ハイパーパラメータ ・学習: 重み・バイアスの最適化 ⇒ アーキテクチャの探索には、各種パラメータも密接に関連 数多くの論文が発表されている状況 (参考) Literature on Neural Architecture Search https://www.automl.org/automl/literature-on-neural-architecture-search/ 「Neural Architecture Search: A Survey」における分類 サーベイ論文のURL: https://arxiv.org/abs/1808.05377 [1] 探索空間 [2] 探索手法 [3] 精度測定手法 ⇒ AlphaX論文は、主に「探索手法」と「精度測定手法」
4. AlphaX論文の手法のポイント(1/2) 4 探索手法に、MCTS(モンテカルロ木探索) ・MCTS自体の論文はあったが、CIFAR-10のみで並列不可 ・AlphaXは、ImageNetでも評価を行い、並列化も実現 ・UCB1 scoreで順番に候補を見るため、局所解を脱出可能 (AlphaXでは、乱数を使った確率的な処理は、精度の測定)
5. AlphaX論文の手法のポイント(2/2) 5 精度測定手法に、Meta-DNNと呼ぶネットワーク ・ネットワークが出力するベクトルを、Meta-DNNに通す ・実測値と、回のMeta-DNNの予測値から評価値
6. AlphaX論文 6 性能の評価は、NASBenchとCIFAR-10とImageNet ・ImageNetでは、top1 errが24.5% ／ top5 errが7.8% (参考: EfficientNet-B0は、top1 errが23.7% ／ top5 errが6.8%) ・AlphaX論文では、探索の高速化による優位性も主張 記載があるGPU使用量は、CIFAR-10で16GPU×14日間
7. まとめ 7 AlphaXは、MCTSとMeta-DNNで効率よく探索 ・500GPU×4日間のNASNetに対して、16GPU×14日間 ・論文では「MXNetで実行」とあり、Kerasのコードが公開 https://github.com/linnanwang/AlphaX-NASBench101 ・キャプションや物体検出やスタイル変換も、定性的に評価 所感 ・シミュレーションが行える環境なら、やはりMCTSは強い ・NASの研究はスピード感があって、論文執筆は大変そう ・arXivに2バージョンある理由は、採録のための努力かも