Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search

AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search

論文LT会で作成したAlphaX論文の説明資料です。

Masanori YANO

July 04, 2019
Tweet

More Decks by Masanori YANO

Other Decks in Science

Transcript

  1. 画像処理&機械学習 論文LT会 #4
    AlphaX: eXploring Neural Architectures
    with Deep Neural Networks and
    Monte Carlo Tree Search
    2019年7月4日(木)
    矢農 正紀 (Masanori YANO)

    View Slide

  2. 論文
    2
    AlphaX: eXploring Neural Architectures
    with Deep Neural Networks and
    Monte Carlo Tree Search
    論文のURL: https://arxiv.org/abs/1903.01747
    旧バージョン?: https://arxiv.org/abs/1805.07440
    ⇒ NASに「AlphaZero方式のMCTS」を適用した論文
    著者は、アメリカ東海岸のブラウン大学とFAIRメンバー
    (Third Authorは、東大出身の陣内佑さん)
    選んだ理由
    ・MCTSの応用に関心があり、arXiv論文を検索
    ・NASは全くの素人(汎用性に疑問、でも少しは知りたい)
    NAS: Neural Architecture Search(ニューラルアーキテクチャ探索)
    MCTS: Monte-Carlo Tree Search(モンテカルロ木探索)

    View Slide

  3. NAS(Neural Architecture Search)とは
    3
    ニューラルネットワークの「設計~学習」を探索
    ・設計: アーキテクチャ、ハイパーパラメータ
    ・学習: 重み・バイアスの最適化
    ⇒ アーキテクチャの探索には、各種パラメータも密接に関連
    数多くの論文が発表されている状況
    (参考) Literature on Neural Architecture Search
    https://www.automl.org/automl/literature-on-neural-architecture-search/
    「Neural Architecture Search: A Survey」における分類
    サーベイ論文のURL: https://arxiv.org/abs/1808.05377
    [1] 探索空間
    [2] 探索手法
    [3] 精度測定手法
    ⇒ AlphaX論文は、主に「探索手法」と「精度測定手法」

    View Slide

  4. AlphaX論文の手法のポイント(1/2)
    4
    探索手法に、MCTS(モンテカルロ木探索)
    ・MCTS自体の論文はあったが、CIFAR-10のみで並列不可
    ・AlphaXは、ImageNetでも評価を行い、並列化も実現
    ・UCB1 scoreで順番に候補を見るため、局所解を脱出可能
    (AlphaXでは、乱数を使った確率的な処理は、精度の測定)

    View Slide

  5. AlphaX論文の手法のポイント(2/2)
    5
    精度測定手法に、Meta-DNNと呼ぶネットワーク
    ・ネットワークが出力するベクトルを、Meta-DNNに通す
    ・実測値と、回のMeta-DNNの予測値から評価値

    View Slide

  6. AlphaX論文
    6
    性能の評価は、NASBenchとCIFAR-10とImageNet
    ・ImageNetでは、top1 errが24.5% / top5 errが7.8%
    (参考: EfficientNet-B0は、top1 errが23.7% / top5 errが6.8%)
    ・AlphaX論文では、探索の高速化による優位性も主張
    記載があるGPU使用量は、CIFAR-10で16GPU×14日間

    View Slide

  7. まとめ
    7
    AlphaXは、MCTSとMeta-DNNで効率よく探索
    ・500GPU×4日間のNASNetに対して、16GPU×14日間
    ・論文では「MXNetで実行」とあり、Kerasのコードが公開
    https://github.com/linnanwang/AlphaX-NASBench101
    ・キャプションや物体検出やスタイル変換も、定性的に評価
    所感
    ・シミュレーションが行える環境なら、やはりMCTSは強い
    ・NASの研究はスピード感があって、論文執筆は大変そう
    ・arXivに2バージョンある理由は、採録のための努力かも

    View Slide