[論文紹介] Beyond Monte Carlo Tree Search: Playing Go with Deep Alternative Neural Network and Long-Term Evaluation

ArxivTimes輪講で発表したときの資料です

Transcript

1. [ 論文紹介] Beyond Monte Carlo Tree Search: Playing Go with Deep Alternative Neural Network and Long‑Term Evaluation Jinzhuo Wang, Wenmin Wang, Xiongtao Chen, Ronggang Wang, Wen Gao 2017/07/07 ‑ 水原 悠
2. 概要 Deep Alternative Neural Network (DANN) とLong‑Term Evaluation (LTE) を組み合わせた新しい囲碁対局手法 DANN 単体での次の手予測でDCNN を用いた従来手法を上回る精度 DANN とLTE を組み合わせた結果、MCTS に基づく従来の対局エン ジンに勝ち越す DCNN + MCTS (AlphaGo など) には及ばない? 2
3. 先行研究(MCTS) モンテカルロ・ シミュレー ションによる盤面評価( 勝率計算) と木探 索を組み合わせた手法 Selection 12/21 7/10 5/8 0/3 2/4 5/6 1/2 2/3 2/3 2/3 3/3 Expansion 12/21 7/10 5/8 0/3 2/4 5/6 1/2 2/3 2/3 2/3 3/3 0/0 Simulation 12/21 7/10 5/8 0/3 2/4 5/6 1/2 2/3 2/3 2/3 3/3 0/0 0/1 Backpropagation 12/22 7/11 5/8 0/3 2/4 5/7 1/2 2/3 2/3 2/3 3/4 0/1 図 : Wikipedia ‑ Monte_Carlo_tree_search より 3
4. 先行研究(DCNN) DCNN に囲碁盤面の特徴量を入力し、 次の手を予測させる(Policy) 同様の入力・ ネットワー ク構造で盤面評価値も可能(Value) 図 : Silver et al. Mastering the Game of Go with Deep Neural Networks and Tree Search (2016) より 4
5. システム全体 DANN とLTE を組み合わせ、 次の手(Final Action) を決定する プロの棋譜から学習済みのDANN が複数の候補手を生成 DANN への入力は現在の盤面から得た41 の特徴量 p はその手が打たれる確率を表す DANN による候補手をLTE モジュー ルによって評価 各候補手に対し、 その先20 手程度の報酬を計算 (E [R]) 最終的にp ×E [R]が最大になる手が選択される i i i i 5
6. 論文中で使用しているデー タ GoGoD プロ同士の対局棋譜 82,609 局 https://gogodonline.co.uk/ PGD プロ同士の対局棋譜 253,233 局 今回の論文のために作成 https://github.com/wangjinzhuo/pgd/ 6
7. 入力特徴量 41 種類の特徴量をチャンネルに分割してDANN に入力 (19 x 19 x 41) 7
8. Deep Alternative Neural Network (DANN) 同一著者による先行研究 Deep Alternative Neural Network: Exploring Contexts as Early as Possible for Action Recognition (NIPS 2016) 動画からの人の動作認識に対してDANN を適用 8
9. DANN (Contd.) CNN Layer とRNN Layer を交互に重ねる 右図は時間方向に展開したときの様子 ReLU を使用 9
10. DANN (Contd.) 全体のアー キテクチャ 6 層のAlternative Layer カー ネル数 : 64,128,256,256,512,512 カー ネルサイズ : 3 x 3 各層の間に2 x 2 の Max Pooling 最後に2 層のFully Connected Layer(1024 ユニット) 10
11. DANN の次の手予測精度 モデルごとのTop‑1 予測精度を計測 B_6C_2FC がベー スライン (6 層CNN+2 層FC) 左表:1 列目: ベー スラインモデルにAL 層を挿入したとき 例) AL_5C_2FC : 1 層AL+5 層CNN+2 層FC 以下、 出力側にずらしていく 4 列目:AL 層の数を増加したとき 右表:RNN Layer におけるT を増加させたとき 11
12. DANN の次の手予測精度 Top‑n 予測の場合 従来手法(DCNN) との比較 12
13. Long‑Term Evaluation (LTE) RNN ベー スのネットワー クによってシミュレー ションを行う センサー コントロー ルl によって着目する点を制限しつつ、 方策π によって着手a を選択 同様の手法の解説スライド : recurrent models of visual attention メモ ‑ SlideShare t t 13
14. LTE (Contd.) 目的関数: 報酬の合計の期待値 論文中、 報酬に関する記載がない？ システム全体の図から推測すると、 なんらかの方法で地を計算 し、 それを利用している様子 14
15. LTE (Contd.) LTE の学習方法: ベー スライン付きREINFORCE アルゴリズム( 式5) タイムステップTだけのエピソー ドをM回繰り返す 以下の方策勾配を用いてパラメー タθを更新 15
16. パラメー タによる性能変化 左図:Episode 数によるTop‑1 予測精度の変化 右図:Future Steps によるTop‑1 予測精度の変化 両者に最適なパラメー タを用いるとTop‑1 予測精度はGoGoD 61%, PGD 56% となった 16
17. 従来ソフトとの対局結果 MCTS ベー スのMoGo, Pachi, Fuego 等に勝利 DCNN + MCTS を組み合わせたDarkForest (Tian and Zhu 2016) と比べると勝率は低い 17
18. Future Work DANN の構造 Residual にすると効率が良いかもしれない LTE の実装 さらに碁の知識を取り入れる 18
19. 参考文献 Jinzhuo Wang, Wenmin Wang, Ronggang Wang, Wen Gao. Beyond Monte Carlo Tree Search: Playing Go with Deep Alternative Neural Network and Long‑Term Evaluation. arXiv:1706.04052 (2017). https://arxiv.org/abs/1706.04052 19