Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning

論文LT会で作成したChinese Checkers論文の説明資料です。

Transcript

1. 画像処理＆機械学習 論文LT会 #3
   Towards Understanding Chinese Checkers
   with Heuristics, Monte Carlo Tree Search,
   and Deep Reinforcement Learning
   2019年6月7日(金)
   矢農 正紀 (Masanori YANO)
   

   View Slide

2. 論文
   2
   Towards Understanding Chinese Checkers
   with Heuristics, Monte Carlo Tree Search,
   and Deep Reinforcement Learning
   論文のURL: https://arxiv.org/abs/1903.01747
   ⇒ Chinese Checkersに、AlphaZeroの手法を適用した論文
   著者は、オーストラリアのシドニー大学のメンバー
   選んだ理由
   ・AlphaZeroの応用に関心があり、arXiv論文を検索
   - AlphaGoから3年が経過しても、期待ほど広がらない
   - CNNによる状態の認識やMCTSは、応用もあると期待
   CNN: Convolutional Neural Network(畳み込みニューラルネットワーク)
   MCTS: Monte-Carlo Tree Search(モンテカルロ木探索)
   

   View Slide

3. Google DeepMindメンバーの囲碁研究
   3
   [0] ICLR 2015の論文: CNNで「KGS Go Server」の打ち手を55%予測
   https://arxiv.org/pdf/1412.6564.pdf
   [1] AlphaGo Fan: 「KGS Go Server」の棋譜データでプロ棋士に勝利
   https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf
   [2] AlphaGo Lee: トップクラスのプロ棋士に勝利
   [3] AlphaGo Master: ネット碁で、プロ棋士に無敗
   [4] AlphaGo Zero: 棋譜データを使わずに強く
   https://deepmind.com/documents/119/agz_unformatted_nature.pdf
   [5] AlphaZero: 囲碁に加えて、チェスと将棋でも強く
   https://deepmind.com/documents/260/alphazero_preprint.pdf
   ⇒ AlphaZeroで、Google DeepMindの「囲碁研究は」終了
   論文に関心ある場合は、赤字の論文からが読みやすいかも
   

   View Slide

4. Chinese Checkersとは
   4
   手番ごとにコマを動かすゲームで、中国とは無関係
   ・全ての自分のコマを、対岸まで移動させることが目的
   ・ふつうの1マス移動に加えて、他のコマ一つを飛び越せる
   ・飛び越して動かすときは、繰り返し飛び越すことが可能
   ・囲碁や将棋やチェッカーと異なり、コマは取られない
   ・論文では二人対戦に限定し、コマの数も赤と青6個ずつ
   ・論文では、距離が2以上のコマも飛び越せるルールを採用
   

   View Slide

5. 論文のChinese Checkersの状態表現
   5
   7×7×7のテンソルを入力とし、ResNet構造のCNN
   ・7×7の行列に、コマのID(1～6)を埋め込み
   ・(赤と青)×3ターン＋手番＝7枚のチャネル
   ・AlphaGo ZeroやAlphaZeroと同様に、
   CNNは、盤面の価値と打ち手の方策を出力
   

   View Slide

6. 論文のMCTS(モンテカルロ木探索)
   6
   MCTSを175回繰り返し、1盤面の価値と方策を取得
   [1] 次に探索すべき手を求める(ノイズを加えて、確率的に)
   [2] まだ探索していない手であれば、新しいLeafを展開
   [3] 訪問ルートとLeafのCNN予測値を使って、データを更新
   ⇒ 180回の対戦で得られたデータを使って、CNNを学習
   損失関数は、AlphaGo ZeroやAlphaZeroと同一
   交差エントロピーなので「－」が付くはず
   

   View Slide

7. 論文の結果・まとめ
   7
   Chinese Checkersに、AlphaZeroの手法を適用
   ・ヒューリスティックを入れれば、経験者に100戦中63勝
   (探索範囲を制限／最初はGreedyなエージェントで対戦)
   ・tabula rasa(ゼロから)ではヒューリスティック入りに全敗
   ・比較対象のQ学習では、基本的な打ち方しか獲得できず
   所感
   ・GTX 1080一枚のハードウェア環境で経験者超えは凄い
   ・コマ1個ごとに1チャネルとした方が、学習しやすそう
   (拡張も踏まえて、チャネル数の増加を嫌った可能性も)
   

   View Slide