Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning

論文LT会で作成したChinese Checkers論文の説明資料です。

Transcript

1. 画像処理＆機械学習 論文LT会 #3 Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning 2019年6月7日(金) 矢農 正紀 (Masanori YANO)
2. 論文 2 Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning 論文のURL: https://arxiv.org/abs/1903.01747 ⇒ Chinese Checkersに、AlphaZeroの手法を適用した論文 著者は、オーストラリアのシドニー大学のメンバー 選んだ理由 ・AlphaZeroの応用に関心があり、arXiv論文を検索 - AlphaGoから3年が経過しても、期待ほど広がらない - CNNによる状態の認識やMCTSは、応用もあると期待 CNN: Convolutional Neural Network(畳み込みニューラルネットワーク) MCTS: Monte-Carlo Tree Search(モンテカルロ木探索)
3. Google DeepMindメンバーの囲碁研究 3 [0] ICLR 2015の論文: CNNで「KGS Go Server」の打ち手を55%予測 https://arxiv.org/pdf/1412.6564.pdf [1] AlphaGo Fan: 「KGS Go Server」の棋譜データでプロ棋士に勝利 https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf [2] AlphaGo Lee: トップクラスのプロ棋士に勝利 [3] AlphaGo Master: ネット碁で、プロ棋士に無敗 [4] AlphaGo Zero: 棋譜データを使わずに強く https://deepmind.com/documents/119/agz_unformatted_nature.pdf [5] AlphaZero: 囲碁に加えて、チェスと将棋でも強く https://deepmind.com/documents/260/alphazero_preprint.pdf ⇒ AlphaZeroで、Google DeepMindの「囲碁研究は」終了 論文に関心ある場合は、赤字の論文からが読みやすいかも
4. Chinese Checkersとは 4 手番ごとにコマを動かすゲームで、中国とは無関係 ・全ての自分のコマを、対岸まで移動させることが目的 ・ふつうの1マス移動に加えて、他のコマ一つを飛び越せる ・飛び越して動かすときは、繰り返し飛び越すことが可能 ・囲碁や将棋やチェッカーと異なり、コマは取られない ・論文では二人対戦に限定し、コマの数も赤と青6個ずつ ・論文では、距離が2以上のコマも飛び越せるルールを採用
5. 論文のChinese Checkersの状態表現 5 7×7×7のテンソルを入力とし、ResNet構造のCNN ・7×7の行列に、コマのID(1～6)を埋め込み ・(赤と青)×3ターン＋手番＝7枚のチャネル ・AlphaGo ZeroやAlphaZeroと同様に、 CNNは、盤面の価値と打ち手の方策を出力
6. 論文のMCTS(モンテカルロ木探索) 6 MCTSを175回繰り返し、1盤面の価値と方策を取得 [1] 次に探索すべき手を求める(ノイズを加えて、確率的に) [2] まだ探索していない手であれば、新しいLeafを展開 [3] 訪問ルートとLeafのCNN予測値を使って、データを更新 ⇒ 180回の対戦で得られたデータを使って、CNNを学習 損失関数は、AlphaGo ZeroやAlphaZeroと同一 交差エントロピーなので「－」が付くはず
7. 論文の結果・まとめ 7 Chinese Checkersに、AlphaZeroの手法を適用 ・ヒューリスティックを入れれば、経験者に100戦中63勝 (探索範囲を制限／最初はGreedyなエージェントで対戦) ・tabula rasa(ゼロから)ではヒューリスティック入りに全敗 ・比較対象のQ学習では、基本的な打ち方しか獲得できず 所感 ・GTX 1080一枚のハードウェア環境で経験者超えは凄い ・コマ1個ごとに1チャネルとした方が、学習しやすそう (拡張も踏まえて、チャネル数の増加を嫌った可能性も)