GKE上でオセロの強化学習やってみた

Transcript

1. GKE上でオセロの強化学習やってみた 株式会社スリーシェイク Sreake事業部 赤川 大空 Copyright © 3-shake, Inc. Al l Right s Reserved.
2. 自己紹介 - 赤川大空（Akasan） - 株式会社スリーシェイク Sreake事業部 アプリチームの中で、特にML領域を担当 - - MLOpsの構築支援や生成AIアプリケーションの実装 - NVIDIA Inceptionパートナーとしての活動のリード 最近の興味 - MLOps - ML/AI - クラウド（Google Cloudを中心） 2
3. アジェンダ 1. オセロの強化学習について 2. GKEで環境構築 3. フロントエンドからアクセスしてみる 3
4. 01 オセロの強化学習について Copyright © 3-shake, Inc. Al l Right s Reserved. 4
5. オセロとは 説明する必要はないかと思いますが、超有名なゲームです • 2人のプレイヤーでするゲーム • 黒と白のコマをルールに則り置いていき、最終的に自分の色のコマが多い方がかち • 先行は黒、後攻は白 • 盤は8x8で、最初に中心に交差する形で黒と白が2x2のサイズで置かれる • 違う色で挟まれると、その間の色を変えることができる • 縦横斜めどの方向でも挟むことができれば色を変えられる 5
6. 強化学習とは 強化学習とは、試行錯誤して成功や失敗を経験し、 頭を良くしていく人工知能の学習方法の一つです • エージェントは環境とやりとりする能力がある（オセロで言うとプレイヤー） • エージェントは環境を認識することができる（盤面を知る） • エージェントは独自のルールに則って行動をすることができる（コマを置く） • どのような行動をしたか、最終的に成功したかなどさまざまな要因によってエージェン トは報酬を得ることができる 強化学習の方法は、報酬を少しでも多くゲットできるように独自ルールを鍛える作業です 6
7. 今回作ったモデル 今回モデルの実装も全てAIにやらせてみました 7
8. 02 GKEで環境構築 Copyright © 3-shake, Inc. Al l Right s Reserved. 8
9. GKEとは 今回はGKEを使って強化学習基盤を作ります GKEとは以下のようなサービスです • Kubernetesオープンソースコンテナオーケストレーションプラットフォーム • Autopilot：自動でリソースを管理し、アプリケーションの実装に集中できる • Standard：手動で柔軟な設計を実現 • Google Cloudのロギングなど各種サービスとの連携 https://docs.cloud.google.com/kubernetesengine/docs/concepts/kubernetes-engine- 9 overview?hl=ja
10. なぜGKEで？？ 今回実現しようとしていることはローカルPCでも実現可能です 今回は以下のような理由によりGKEでやってみました • 多くの学習を同時に実行したく、ローカルPCだとリソースが心配 • 必要に応じてスケーリングできるような仕組みにしたかった • GKEを単純に使いたかった なお今回は利用しませんでしたが、大規模なディープラーニングモデルを利用したモ デルを使うときはGPUを利用できるPodを作成することもできます 大規模なワークロードを実現したい方にももってこいなサービスです！ ※ ローカルPC（macbook）で動かしたらファンが爆音で回ってましたw 10
11. 今回のアーキテクチャ 今回構築するにあたり要件は以下のように定義しました • A開発するモデルの種類は以下（内部でいくつかあります） マスの位置に対してスコアを手動定義 探索アルゴリズムにより深い探索を実現 ニューラルネットワークによる打ち手の計算 • Podの用途：フロントエンド、バックエンド、モデル学習、モデル評価 • モデルファイルはCloud Storageに配置し、gcsfuseを利用してマウント 11
12. 全体アーキテクチャ 12
13. Pod構成 13
14. ノードプール 14
15. モデル学習 学習Podは学習用のバイナリを継続して実行し続け学習をひたすら行なっています 15
16. 技術スタック 16
17. デプロイ手順 以下の手順でデプロイしました 1. TerraformによりリソースをGoogle Cloud上に作成 2. ローカルでサーバイメージをビルドし、Artifact Registryにアップロード 3. Terraformのoutputを元に、kubectl等でGKE上のK8s環境を更新 17
18. 03 フロントからアクセスしてみる Copyright © 3-shake, Inc. Al l Right s Reserved. 18
19. AIと戦う機能 19
20. モデルの学習状況の可視化 20
21. 対他モデルとの戦績 21
22. 内部で学習がどんな感じで動いているか 22
23. 他のモデルとの対戦成績 23
24. 任意のモデルの対戦も見れます 24
25. CPUとメモリ使用量 25
26. まとめ Copyright © 3-shake, Inc. Al l Right s Reserved. 26
27. まとめ • オセロの強化学習モデルをAIに考えさせたから、次は学習機能自体も自分で作りたい • GKEの構成はもっと工夫できるところがありそうなので、パフォーマンス上げたい • 盤面データを集めて学習に利用できるような環境は用意してないので今後やってみたい • Rayを使って分散コンピューティングを実現して、よりリソースをうまく使いながらデー タ基盤構築・モデルの学習をさせてみたい 触ってみたい人は右のQRかリンクからGitHubみてください！ https://github.com/Akasan/Othello_k8s 27