Poke_Battle_Loggerの紹介

https://yumenosora.connpass.com/event/276849/
2023/04/20「”エンジニア”なら誰でもOK!! カオスエンジニアLT会(虎の穴ラボ)」 で発表した資料です。
ポケモンの対戦動画から情報を抽出し、可視化するアプリケーション(Work in Progress)の紹介をします。

google slide
https://docs.google.com/presentation/d/1LQ4iQhZoCYw2vmnP1BxwFb77is6GH68Nj-sEcTCR-Ns/edit?usp=sharing

repo
https://github.com/fufufukakaka/poke_battle_logger

Transcript

1. Poke Battle Logger の紹介 2023/04/20 虎の穴ラボ LT 大会 fufufukakaka(@fukkaa1225)
2. ポケモンのランクマッチ 知っている方・やっている方 🙋🙋🙋 2/18
3. 対戦を記録して振り返りたい → 動画を撮ろう 3/18 AVerMedia 2Plus <
5. … 5/18
6. 動画を見返すよりも 効率よく振り返りたい 6/18 勝った試合はよく見るけど ...<
7. Poke Battle 📹 Logger
8. Poke Battle Logger の概要 • 動画から対戦の統計を取り出す動画解析バッチ ◦ 6vs6 の見せ合いでどんなポケモンを出したか ◦ 実際に選んだ 3匹はなんだったのか ◦ 先発は誰だったのか ◦ どのポケモン同士が対面したのか • それらを集計・表示する web application の開発 8/18
9. 6vs6 の見せ合いでどんなポケモンを出したか • swin transformer + template matching • 6体の画像が出ている場所はいつも同じなので、そこを切り取る • その後、classifier に通す • スコアが低い画像は template matching で取り出す • それまでに試していた手法 ◦ template maching ◦ augnet → faiss + template maching • モデルは huggingface hub にあります ◦ https://huggingface.co/fufufukakaka/pokemon_image_classifier
10. 実際に選んだ 3匹はなんだったのか • 対戦中の右上・左下に出るポケモン名が出ているウィンドウを読み取る • tesseract(v5, best model) で読み取る • 問題点: ポケモンは多言語対応 • → tesseract も多言語全部使って対応する • 誤り訂正が必要 → 多言語全部のポケモン名称を用意して、edit distance で近い 名前にする • edit distance がしきい値を満たさなかった場合は template matching 10/18 Orthworm,ミミズズ,Ferdeter,Schlurm,꿈트렁,拖拖蚓,拖拖蚓 <
11. 実際に選んだ 3匹はなんだったのか • 対戦中の右上・左下に出るポケモン名が出ているウィンドウを読み取る • tesseract(v5, best model) で読み取る • 問題点: ポケモンは多言語対応 • → tesseract も多言語全部使って対応する • 誤り訂正が必要 → 多言語全部のポケモン名称を用意して、edit distance で近い 名前にする • edit distance がしきい値を満たさなかった場合は template matching 11/18
12. 12/18 挑発ビルドコノヨザルに負けました <
13. 13/18
14. 14/18
15. 15/18
16. 16/18 👑
17. 技術スタックなど • FastAPI + NextJS + ChakraUI • ユーザ認証: Auth0 • DB: MySQL • 動画解析: OpenCV • fufufukakaka のレートはまだ低くて 1650 くらい ◦ シーズン1,2はフワライドで遊んでいた ◦ 3あたりから真面目にやりはじめた ◦ お気に入りはゴツゴツメット素眠りミミズズ ◦ 今までのポケモンはシーズン 1だけ遊んで終わりだったけど、この アプリを作ったことでモチベが続いている 17/18
18. 今後の展望 • 技の読み取り ◦ 英語ロムなら出来るが、この機能を実装すると日本語ロムが地獄になる (OCR精度の問題) • 「似ている試合」の検索 ◦ ポケモンをベクトルで表現できれば、ある試合をベクトルで表現できて vector search ができる ▪ パーティ・3体の並び・行動順などから、ポケモンを word・並びを sentence に見立てて item2vec が学習できる ◦ ポケ徹のパーティ情報とかを抽出して学習したいが、スクレイピングしたくない ...ので、自分でたくさん対 戦してデータをためる (現在150試合しかデータがない ) • デプロイ ◦ まだ動画からの情報抽出がそれなりにミスるので、手で直す機会がかなり多い ▪ 手動で DB をいじって直している ... ◦ 直すインタフェースを web上で実装して、α版リリースをしたい ◦ 人に使ってもらいたい Thank You!<