SoccerNet GSRの紹介と技術応用：選手視点映像を提供するサッカー作戦盤ツール

本資料は、以下イベントの登壇資料です。

Sports Tech Meetup Vol. 1〜スポーツの未来を創る、AIとデータの最前線〜
https://mixi.connpass.com/event/369207/

Transcript

1. ©MIXI SoccerNet GSRの紹介と技術応⽤： 選⼿視点映像を提供するサッカー作戦盤 ツール
2. 22 ©MIXI 自己紹介 登内 雅人 とのうち まさと 株式会社MIXI 開発本部 AIモデリングG • 普段やってること • AI関連の研究開発 • 主にサッカーの解析、顔認識、生成などの コンピュータビジョン系のタスク • その他アプリケーション開発全般 • サッカー観戦が趣味で、推しは 久保建英 です。 今回は、 SoccerNet Game State Reconstruction（GSR）についての紹介に加え、 PoCレベルですが、GSR技術の応用例の一つとして作成したツールを紹介します。
3. ©MIXI SoccerNet GSR
4. 4 ©MIXI SoccerNet GSRとは サッカーの試合映像から選⼿の位置や属性を推論し、2D座標上に試合の状態を再構築するタスク • サッカーの試合分析、戦術分析などを⾏う上での元になる技術 • 従来は⼈の⼿によりデータが作られていたが、近年ではAIによる⾃動化が進んできている 引用元：https://github.com/SoccerNet/sn-gamestate
5. 5 ©MIXI SoccerNet GSRとは こちらの論⽂でタスク⾃体が定義されました（データセットや評価指標も含む）。 • 論⽂：SoccerNet Game State Reconstruction: End-to-End Athlete Tracking and Identification on a Minimap • ソースコード：https://github.com/SoccerNet/sn-gamestate CVPR Workshopで開催されているSoccerNet Challengeに、GSRタスクも2024年から 追加されました。 ベースライン実装も⽤意されているので簡単に試すことができます。
6. 6 ©MIXI 技術要素 • Multi Object Tracking（MOT） ◦ Object Detection(person) ◦ Tracking(on/off)、ReID • Pitch Localization ◦ Pitch Keypoint Detection ◦ ホモグラフィ変換 • Identification ◦ 役割分類 ▪ player, goalkeeper, referee, other ◦ 背番号認識（OCR） ◦ チーム分類（クラスタリング等） • その他 ◦ カメラキャリブレーション ◦ フレーム補間、Tracklet Consistency、 ◦ etc... 引用元：https://arxiv.org/abs/2404.08401v2 引用元：https://arxiv.org/abs/2401.09942
7. 7 ©MIXI データセット 30秒 x 200本のサッカー放送映像に対し、選⼿の位置や属性がアノテーションされている。 引用元：https://github.com/SoccerNet/sn-gamestate
8. 8 ©MIXI 評価指標：GS-HOTA 全て合っていないとスコアに加算されないという鬼畜やりがいのある指標です。
9. 9 ©MIXI SoccerNet GSR Challenge 2025の出場結果 • MIXI x Playboxで出場  => 最終成績４位 • GS-HOTAとしては、61.64を記録 ◦ ベースラインを⼤きく更新 ◦ １位と２pt程の差
10. ©MIXI 選⼿視点映像を提供するサッカー作戦盤ツール
11. 11 ©MIXI 課題背景 • サッカーの指導‧戦術ミーティングにおいて、現状では ホワイトボードとマグネットを使ったアナログな⽅法で 戦術指導が⾏われている。 ◦ これは選⼿からすると3⼈称2D視点であり、実際の 体感値と乖離が⽣じている。 • 既存研究から、同じシチュエーションでも 視点により 選⼿のプレー選択に差異があることも判明している。 ◦ => 指導時の⾒せ⽅は重要である証明 ◦ 論⽂リンク   3⼈称2D視点と同時に、    1⼈称3D視点（選⼿視点）を提供する作戦盤ツールを作成
12. 12 ©MIXI 作ったもの（デモ）
13. 13 ©MIXI その他の課題背景 その他、単に別視点を提供するだけでなく、デジタル化により以下の改善も考えられます。 • 反復可能にする ◦ スポーツなどのアスリートの能⼒向上においては反復練習が重要 ◦ => 指導した履歴などを保存管理して、好きな時に参照できるように • 試合や練習の特定のシーンの再現 ◦ 現状は⼿作業でマグネットの配置を変えているので、試合や練習の特定のシーンの振 り返りの際に、厳密に正確な選⼿配置で指導を⾏えているわけではない ◦ => GSR技術により選⼿の正確な位置を解析し、それを取り込む ▪ ※将来的には⾝⻑‧体重などの情報も取得してより厳密な再現をしたい • （TODO）AR/VR技術と組み合わせてより正確な体感値を提供する ※いくつかの機能で特許出願中
14. 14 ©MIXI ユースケース 想定する使⽤の流れ： 1. 試合や練習をする 2. GSR技術で全てのシーンの選⼿配置を解析 3. 振り返りたい⽬的のシーンの選⼿配置を解析結果から取り込む 4. コーチ‧選⼿含めた戦術指導 5. 後から選⼿単独で好きな時に振り返り
15. 15 ©MIXI まとめ • MIXIのスポーツへの取り組み事例の⼀つとして、戦術指導の改善に向けた PoCを紹介しました。 • GSR技術は、⼀般的には⼤規模なデータ分析に応⽤されることが多いですが、ス ポーツチームの現場レベルの課題を吸い上げると、他にも様々な活⽤が期待でき るんじゃないかと思っています。 ※ちなみに作戦盤ツールの技術周りは、MIXI DEVELOPERS Tech Blog のこちらの記事 に掲載されているので、興味ある⽅はそちらも覗いてみてください。
16. ©MIXI