MIRU 2026 チュートリアル

スポーツAI研究の最前線

Transcript

1. スポーツAI研究の最前線 2026/8/3 MIRU チュートリアル 藤井 慶輔 名古屋大学 大学院情報学研究科 准教授 サイバーエージェント AI Sports Tech Lab Founding Lead https://sites.google.com/view/keisuke198619jp/
2. 2 自己紹介： 藤井 慶輔（ふじい けいすけ） 年 所属 対象 2008-14 京大人環 個人・対人運動 （１対１）を計測・分析 2014-17 名大保体 （学振PD） 集団運動（1対1 ～多対多） を計測・分析 2017-19 理研AIP （研究員） 集団運動 （提供されたデータを利用） 2019- 名大情報 （助教～准教授） 2026- CA Sports AI Tech Lab 産業応用への高まりが期待 (Founding Lead) CA Spors AI Tech Labへ参画(2026) 対人動作分析(2012) 立命館大学にて計測 画像処理でデータ取得も 筑波大学にて撮影(2024) 半面での5対5 (2015) 東海大学にて計測 NBAのゲームデータ (SportVU)
3. 3 本日：スポーツから見るコンピュータビジョン研究 • スポーツ映像解析では、検出・追跡・姿勢推定の先に、行動 や相互作用の理解が必要になる • 既存のCV手法がどこまで使え、どうなると難しくなるかを整理 する • 公開データ、研究事例、自分たちの取り組みを通して、まだ 十分に扱われていない課題を考える 範囲： • 特定競技への応用に限定しない（話題は事例ベースなので偏る） • データ取得→前処理→モデリング→動作の評価までを一貫して扱う このチュートリアルの目的 • スポーツ映像理解を構成する主要なCVタスクとデータの理解 • 一般的なCV手法がスポーツで失敗する理由を理解 • スポーツを題材とした新しい研究課題を見つける
4. 2026年に発刊 本日の話題 1. スポーツのAI・データ活用の現在 2. 機械学習を用いた選手の動きの評価 課題①コンピュータビジョンによるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手/局面の評価・提案 3. 研究を広げるための基盤と今後の課題 • 公開データ・コード・コンペティションなど 4
5. 5 最近は、審判補助へのテクノロジー活用が注目 AIが競技のルールに 合わせられるので普及 （HAWK-EYE, Sony） 認識系の例： テニス・バレー・卓球など 評価系の例： 体操の採点 （富士通） AIの答えと人間の感覚 が一致しない場合がある （AI側が大きく改善するか ルールを変える必要がある） （出典：FIFA） 空間系の例： 対人（接触）反則系は難しく、 サッカーオフサイド判定など 議論になりやすい… 審判に限らず、選手の 強化などへの活用も期待 （難易度は高い）
6. 6 FIFA World Cup 2026における試合全体の3D再構成 16台の光学カメラとConnected Ballが、選手の3D Poseとボールを高頻度で同期・追跡 DAZN Immersive Viewの3D再構成動画： Harry Kane blazes over the bar vs Ghana Norway Forward Erling Haaland and Iraq goalkeeper Jalal Hassan • 各選手29点・50 Hz、ボールセンサー500 Hzのデータから試合全体を3D再構成 • VARやFIFA AI Proに加え、自由視点・選手視点・3Dハイライトへ展開 ※FIFA公式資料はWC2026のトラッキングデータ取得ベンダー名を明記していない BBC FIFA World Cup 3D Experience, Source: BBC Sport / Immersiv.io; video reproduced from Hurrey, The Athletic, 2026.
7. チームのデータ活用は、サッカーなどのトップレベル環境では すでに日常業務になりつつある • • • トップレベルでは映像・データ・指標が試合後に共有されすぐに次の準備へ 一方で、その環境は高価な計測設備、専門人材、非公開データ、閉じた運用方法に 支えられている 同じ技術を異なる競技・撮影環境・利用者へ広げるには、CVによる自動計測と 再現可能な解析基盤が必要になる 専門人材・ 経済コスト が課題 AIで民主化 できないか？ 本チュートリアルでは、この「閉じた高度な環境」をどう開くことが出来るか、あるいは現状 の最先端技術でもできないことは何かを考えることを通して、スポーツAI研究を理解する
8. 8 なぜスポーツAI研究が難しいのか 課題③良し悪しの評価、 どうすれば良いかの提案（→RLなど） 課題④（全体） AIエコシステムの 発展と民主化 課題②結果分析だけでなく 将来予測が必要（→ML） （従来：経験に 基づく予測） （従来：主観に 基づく意見） （従来： ボール周りのみの分析） 課題①データのアクセスと生成技術（→CV）
9. スポーツAI研究の主なコミュニティ コンピュータビジョン スポーツ科学・医学 CVSports (CVPRw), MMSports (ACMMMw) 各会議に散在 映像から位置・姿勢・行動等を取得 主にジャーナル： 計測、身体機能、負荷、個人の パフォーマンスが中心 機械学習・ロボティクス スポーツアナリティクス MLSA（ECML-PKDDw), RoboCup等散在 予測・評価・エージェントモデル MIT SSACやジャーナル等、 現場・ビジネス・チームの分析が中心 9 （スポーツアナリティクス/機械学習の論文はどこで読めるか？｜note も参照） • スポーツAIは複数分野の境界にあり、問題設定・データ・評価基準 がまだ統一されていない • 本発表では、CVでデータを取得し、MLで予測・評価し、提案する方法論 を考える
10. 10 スポーツのデータ分析の前提 • スポーツ動作は感覚で行わ れる。試行錯誤して上手く なっていくが、その過程はわ かっていないことの方が多い 赤がNeymar選手（NHKの撮影協力） • 身体内部の感覚なので、一般的に言語化するのが難しい • 同じ説明を聞いてすぐにできる人もいれば、そうでない人もいる。 • 技術的な問題、体力的な問題、メンタル的な問題など様々 • そのあたりを総合的に深く理解した指導者・コーチに出会える と運動がうまくなることが多い • そういう人がどこにでもいるわけではないので、それも課題 • 今は映像にアクセスしやすくなったが、今後は定量化・可視化したい
11. 11 スポーツ戦術の評価とその前提 勝敗や得点などの結果はすぐに手に入り、理解できる 例えば、以下について知ることが難しい（が知りたい）： • その結果はどのように定量的に説明・評価できるか？ • 次のゲームではどのようにプレーしたら良いか？ 問題： 基本的に正解（最善）がない • 正解のプレーをされても、その裏をかけば優位になる • 経験豊富なコーチ/選手なら良さそうな戦術を選択できる？ • 経験上そうだと思っているが、主観や結果論かもしれない • 共通理解できる基準（数値）で評価できないか？ • まずはデータの収集が必要（できれば自動で）
12. 13 計測：モーションキャプチャから実環境映像まで 計測システムごとに、得られる情報と制約は異なる • 高精度なモーションキャプチャは正確だが、環境が制約される • ウェアラブルセンサは有用だが、装着が必要で競技利用に制約がある • マーカーレス映像は拡張性が高いが、ノイズが多い 方式 モーションキャプチャ センサ 強み 精密な計測 機械・生理学的情報 実試合で利用可能 制約 人工的な環境 装着が必要 マーカーレス ノイズ・ラベル不足 本講演では、実環境のマーカーレス手法とアノテーションデータを主な対象とする
13. 13 スポーツにおけるアノテーションデータの多層構造 階層 物理 情報 ドメイン 依存 アノテーション 例 視覚 bounding box 選手・ボール・器具 ID player / object ID 背番号・個体・チーム 身体 pose / skeleton / mesh 関節・姿勢・身体向き 幾何 field / court registration 競技空間の座標 イベント action / event パス・シュート・ジャンプ 戦術 role / intent カバー・囮・プレス・連携 価値 decision quality 良い選択・貢献・リスク 深いラベルほど、専門知識・文脈・競技特性に依存する ラベル不足は常に課題だが、「何をラベルと呼ぶか」の設計も課題
14. 14 なぜアノテーションデータが少ないのか 構造的なボトルネックがある • データアクセスが限定的 • カメラの設定が場所や競技レベルによって異なる • 遮蔽などにより選手の同定が難しい • 戦術的な知識を必要とするためラベリングコストが高い • 重要なラベルは離散的ではなく、文脈依存である
15. 15 本日の話題 1. スポーツのAI・データ活用の現在 2. 機械学習を用いた選手の動きの評価 課題①コンピュータビジョンによるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手/局面の評価・提案 3. 研究を広げるための基盤と今後の課題 • 公開データ・コード・コンペティションなど 15
16. 16 基本的問題： 映像から構造化データへ （LLM/VLMは後述） • 各工程により構造化されたデータが生成されるが、誤差は 下流の指標に伝播する • 個別タスクの性能だけでなく、パイプライン全体の 不確実性と評価設計が重要になる • 競技が変わっても、映像から構造化データへ変換する という問題設定は共通している
17. (2-4) フィールド、選手の検出と追跡 ①フィールド登録→②選手位置推定→③人物同定のコンペでの例 （ゴール型スポーツではこれが理想） SoccerNet Challenge 2024/25 Game State Reconstruction [Somers+24, CVSports] https://github.com/SoccerNet/sn-gamestate 17
18. ① チームスポーツのフィールド登録データセット 18 [Magera+24, CVSports] 最近だとhttps://github.com/roboflow/sportsからもサッカー・バスケは利用可能 公開されているデータは少量、 種目が限られている ※ピンホールモデル：カメラを理想化したモデルで、 物体の3D位置を2D画像に投影する際の関係を 表現するために使われる
19. 19 最近のアプローチの1つ [Gutiérrez-Pérez & Agudo 24, CVSports; 26 CVIU] Keypoint-basedだが幾何的な情報を使って改善 （1st place at the SoccerNet Game State Reconstruction Challenge 2024で使用）
20. 20 ①フィールド登録で起きやすい誤差 • • • 放送映像では、ピッチの一部しか映らない場面が多く、情報が不足しやすい 固定カメラでは選手が小さく映るため、検出や識別が難しくなることがある 他にも、カメラの高さやラインの鮮明さ、天候や日光などの条件で変わる 放送映像 [Somers+24, CVSports] 固定カメラ映像 [Scott+25] 上は昼、下は夜
21. 21 ②検出・追跡（トラッキング）の現状とスポーツ特有の難しさ • 最近の物体検出手法では、競技に特化したデータセットを使った微調整 により、かなり検出できるようになった（遮蔽があると難しい） • 追跡についても、検出出来ていれば、ある程度追えるようになってきた • ただし、遮蔽などの問題があり、完全自動化までには至らない （そのため選手位置データの購入は今でも高額になる） SoccerTrackv2 [Scott+25]の映像を用いて 物体検出を適用した例 15番の四角内に2人いる （遮蔽の例）
22. 22 ②トラッキングの データセット例 複数物体追跡 (MOT: Multi-Object Tracking) フルピッチ映像に基づく 選手とボール追跡データセット [Scott+24, CVSports] https://github.com/AtomScott/TeamTrack 10試合（900分以上）のフルピッチ映像の 選手追跡・イベントアノテーションデータセット [Scott+25, arXiv] https://atomscott.github.io/SoccerTrack-v2/ 8/6（木） IS3 107 13:00-15:00にて発表
23. 23 ③選手識別 • 選手識別（Identification）は、ユニフォーム色、背番号、チーム、役割など から、各軌跡が誰に対応するかを推定する処理である • 選手別の評価、検索、ハイライト生成、個人の行動分析には、このIDの一 貫性が不可欠である（完璧さが求められる） まずチームと審判、GKを認識 [Golovkin+25, CVSports] 背番号認識 [Gerke+15, ICCV]
24. Game State Reconstructionタスクのベースラインモデル・評価 24 https://github.com/SoccerNet/sn-gamestate 追跡 入力： 単眼の 試合映像 フィールド登録 ReID 背番号認識 検出 SoccerNet Challengeの評価指標： GS-HOTA （Bounding Boxの追跡だけでなく、 ピッチ上の時空間的一貫性を評価） 役割認識
25. 25 (5) 姿勢推定 動的かつ複雑な動作、データセットの少なさが課題 特に集団スポーツでは： • 選手同士の接触や頻繁な遮蔽が発生し、姿勢推定が困難 • ユニフォームが似ているので選手を識別するのが難しい 日常動作：Human 3.6M [Ionescu+14, TPAMI] などが一般に用いられる SoccerNet datasetでの姿勢推定
26. 26 姿勢推定の主なデータセット サッカーのシュート時の姿勢データ[Yeung+24, CVSports] 一覧表 [Suzuki+25, MMSports] https://github.com/calvinyeungck/3D-Shot-Posture-Dataset フィギュアスケート3D姿勢データ [Tanaka+24, MMSports] https://github.com/ryota-skating/FS-Jump3D WorldPose [Jiang+24, ECCV] WC2022の8試合、88本のクリップ
27. スポーツにおける姿勢推定の課題 27 正確性の要求の分野による違い • CV分野：原点・スケール正規化後の相対座標系MPJPE（全関節平均誤差 mm）等 • バイオメカニクス分野：キャリブレーション済み絶対座標系での関節中心誤差（mm） 実務的には、知りたい動作の違いを検出できれば十分だが、リアルな動作を撮りたい 最近の研究 • 陸上競技動作における単眼3D姿勢推定性能の定量評価[Suzuki+25, MMSports] • 23名× 8種の陸上動作をマーカレスモーキャプで計測 Human3.6Mはもちろん、SportsPose等の模倣動作よりも速度分布が高めにシフト
28. 28 (6) アクション認識/検出のデータセット例 • Video action recognition • UCF Sports Action [Rodriguez+08]、Diving48[Li+18] • Group action recognition • バスケットボール[Yan+20] 、バレーボール[Ibrahim+16]、アイスホッケー [Askari+22]、集団スポーツ[Zalluhoglu+20]で選手間インタラクションをタグ付け • Action Spotting • SoccerNet [Giancola+18, Deliege+21, Cioppa+24]でスポーツ映像内の特定の瞬間 を特定 • Temporal action segmentation/localization • ダイビング[Xu+22]、体操[Shao+20]、フィギュアスケート[Liu+21,Gan+24] • MultiSports [Li+22]（エアロビクス、バスケット、サッカー、バレー） • SportsHHI [Wu+24] (human-human interaction) MultiSports Dataset [Li+22, ECCV]
29. 29 (6)アクション（行動）認識と検出 動画像からどんな行動が（認識）いつ起こったか（検出）を推定 • スポーツイベントの分析、選手行動理解、ビデオ解析自動化に不可欠 サッカーのAction Spottingの例 [Pan+26, MIRU/iCSports] 8/5（水）IS2 16:00-18:00で発表
30. 30 (6)バスケの細かい行動検出の例 • イベントデータの自動生成には、 パス、シュート、ドリブルなどの発生 時刻を正確に検出する技術が必要 上が正解、下が検出モデルによる予測 Pass Pass Dribble Steal Dribble Drive Pass Drive Shot Reb TAL3x3 (Temporal Action Localization: 時間的行動検出) [Hu+25, IEEE Access] 30
31. 31 残る課題：競技・カメラ環境をまたぐ転移 • 競技間で何が転移するのかは、大きな未解決問題である • 低レベルの視覚特徴は転移し得るが、戦術的な意味は転移しにくい • このことが、汎用ビジョンモデルと競技特化アナリティクスの間に ギャップを生む SoccerNet Tracking 物体追跡・姿勢は 転移しやすい。 では他のタスクは？ SportsMOT Basketball 例： フィールド登録 action spotting 戦術分析は？ サッカーからフットサルのAction spotting転移 [Pan+26] → 8/5（水）IS2 176 16:00-18:00で発表
32. ラケットスポーツ間での汎化 RacketVision：ラケットスポーツ3種目でボール軌道検出・予測、 ラケット姿勢推定を同時に行う[Dong+26, AAAI] https://github.com/OrcustD/RacketVision 32
33. 33 映像と言語モデルの統合：検索・説明・質問応答へ • 映像と言語を統合することで、場面検索、キャプション生成、 質問応答、ファウル説明などの応用が可能になる • 自然言語の説明は便利である一方、根拠となるデータ定義 やモデルの限界を明示しないと誤解を生む可能性がある サッカーの反則を視覚言語モデルで説明 [Held+24] コーナー、クリア、交代などより一般的なシーンの説明へ [Rao+25a] その他のスポーツへの応用 • DanceMVP [Zhong+24, AAAI]: 映像、音声、言語を活用し、ダンスパフォーマンスを評価 • Sports-QAデータセット [Li+24]: 体操、バレー、サッカー、バスケに関する質問応答
34. バドミントンの動作・軌道・姿勢・言語を統合した 映像データセット[Ding+26 CVSports] 試合全体からショット単位まで 34 の階層的アノテーション Badminton Full Match Dense(BFMD) dataset https://ning-d.github.io/BFMD-Dataset/ スポーツ映像の言語化では、自然な文章を生成 するだけでなく、説明を姿勢・物体軌道と整合さ せることが重要 映像・身体・シャトル軌道を統合したショット説明生成 8/5（水）IS2-145 16:00-18:00で発表
35. SoccerMaster: 空間認識と意味理解を統合するサッカー基盤モデル 35 [Yang+26, CVPR] https://github.com/haolinyang-hlyang/SoccerMaster/ 画像・動画から、詳細な空間特徴と大域的な意味特徴を抽出する。 選手検出・識別、ピッチ登録、イベント分類、映像–言語対応をマルチタスク事前学習し、 カメラ較正、複数物体追跡、実況生成などへ適応する
36. 最近の成果：マルチモーダルAIの回答根拠の検証 [Du+26, arXiv] 36 VideoQAタスクにおいて、正答しても人間が期待する視覚根拠に基づかない場合 があるが、構造的因果モデルに基づき、映像特徴に介入して因果・非因果的成 分に分離し、映像特徴の根拠を抽出。回答と根拠の正確性・妥当性を評価 構造的因果モデル 入力：映像と質問 因果・非因果的成分に分離 出力：回答 映像特徴にパッチレベルで介入 今後は、映像へのgroundingだけでなく、身体・空間・戦術へのgroundingが必要になる
37. 37 本日の話題 1. スポーツのAI・データ活用の現在 2. 機械学習を用いた選手の動きの評価 課題①コンピュータビジョンによるデータ自動収集 課題②機械学習を用いた予測による評価 – その前にデータの前提から 課題③強化学習による全選手/局面の評価・提案 3. 研究を広げるための基盤と今後の課題 • 公開データ・コード・コンペティションなど
38. 38 データ分析の4つの目的：記述、予測、評価、提案 • 記述：何が起きたかを整理し、傾向や頻度を可視化する • 予測：次に何が起きやすいか、得失点などを確率として推定する • 評価と提案：予測を用いてプレーの価値や代替となる選択肢を比較する データ 記述 予測 評価 提案 典型的な場面の例 映像 ◦ △ △ △ 映像レビュー、分析の起点、分析品質の確認、数値無し 公式記録 ◦ △ △ △ ゴール・交代などの公式記録の集計と傾向把握 イベント ◦ ◦ ◦ ◦ パス・シュート・タックル等、ボール保持選手の評価 選手位置 ◦ ◦ ◦ ◦ ポジショニング・数的関係の定量化、戦術比較の基礎 姿勢 △ ◦ ◎ ◦ プレーのフォーム、フェイントなどの技能評価 センサなど ◦ ◦ ◦ △ 自チームの負荷管理の補助、障害予防のモニタリング ※個人的な整理（藤井の著書, 2026） 本発表では、特に「予測」と「評価」の接続を中心に扱う • スポーツでは、得点や勝敗では偶然の影響が大きく、プレーの良し悪しを判断できない • しかも観測できるのは実際に選ばれた行動だけで、別の選択肢とは直接比較できない • そのため、将来の確率や代替行動との比較に基づいて評価する必要がある
39. 利用可能なデータ：公開、限定、有料の違い 39 • • 公式記録：結果、得点、出場記録、警告・退場など、誰でも確認できる最初のデータ 公開イベントデータ：Wyscout公開データ（欧州5大リーグ2017-18、WC2018、EURO2016） 及びStatsBomb （WC2022、女子WC2023、UEFA Women’s EUROなど） • PFF FC（WC 2022）・SoccerTrackv2（筑波大）は研究/教育目的でトラッキングまで可能 • 有償データ：主要プロリーグでは、イベントデータ・映像連動データ・フィジカル／トラッキ ング系データをデータ会社から購入可能 • Jリーグでは、データスタジアム、Hudl Wyscout／Statsbomb、SkillCorner等 研究・教育向けデータ：データスタジアムやSkillCorner等から、研究・教育・コンペティショ ン目的で限定的に利用できる場合がある （将来）姿勢データ：WorldPoseや3D Shot Posture Datasetなど、公開・ 研究利用可能なデータはあるが、大会全体を対象とした姿勢データは限定的 • • 公式記録は粒度こそ粗いが、誰でも始められる （右の書籍には公開イベント・トラッキングデータを用いたコード例も） 画像と上記データのマルチモーダルでモデル性能は高められるのでは？
40. イベントデータ評価の例： 得点期待値と学習ベースのプレー評価 • サッカーでは希少な得点機会と交代制約と いう特徴のなか、得点に基づく評価の研究 が広く行われる [McHale+12, Interfaces] • ゴール期待値（xG）は文献・計算式を見つける のが難しいが以下に実装がある • https://github.com/ML-KULeuven/soccer_xg • 全イベントデータへの拡張：得点確率や オンボールイベント確率を予測し、各行 動を得点に結びつく動きとして評価 [Decroos+19 KDD] • https://github.com/ML-KULeuven/socceraction 40
41. 最近のTransformerによるイベント予測 • • • • 41 過去のイベントと文脈から次のイベントと位置を予測し、評価指標のpossession utilizationを導入（Seq2Event） [Simpson+22, KDD]（左） 次のイベント・位置に加えて時間も同時予測したHPUSを提案し（NMSTPP） 、 シーズン順位・得点・xGとの関係を検討 [Yeung+25 Appl Intel] LLM に着想を得たLarge Event model (LEM) [Mendes-Neves+24]（右） 最後に紹介するOpenSTARLab（解析プラットフォーム）を用いると全て実行できる Seq2Event [Simpson+22, KDD] Large Event model (LEM) [Mendes-Neves+24]
42. 42 3D姿勢の評価への活用：シュート評価の例（xGHub） [Gutiérrez-Pérez+26, CVIU] • 放送映像から選手検出・追跡、カメラ較正、3D姿勢推定を行い、シュート時の身体の 向きと位置関係を同じピッチ座標上に再構成 • 従来の位置・角度を中心とするxGに身体向きの特徴を加え、得点確率の評価に どのような情報を追加できるかを検証 3D表現で重要なのは、姿勢を復元すること自体ではなく、 異なる身体状態や行動を比較できる表現として設計すること
43. 43 数理モデル：空間の価値を計算し、選択肢と評価値を提示 従来）（主観で）ここにパスを出せば良かったのに…（どこに出したらどれくらい良かった？） 提案）このパスよりも、ここに出した方が得点チャンスが ** %増加する！ ※筑波大学蹴球部の協力 どこにポジショニングすればよいか一目でわかる（ベースはOBSO [Spearman 18, MIT SSAC]） ドリブルを考慮してバスケに[Kono+24,MLSA]、アルティメットにも[Iwashita+25, MLSA]
44. 44 AIによる選手軌道の予測に基づいてオフボール選手を評価 A1（評価対象）が予測よりD1選手を引き付けてA2に貢献 [Teranishi+22, MLSA] ′ C−OBSO： 𝑉A1 = 𝑉A2 − 𝑉A2 𝟎. 𝟎𝟎𝟕𝟗 0.0409 0.0330 （実際） （予測） A2のスペースをA1が作った！ 予測（薄色）より、 A1がD1を引き付けた これまで評価されなかった 味方のために犠牲となり動く選手を評価 44
45. 最近の成果： 反実仮想に基づく時変介入効果の推定 45 [Fujii et al. SIGSPATIAL’22; IEEE TNNLS 2024] 同一条件実験が 難しい実世界系でも、 反実仮想に基づき 介入効果を比較 データ例： 介入あり(t=9) 介入なし 介入あり(t=15) … 多様な集団移動系列に対 し、時変な介入効果を推定 するため、隠れた交絡因子 を深層生成モデルで表現 実環境で試せない条件を、計算機上で再現・比較・検証する実験系として展開できる
46. JointDiff：言語条件に基づく軌道・イベントの同時生成 46 [Capellera+26, ICLR] 選手・ボールの連続軌道と、「誰がボールを保持するか」という離散イベントを、拡散モデ ルで同時に生成。保有者列や自然言語を条件として与え、CrossGuidが生成途中の各段 階でその条件を選手・ボールの表現へ反映することで、指定した展開に沿うプレーを生成 今後は、言語条件への一致だけでなく、物理・ルール・戦術的に妥当で、反実仮想比較に 使える生成をどう評価するかが重要
47. 47 本日の話題 1. スポーツのAI・データ活用の現在 2. 機械学習を用いた選手の動きの評価 課題①コンピュータビジョンによるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手/局面の評価・提案 3. 研究を広げるための基盤と今後の課題 • 公開データ・コード・コンペティションなど
48. 人間行動の理解と生成をつなぐ順解析・逆解析 順問題：モデルから行動・ データを生成 主にロボティクス・シミュ レーション 48 ３章「戦術の生成 と解析」を執筆 順解析 データ モデル 逆解析 逆問題：観測データから モデル・規則を推定 主に人間行動解析 環境で試す（順解析） 観測データから学ぶ（逆解析） 目的 より良い行動を探索・生成 実際の行動を説明・評価 長所 未観測の選択肢を試せる 実世界の行動に基づく 制約 実世界との乖離が生じやすい 未観測の行動を評価しにくい • 実際には、ロボティクスにも逆解析、人間行動解析にも順解析があり、両者は相補的 • 行動理解と提案には、観測データからモデルを推定する逆解析と、環境内で行動を試す 順解析の両方が必要になる
49. 49 順解析としての強化学習：環境内で行動を試す 強化学習： 現在の状態から、報酬に基づき取るべき行動を決定 状態 𝑠 エージェント （方策 𝜋） 行動 𝑎 環境・他者 報酬 𝑅 • 最近研究が増えているが、アルゴリズムの 改善がメインで、実データとの関連が議論 されていない • 一方で、学習結果は環境モデル、報酬設 計、味方・相手の方策に依存し、実世界と の乖離が生じうる Google Research Football (2019) • 価値関数は、環境内で学ぶだけでなく、 観測データから推定して実際の意思決定 を評価することもできる（次のスライド）
50. 50 逆解析の例：観測データから全選手・全行動の価値を推定 [Nakahara+23, IEEE Access] 従来） 解説者：（主観、結果論で）この選手がこう動いたから、良いプレーですね。 提案） この瞬間のパスの判断は**の価値があったから良いプレーでしたね。 ゲームの行動の 選択肢を模倣 全選手の全行動の 価値を推定・評価 (SoccerNet GSRの 映像から） ただし、これは新し いチーム方策を 環境内で学習した ものではない
51. 51 順解析の基盤：R2D-RLで11人制サッカーを学習可能に • RLタスクとしての課題 • 11人制サッカーは、得点報酬の疎さ、長い時間系列、多人数の非定常性、 個人への信用割当により、0からの強化学習が難しい[Kurach+19] • 既存環境の課題： • GRF[Kurach+20, AAAI]は強化学習の検証には適しているが、RoboCup 2D で蓄積された競技用エージェントや戦術モジュールを直接活用できない • R2D-RLの提案[Qin+26, arXiv] • RoboCup 2Dの競技環境とHELIOSの 行動モジュールを、現代的なPython MARL環境として利用可能に （https://github.com/open-starlab/R2DRL） • シナリオ課題と11対11、行動マスク、 報酬作成、並列実行を提供 • RoboCupで蓄積された競技知能を活 用して、順解析を再現可能に研究す るための基盤を整えた
52. 52 本日の話題 1. スポーツのAI・データ活用の現在 2. 機械学習を用いた選手の動きの評価 課題①コンピュータビジョンによるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手/局面の評価・提案 3. 研究を広げるための基盤と今後の課題 • 公開データ・コード・コンペティションなど
53. 53 CV in Sportsにおける4つの未開拓課題 スポーツは長時間・多人数・文脈依存の映像理解と、 新しいタスク・評価設計を検証する研究領域 1. Robust perception 小物体、遮蔽、長時間ID、カメラ変動 2. Structured representation 姿勢、ピッチ幾何、選手グラフ、3D表現 試合全体・大会全体で、同じ選手を一貫して追 跡できるか。検出・追跡・姿勢推定の誤差が、 後段の戦術評価や行動価値にどう伝播するか 姿勢や位置を、比較・予測に使える共通表現と してどう設計するか。競技間で見た目は転移して も意味は転移しにくいが、何を共有表現とするか 3. Behavior understanding 行動検出、戦術ラベル、映像言語grounding 4. Perception to decision 認識誤差の伝播、反事実評価、価値、提案 何が起きたかを記述するだけでなく、戦術・空間・ 身体運動に根拠づけて説明できるか。同じ動きで も文脈によって意味が変わる行動を、どのように 学習・評価するか 「何が起きたか」から「なぜ良いか」「他に何がで きたか」へ進めるか。認識結果を意思決定へ接 続し、行動価値そのものを評価するベンチマーク をどう設計するか
54. 54 スポーツAI応用における課題 • 将来的には、将棋AIのように 人間の主観だけでは比較し にくい複数の選択肢を、デー タとモデルに基づいて評価・ 提示できる可能性がある • ただし現状は実現が難しい構 造になっている https://times.abema.tv/articles//8654657https://bunshun.jp/articles/-/38979?page=3 今後の課題 • 今は資金のある大会やリーグのみデータや技術が利用できるので、 多くの人が利用できるようにすることが必要 • 多くの人にとっては、映像はあるがデータやその先の分析ができない • トップ層も、情報が秘匿されすぎて技術交流が少なく発展しない • 科学・技術の民主化と発展のためには、秘匿すべき情報は守りつつ、 オープンサイエンスを実現することが必要
55. 55 OpenSTARLab：時空間エージェントデータの解析プラットフォーム [Yeung+25, C&IS] データの多様化、解析の高度化により高まる参入障壁を下げる（商用可： Apache 2.0 License） 企業分析データはアルゴリズム非公開の場合があり、その場合は検証ができない データの扱いが部門ごとに分かれ、統合してチーム固有の課題の分析が難しい場合も 様々な会社のデータの異なるフォーマットを簡単に統一できる！ チーム、リーグ、企業、大学など包括的な連携を実現するためのプラットフォーム
56. 56 コンペやイベントの開催など技術交流を増やす取り組み • 他分野からの参加促進と交流の活性化 • 優れた手法の迅速な共有・普及 1位は賞金15万円+ダブリン旅費 100名以上参加した サッカーのトラッキングの正確さを競う 画像が小さく、同じチームで服が似ている 国際会議の 論文の輪読 会を開催 （延べ8回） 今後も行う 予定 8/19-20 に名大で国際WS（参加登録は直接連絡ください）
57. 57 まとめ • CVにより、映像から位置・姿勢・イベントを取得できる 範囲は広がっている • 遮蔽、長時間追跡、競技固有動作、文脈依存ラベルな どには未解決課題が残っている • 最終的には認識結果を、行動理解・価値評価・提案へ 接続する必要がある • Groundingや行動評価なども含め、スポーツには新た なCVの問題設定を行う余地が大きい Email: fujii@i.nagoya-u.ac.jp X(twitter): @keisuke_fj 書籍もご覧ください！ リンクはHPに：