サッカーにおけるAI活用の現状と展望 東京大学大学院 総合文化研究科 染谷 大河

2 自己紹介 染谷 大河（そめや たいが） 東京大学大学院 総合文化研究科 言語情報科学専攻 D1 UTokyo Football Lab. 共同代表 略歴 2017年 東葛飾高校 2018年 東京大学 教養学部 2022年 東京大学大学院 総合文化研究科 修士課程 2024年 東京大学大学院 総合文化研究科 博士課程 研究：自然言語処理 (NLP) / スポーツアナリティクス 言語モデルの評価・原理解明（「LLMは文法がわかっているか？」） 逆強化学習に基づく選手・チーム定量評価（「数字で選手・チームを評価」） 軌道データを入力とする基盤モデルの開発（「SoccerGPTを作る」） その他： 未踏IT2023（GK向け練習データ分析システム） 柏レイソルU-18出身, U-15/U-16 サッカー日本代表候補 Visit my website

Agenda ➢ サッカーにおけるデータ活用と産学連携 ➢ イベントデータを通した試合のモデリング ➢ サッカー基盤モデルに向けて ➢ ゲーム理論・深層学習を用いた選手・チーム定量評価に向けて ➢ サッカーデータからの言語生成 ➢ 3次元骨格推定技術を用いたシステム開発 ➢ 今後の展望 3

世 界 中 で 進 む デ ー タ ・ テ ク ノ ロ ジ ー 活 用 https://www.skysports.com/football/news/12098/12643330/world-cup-2022-qatar-tournament-to-feature-semi-automated-offside-technology-with-ball-sensors-and-cameras

5 取得できるデータの種類 https://www.statsperform.com/opta/

引用) FIFA POST MATCH SUMMARY

7 トレーニングにおけるAIの活用 SoccerBot360: https://www.soccerbot360.de/en/

8 データ分析の成功例

9 アカデミアからの貢献 クラブと企業の共同研究 スポーツ研究部門の設立

イベントデータを通した試合のモデリング

Leveraging Player Embedding for Soccer Event Prediction 1The University of Tokyo 2National Institute of Advanced Industrial Science and Technology 3Konan University Taiga Someya1,2 Tatsuya Ishigaki2 Yohei Oseki1 Ryo Nagata2,3 Hiroya Takamura2

概要（Someya et al., IJCAIw2024) 12 • 先行研究では考慮されてこなかった、選手情報を考慮した イベントデータのモデリングを行う • 実際に選手情報はモデルの精度向上に寄与した • モデリングの過程で得られる選手ベクトルには、 （入力されていない）選手のポジションや利き足の情報な どが含まれていることが示された

13 データセット WyScout Open Access Dataset ➢ 2017/18シーズンの5大リーグ+ Euro 2016, World Cup 2018

14 データセット WyScout Open Access Dataset ➢ 2017/18シーズンの5大リーグ+ Euro 2016, World Cup 2018

15 アーキテクチャ 先行するイベントから次のイベントを予測するモデル イベントは以下の情報で表される： action, team, event_time, start_position and player.

16 結果 イベント予測性能は選手情報により向上

17 選手ベクトルに含まれる情報の検証 得られた選手ベクトルから、利き足とポジションを予測する → 選手ベクトルにどのような情報が入っているのかを検証 Pretrained Event Prediction Model Player vectors Probe Probe Dominant foot (left/right) Extract Predict Position info. (GK, DF, MF, FW)

18 結果 選手ベクトルを用いると、ベースラインよりも精度良く選手の 利き足とポジションを予測できた → 選手ベクトルには選手に関連する情報が含まれている → 利き足やポジション以外の情報も含まれている可能性？

今後の展望 19 • より良い選手ベクトルを得るには？ • より大規模な学習の検討 • 選手ベクトルの使い道の探索 • 選手獲得のためのより詳細な選手検索 • チームと選手の相性を「計算」する

サッカー基盤モデルに向けて

背景 Microsoft Copilot

LLM× 大規模言語モデル

LLM×医療 大規模言語モデル 医療

LLM×自動運転 大規模言語モデル 自動運転

LLM×スポーツ 大規模言語モデル スポーツの言語 ？ Tracking Data Event Data

テキスト・画像・動画などを対象に 大規模な基盤モデルの開発が進んでいる 基盤モデル

サッカーデータを対象に基盤モデルを構築することで、 多様なタスクに適用可能なモデルを構築 FootballGPT?

各選手・ボールの軌道予測を通して、ボールに 関わっていない選手を含めた評価や反実仮想評価が可能 サッカー評価の新潮流: 軌道予測/反実仮想評価 What if we played against Manchester City instead of Swansea? Le et al. MIT SSAC2017 What if the ball holder passed to No. 9 instead of taking a shot? Yeung et al. Arxiv2023

「サッカーの基盤モデル」の構築可能性を検討 ・特にTransformer-basedなモデルの有用性を検討 実験① シミュレーションデータの活用の提案 (JSAI 2024, Opta 2024) ・多変量時系列予測タスクに提案されているアーキテクチャをサッカーの軌道データの 予測タスクに応用 ・モデルから得られるベクトルが軌道検索に応用可能であることを示した 実験② Encoder-Decoder/Decoder-only型のモデルの提案・検証 ・既存研究では必ずしも検討されてこなかった、Encoder-DecoderやDecoder-only型の モデルを実装し精度検証を行った。 ・Enc.-Dec.やDec.-onlyモデルが高い性能を示した。 本研究

No content

モデルの例 Encoder+MLP型 多変量時系列予測のSotAモデルである PatchTST(Nie+`23) などと同様のアーキテクチャ

モデルの例 Encoder-Decoder型 歩行者軌道予測タスク等で採用される アーキテクチャ e.g.) Monti et al. (2022)

モデルの例 Decoder-only 型 NLP等で最もよく採用されるアーキテクチャ e.g.) Das et al. (2024)

ベクトル表現を用いることで ある程度妥当なシーンの抽出が可能 軌道ベクトルの妥当性の検証 Reference Top-1

サッカーデータを対象に基盤モデルを構築することで、 多様なタスクに適用可能なモデルを構築 FootballGPT（再掲）

36 関連研究: TranSPORTmer (Capellera et al., 2024)

ゲーム理論・深層学習を用いた選手・チーム定量評価に向けて

ゲーム理論とAIでサッカー分析の革新に挑戦！ 染谷大河（東京大学）／川口康平（香港科技大学） ／藤井慶輔（名古屋大学）＋井出憲次朗（名古屋大学） https://academist-cf.com/projects/332

Expected Goals (xG) 主に以下のような指標から定義される: ・ゴールまでの距離・角度 ・GKのポジション ・ゴールが空いているか ・相手DFからのプレッシャーのかかり方 ・シーンの種類（例: 1vs1、ボレー） 基本的に特定アクションに関する静的・単純な指標が用いられる 定量評価の現状と課題 →ボール非保持の選手の動きや前後の文脈が考慮できていない https://theanalyst.com/eu/2023/08/what-is-expected-goals-xg/ 39

強化学習を用いた定量評価指標の構築 (Nakahara et al. IEEEAccess2023) トラッキング・ イベントデータ 環境 （試合状況） エージェント群 （選手） 状態 報酬関数（固定） 行動 試合データをもとに、上手に 行動するエージェントを構築 各場面における アクションの価値を算出 実際の選手の動き 照らし合わせて評価 40

41 逆強化学習とゲーム理論の導入 ➢ 逆強化学習で選手の主観的な行動基準を推定 ・プレー精度と別に意思決定の質も測れる ・先行研究（Rahimian+21など）はチームをモデル化（選手でない） ➢ ゲーム理論でチーム内外の相互作用を定式化 ・プレー原則、プレー原則vsプレー原則等の相互作用の価値も測れる

強化学習と逆強化学習 プレーの意図が読み取れる

改善策とその影響 改善策 入力の1つである状態 の低次元化 (Ide+, icSports2024) 問題点 入力変数が無数にあり 評価値の解釈が難しい コーチングやプレーに反映させやすい

● ボールの位置・速度・加速度 ● 各選手の位置・速度・加速度 総次元数：3*2*23 (138) → 45 ~ 105 トラッキングデータに基づく状態変数 Relative State Absolute State 変換 使用する状態変数 状態の次元圧縮

選手とボールの位置と速度 ボール 相手 チームメイト 位置：(xit , yit ) 速度：(vxit , vyit ) 位置：(x0t , y0t ) 速度：(vx0t , vy0t )

状態と行動の解釈可能な低次元化 ・Relative stateの定義 ・Absolute stateの定義 ・Actionの定義

Relative State 75m 0m ● Buildup zone ■ ボール保持時のパスの選択肢探索（重要な受け手を探す） ■ ボール保持時の状態変数 ■ パスの選択先選手の状態変数 ■ ボール非保持時の状態変数 ● Shot zone ■ Shooterの状態変数 ● GK zone ■ GKの状態変数

ボール保持者の状態変数一覧 1. 1番近い相手選手がボールに到達する時間 2. ボールと相手ゴールまでの距離 3. ボールと相手ゴールとの角度 4.ドリブルスコア

1. 1番近い相手選手がボールへ到達する時間 1番近い相手選手 いずれかの選手がボールを保持（𝒐 0t ≠ 0）

2,3. 相手ゴールまでの距離と角度 ゴールの中心からの角度と距離 いずれかの選手がボールを保持（𝒐 0t ≠ 0）

4.ドリブルスコア パスの選択肢の選手のState（{Ψk }k=1 ） ● 1単位（1m）動いた時のスペースの変化量をスコア化 ○ 動きの方向は8方向 ドリブル前 ドリブル後

パスの選択肢先選手の状態変数一覧 5．味方選手のボールまでの距離 6．1番早く到達可能な領域 7．1番近い相手選手が味方に到達する時間 8．1番近い相手選手がパスコースに到達する時間 9．2から8の方向へ1単位移動した時のスペースの変化量 パスの選択肢の選手のState（{Ψk }k=1 ） スコアの算出に すべて使う

ボール非保持の状態変数一覧 10,11．ポジティブトランジションとネガティブトランジション 12,13．1番近い選手の相手ゴールまでの距離 14,15．1番近い選手の相手ゴールとの角度 16,17．両チームの1番近い選手がボールに到達する時間（ボールの速度も考 慮） 18．ボールスピード（絶対値） どの選手もボールを保持していない

Absolute State 23,24．ボールと両チームのオフサイドラインまでの距離 25,26．両チームのフォーメーション （過去の試合データが手に入れば、パスマップの情報を代わりに使う）

ボール保持選手の行動空間 1. パス ○ どの選手か ○ 足元か/スペースか 2. ドリブル ○ どの方向に（8方向） 3. シュート（Shot Zoneのみ）

ボール非保持選手の行動空間 4．ステイ 5．ラン

守備選手の行動空間 6．チャレンジ 7．インターセプト 8．カバー 9．ラン（前後）

強化学習と逆強化学習 プレーの意図が読み取れる

逆強化学習の導入 ● 経済学では「構造推定」と呼ばれ発展している ● マルコフゲームの推定方法 ○ Aguirregabiria & Mira (2007), Bajari et al. (2007) ● Temporal difference (TD)学習ベースの手法を用いる ○ Adusumilli & Eckardt (2023) ● 直観： ○ パラメータ固定でTD学習で行動価値関数を推定 ○ そのパラメータの行動選択確率→そのパラメータの尤度を推定 ○ その尤度を最大化するパラメータを探索 ● 現在シミュレーションデータで実装&性能評価中 逆強化学習の導入 ● 経済学では「構造推定」と呼ばれ発展している ● マルコフゲームの推定方法 ○ Aguirregabiria & Mira (2007), Bajari et al. (2007) ● Temporal difference (TD)学習ベースの手法を用いる ○ Adusumilli & Eckardt (2023) ● 直観： ○ パラメータ固定でTD学習で行動価値関数を推定 ○ そのパラメータの行動選択確率→そのパラメータの尤度を推定 ○ その尤度を最大化するパラメータを探索 ● 現在シミュレーションデータで実装&性能評価中

サッカーデータからの言語生成

65 “Data-to-text”な言語生成 ➢ 特に数値データからの言語生成ではスポーツ分野への応用も Ishigaki et al. (2021)

66 LLMを用いたサッカーデータからの言語生成

67 LLMを用いたサッカーデータからの言語生成 統合・変換 イベントデータ 映像 トラッキングデータ LLM 生成 実況テキスト

68 LLMを用いたサッカーデータからの言語生成 東京科学大 田中さん

69 「付加的な情報」を加味した実況生成 東京科学大 森さん

3次元骨格推定技術を用いたシステム開発

サッカーのGKのための練習分析デバイス

No content

毎日動画で振り返りをしているが、 プレーの詳細を見るために もっと違う画角の映像が欲しい 筑波大学蹴球部 4年GK 東大サッカー部 4年GK プロの動きと詳しく比較できれば、 最短で上達できるようになる

No content

Web UIについて

No content

視点を変える 比較する データで気づく

引用: 東京大学 中村仁彦研究室 / NTT Docomo

他のスポーツへの展開

プロダクト詳細 ＠未踏IT成果報告会

今後の展望

日本サッカー界にデータ革命を UTokyo Football Lab.

メンバー 王方成（共同代表-運営） 東京大学工学系研究科電気系工学専攻 修士課程1年 染谷 大河（共同代表-研究開発） 東京大学総合文化研究科言語情報科学専攻 博士課程1年

テクニカルユニット UTokyo Football Lab. 現場の分析を行う分析チーム 対戦相手のスカウティングなどを行う ・2011年設立 ・所属人数 20名（学部生のみ） 研究開発・データ分析チーム デバイス開発なども行う ・2023年設立 ・所属人数 31人（修士・博士含む）

研究開発 チーム 選手、監督など 現場のチーム 要望・フィードバック 実証実験 別組織では、サイクルが遅い

統合型クラブでは、高速に検証が可能 選手、監督など 現場のチーム 研究開発 チーム

研究開発力のある学生 大学研究機関 実証実験の機会 研究資金 技術・アイデア 研究環境 開発メンバー 実働部隊 UTokyo Football Lab. Jリーグや海外のクラブ

研究開発力のある学生 UTSSI等の研究機関 Jリーグや海外のクラブ UTokyo Football Lab. プロダクト提供 データ活用 研究成果 機会・資金の提供

世界一のサッカー研究機関を日本に

92 ご清聴ありがとうございました。 UTokyo Football Lab. Personal page

References 93 Guillem Capellera, Luis Ferraz, Antonio Rubio, Antonio Agudo, & Francesc Moreno-Noguer. (2024). TranSPORTmer: A Holistic Approach to Trajectory Understanding in Multi-Agent Sports. Ian Simpson, Ryan J. Beal, Duncan Locke, and Timothy J. Norman. Seq2Event: Learning the Language of Soccer Using Transformer-based Match Event Prediction. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, pages 3898–3908, Washington DC USA, August 2022. ACM. Kenjiro Ide, Taiga Someya, Kohei Kawaguchi, Keisuke Fujii, Interpretable Low-Dimensional Modeling of Spatiotemporal Agent States for Decision Making in Football Tactics, 12th International Conference on Sport Sciences Research and Technology Support (icSPORTS 2024) Luca Pappalardo, Paolo Cintia, Alessio Rossi, Emanuele Massucco, Paolo Ferragina, Dino Pedreschi, and Fosca Giannotti. A public data set of spatio-temporal match events in soccer competitions. Scientific Data, 6(1):236, October 2019. Number: 1 Publisher: Nature Publishing Group. Taiga Someya, Tatsuya Ishigaki, Yohei Oseki, Ryo Nagata, Hiroya Takamura. 2024. Leveraging Player Embeddings for Soccer Event Prediction. The 2nd International Workshop on Intelligent Technologies for Precision Sports Science (IT4PSS) in Conjunction with the 33rd International Joint Conference on Artificial Intelligence (IJCAI 2024). Taiga Someya, Atom Scott, Keisuke Fujii, Hidehisa Akiyama, Tomoharu Nakashima, Hitomi Yanaka. 2024. FootballGPT: Counterfactual Evaluation With a Foundation Model for Football, Opta Forum. (Poster) Tom Decroos, Lotte Bransen, Jan Van Haaren, and Jesse Davis. Actions speak louder than goals: Valuing player actions in soccer. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD ’19, page 1851–1861, New York, NY, USA, 2019. Association for Computing Machinery.