スポーツ戦術をAIのデータ解析で評価する －AIで可能になる新しいスポーツ分析の世界－ 1 https://sites.google.com/view/keisuke198619jp/ 藤井 慶輔 名古屋大学 大学院情報学研究科 知能システム学専攻 准教授

本日の話 1. 自己紹介 2. スポーツのデータ解析の背景 a. データの計測方法 b. データ解析の動機 3. スポーツ知識とAI （機械学習）を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. チームの動きを結果の予測から評価 c. 選手の動きを軌道予測から評価 4. その他の話題 • 自動運転、動物の群れ、ドローン、eスポーツ？ 5. まとめ 2

自己紹介： 藤井 慶輔（ふじい けいすけ） 3 対人動作分析(2012) 立命館大学にて計測 半面での5対5 (2015) 東海大学にて計測 年 所属 対象 アプローチ 2008-14 京大人環 個人・対人運動 （１対１）を計測 データ解析 NBAのゲームデータ (SportVU) 2014-17 名大保体 センター （学振PD） 運動制御モデル 集団運動（1対1 ～多対多）を計測 データ解析・ 理論モデル化 2017-19 理研AIP （研究員） 集団運動 （提供された データを利用） 機械学習を用いた データ解析・理論 モデル化 2019- 名大情報 （助教） 2021- 同上 准教授

スポーツの動き 4 スポーツ選手： 相手と争い、（集団では）味方と協力する – 巧みな動きや、柔軟なチームワーク、予測できない結果 – どのように定量的に測定、分析、評価するか？ – 計測・モデル化技術の発達から、データ解析の発展が期待 赤がNeymar選手（NHKの撮影協力） NBA 2013-2014のプレシーズンゲーム

スポーツの計測とそれにまつわる問題 5 勝敗や得点などの結果はすぐに手に入り、理解できる 例えば、以下について知ることが難しい（が知りたい）： ✓ その結果はどのように定量的に説明・評価できるか？ ✓ 次のゲームではどのようにプレーしたら良いか？ 定量的分析のために、まず計測: 1. センサで生理・力学データを計測 ✓ 生理・力学的な負荷の評価など 2. カメラなどで動きを計測 ✓ 複数関節・複数人の動き ✓ 実際の試合での計測も可能 (Catapult) (TRACAB)

今回は、集団スポーツの話をします • 侵入型ゲーム： サッカーやバスケットボールなど • ネット型ゲーム： バレーボールやテニス（ダブルス）など • 投・打球型ゲーム： 野球やソフトボールなど など。ただし、集団でなくても本質的な問題は似ている スポーツのデータ解析に関する共通の問題： 1. 多くのスポーツでは人間の目で見て評価を行う or 高価な計測装置が必要なため、プロでないと大量のデータの 記録が難しい 2. 大量のデータが利用できたとしても、結果を予測・説明・評価 することや、集団の運動を個人の貢献に分解することがしば しば難しい 今回はデータが利用可能で分析が困難な侵入型ゲームを中心に 6

例1. センサを装着 7 Global or Local Positioning System (GPS or LPS) など ☺ 画像処理が必要ない、GPSは安価、LPSは高い時空間解像度  センサ装着が必要、GPSは解像度悪い、 LPSは高価 ZXY Arena sports tracking system (LPS) Soccer video and player position dataset [Pettersen+14]

例2: モーションキャプチャー 光学式動作解析装置の利用 ☺ 最高レベルの時空間解像度で詳細な分析が可能 (-10 mm, 100- Hz)  LPSほどではないが高価、反射マーカーが動きづらい Half-court basketball [Fujii+16] 8

例3: カメラなどを用いた位置推定 SportVU (NBA) https://www.stats.com/sportvu-basketball/ ☺ 自由に動ける、カメラ自体は低コスト？  空間解像度は低め（用途による） 、設置コスト （デプスセンサやLIDARなども原理的には利用可能） 9

入手可能なデータ サッカー： • （公開）多くの海外リーグでの、ボールに関わる選手のシュートやパス などのアクションとその際のボールの位置（→全員の位置: statsbomb） • 解析プラットフォーム：https://github.com/ML-KULeuven/socceraction • （限定） ヨーロッパリーグ45試合の全選手とボールの位置 • Stats Perform社に連絡 • （有料）Jリーグの全選手とボールの位置、アクションデータ • データスタジアム社に連絡 バスケットボール： • （公開）NBAの約600試合の全選手とボールの位置 • https://github.com/rajshah4/BasketballData • （公開）Basketball Behavior Challenge: BBC2020 • https://competitions.codalab.org/competitions/23905 その他： • （限定）日本統計学会スポーツ統計分科会のスポーツデータ解析 コンペティションに参加、など 10

動機： 選手位置データをどう応用するか？ 現場の戦術的な分析は、まだ多くがビデオの目視（しか信用されない） ビデオ編集ソフトウェア (Sportscode) プレイ頻度分析 (Synergy) 選手・ボール位置推定(SportVU) 導入 自動化 11 • 選手は、どのように動けば良いかわかるので、上手になる • コーチは選手に伝えられる、選手を公平に評価できる • ファンは難しい戦術も理解でき楽しめる、 などが期待 位置計測と統合して定量的に評価する技術が開発されたら：

本日の話 12 1. 自己紹介 2. スポーツのデータ解析の背景 3. スポーツ知識とAI （機械学習）を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. チームの動きを結果の予測から評価 c. 選手の動きを軌道予測から評価 4. その他の話題 藤井慶輔、武石直也、方城素和、稲葉優希、河原吉伸、複雑な集団運動 におけるネットワークダイナミクスの物理的に解釈可能な分類, Scientific Reports, 10, 3005, 2020 日本バスケットボール学会 第6回大会 口頭発表賞

＃1 ＃1 ＃2 ＃2 … Time X(m) Y(m) X(m) Y(m) … 3.508 4.910 1.823 0.811 -0.710 … 3.517 4.910 1.823 0.811 -0.711 … 3.525 4.911 1.823 0.811 -0.713 … 3.533 4.911 1.823 0.812 -0.715 … 3.542 4.911 1.824 0.812 -0.716 … … … … … … … 位置データから攻撃・守備戦術を自動分類 選手とボールの位置データ www.bostonglobe.com 13 位置データ 時間を区切る 特徴作成 自動分類（学習なし プレーの種類・有無など ③ ② ① 特徴を作成して、学習なしで分類 ② 特徴を作成して、機械学習で分類 ③ 特徴を、機械学習で抽出して分類 / 抽出 教師データ / あり）

本日の話： 機械学習を用いた自動分類 機械学習（人工知能技術） ✓ 特に、教師あり学習 ✓ 代表例： 画像・音声・言語 No. 有/無 1 0 2 1 3 1 … 0 N 0 No. v_1 v_2 … v_D 1 -0.63 -0.63 … -0.23 2 -0.35 -0.35 … -0.16 … -0.52 -0.52 … -0.18 N -0.44 -0.44 … -0.03 v w 1 0.015 2 0.015 … … D 0.015 出力（例：プレー有無） ＝ 入力データ（例：位置） × 重み 訓練： 入力（特徴）と出力（教師）を用いて、重みを学習 テスト： 重みと入力データから出力を予測 （簡単な 場合） 仕組み Y X W

15 バスケの基本的戦術： スクリーンプレー 多くのフォーメーションはスクリーンプレーの組合せ 5+5人の動きがある中で同時多発的に起こるため検出が難しい 目的： 守備の妨害

①特徴を作成して機械学習なしで分類（ルール） スクリーンに対するチームディフェンスを ルールに基づき分類して、 柔軟な戦術性を評価 [Fujii+16, Sci Rep] そのまま 一瞬助ける 役割切替 スイッチ？ スクリーン、スイッチ、動き出し、方向 ユーザー 方向？ ユーザー 方向？ スクリナー 方向？ リング 方向？ スイッチした 方が近い？ （主語はスクリナーDF） マンツー ヘッジ スイッチ その他 スイッチ 回数 危機のレベル ☺ 解釈しやすい、少ないデータでOK 領域特有で一般化しない 16

②特徴を作成して機械学習で自動分類 （実際： vはd次元空間） サポートベクターマシン （SVM）による境界面の学習 v1 v2 オン/オフボールスクリーンの種類： 90％以上の正答率 [Zhang+22, IJCSS] 特徴を作成（例） スクリーンの特徴→ ☺ 特徴は解釈しやすい  特徴の作成方法が一般化しない ↑ リバウンドの特徴 [Hojo+19 IJPAS] リバウンド獲得選手: 正答率 71％ 17

③特徴を機械学習で抽出して分類 18 ☺ 一般的な運動の特徴を抽出  抽出情報の解釈に困難な時も 1. 入力系列 2. 特徴を抽出 3. 分類(a)と根拠の解釈(b) （各スライド窓で分解） 空間モード 時間 モード (b) 分類 根拠を 解釈 スクリーン無 スクリーン有 （グラフ動的モード分解） [Fujii+20, Sci Rep] 守備戦術 （ゾーン/マンツー） (a) 2つの分類課題 攻撃戦術 （スクリーン有無）

19 このように自動分類できれば、大量のゲームを自動解析し、 チーム戦術の頻度を評価できる ゾーンDF マンツーマン DF ③自動で抽出された特徴の解釈 スクリーン無 スクリーン有 （グラフ動的モード分解） [Fujii+20, Sci Rep]

本日の話 1. 自己紹介 2. スポーツのデータ解析の背景 3. スポーツ知識とAI （機械学習）を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. チームの動きを結果の予測から評価 c. 選手の動きを軌道予測から評価 4. その他の話題 20 戸田康介, 寺西真聖, 久代恵介, 藤井慶輔, サッカーにおけるボール奪取・ 被有効攻撃予測に基づくチームの守備評価, PLoS One, 17(1) e0263051, 2022 第10回日本統計学会スポーツデータ解析コンペサッカー部門 優秀賞

利用できたデータと問題点 J1リーグ2019シーズンの計45試合（※1） • イベントデータ（パス・シュート等19種類の行動ラベル） • トラッキングデータ（選手全員とボールの座標） ※1 情報・システム研究機構統計数理研究所 、データスタジアム 株式会社より提供 ※2 有効攻撃： シュートに、クロスなどでペナルティエリア侵入したイベントなどを加えたもの ※3 ボール奪取： そのプレーの前後で有効攻撃以外により攻撃チームが変わること • 45試合（30-34節）のデータ： • 得点（失点）： 106点 • シュート数： 1,174回 • 有効攻撃（※2）： 3,701回 • ボール奪取（※3）：9,408回 • 問題点： • 得失点は少ないので、正確に予測で きないのでは？ • チーム守備の次の目標：ボール奪取 や（被）有効攻撃のデータを評価に 使えないか？ 45

サッカーのチーム・選手の定量的評価の研究 ① 得点・失点予測に基づく方法 [例: Lucey+14; Decroos19] ② シュートに至る過程のプレーを評価する方法 – 攻撃： パスの価値[Power+17]、有効攻撃[Ueda+14]など – 守備：パス奪取[Piersma+20] 、プレスの評価[Robberechts+19]など ③ 選手のポジショニングの評価 – ボロノイ領域[Taki+00]、スペースを作る動き[Fernandez+18]など 問題点： ①得点は希少なため評価が安定せず、得失点に至るまでの 多様なプレーが評価しにくい ①②の多くは、 主にボール周りのデータを使用しており、 ボールから離れた選手の評価やチーム全体の評価が困難 ②③の手法ではチームの成績と関連付けて評価することが難しい 本研究： チーム守備の過程を評価できる方法の提案 43

提案手法：VDEP（Valuating Defense by Estimating Probabilities） ボール奪取や被有効攻撃の予測確率に基づく守備の価値 𝑉𝑉𝐷𝐸𝑃 𝑆𝑖 = 𝑃𝑟𝑒𝑐𝑜𝑣𝑒𝑟𝑖𝑒𝑠 (𝑆𝑖 ) − 𝐶 ∗ 𝑃𝑎𝑡𝑡𝑎𝑐𝑘𝑒𝑑 (𝑆𝑖 ) （𝑃𝑟𝑒𝑐𝑜𝑣𝑒𝑟𝑖𝑒𝑠 を上げる or 𝑃𝑎𝑡𝑡𝑎𝑐𝑘𝑒𝑑 を下げると高評価） 𝑆𝑖 : 𝑖番目と𝑖 − 1番目の行動とその時の座標を含む状態の集合 C : ボール奪取と被有効攻撃の価値を調整する定数（発生頻度で調整） 𝑃𝑟𝑒𝑐𝑜𝑣𝑒𝑟𝑖𝑒𝑠 や𝑃𝑎𝑡𝑡𝑎𝑐𝑘𝑒𝑑 は機械学習（XGBoost）により推定 • 入力：イベント発生時のトラッキングデータ（選手・ボール）、 イベントの種類、時間、点差、ゴールまでの距離・角度 • 出力：その後k (=5) イベント以内にボール奪取or被有効攻撃が起きる確率 守備の価値 ボール奪取確率 有効攻撃される確率 46

VDEPの使用例② プレー分析 第34節 横浜F・マリノス vs FC東京 の1点目のシーンを紹介 VDEPは、正の時は良い守備を、負の時は悪い守備をしていると解釈できる 悪い守備ではなかったが失点してし まったと推察される （結果にとらわれない評価ができる） 24

VDEPの使用例③ 複数試合の評価とシーズン成績の関係 • 横浜（得点最多）：ボール奪取と被有効攻撃の確率が高い • 広島（失点最少）：ボール奪取確率は高く被有効攻撃は低い プレッシング ブロック形成 ボール奪取確率高い（良い）→ 有効攻撃 される 確率低い （良い） ↓ 25

本日の話 1. 自己紹介 2. スポーツのデータ解析の背景 3. スポーツ知識とAI （機械学習）を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. チームの動きを結果の予測から評価 c. 選手の動きを軌道予測から評価 4. その他の話題 26 寺西真聖, 筒井和詩, 武田一哉, 藤井慶輔, サッカーにおける軌道予測に 基づくチームメイトの得点機会創出の評価, Machine Learning and Data Mining for Sports Analytics 2022 (MLSA‘22) in ECML-PKDD’22, 2022 第11回日本統計学会スポーツデータ解析コンペサッカー部門 優秀賞

なぜ集団スポーツで選手軌道予測をするか？ → コーチの頭の中で行われてきた過去/新しい局面にて、異なる 選手/チームだとどう動くかなどのシミュレーションが期待 ビデオ編集ソフトウェア (Sportscode) 選手・ボール位置推定(SportVU) 現場での戦術的分析は、主にビデオ等の目視に基づく しかし、位置計測に基づき軌道が予測できたら： 選手軌道予測[Fujii+20] 34

従来のルールに基づくモデル化・軌道生成 28 ☺ 原理に基づいているため、理解・説明しやすい  より複雑な動きに関して、実際の動きと異なる場合が多い マルチエージェント モデル 軌道生成・評価・ 仮説検証など 初期条件・パラメータ （事前に設定） 集団スポーツの例： ビデオゲーム、RoboCupなど 例：Social force model [Yokoyama+18] 空間力 回避力 協調力

どのように軌道予測するか？ 運動方程式を用いて予測も可能だが [Yokoyama+18; Alguacil+20]、 長期予測には、ニューラルネットワーク（NN)に基づく方法が現在は優位 29 これら先行研究の手法は、予測誤差を最小にするようにモデルを学習・評価 →集団スポーツでは、選手の評価に利用することができるのでは？ 集団運動モデル を学習 軌道生成 テストデータの 初期条件 訓練データ 学習されたモデル による予測 集団スポーツ（バスケ・サッカー）への適用例 • RNN [Zheng+16, Le+17, Ivanovic+18] • Graph NN [Kipf+18, Yeh+19, Monti+20, Graber+20] • GAN [Chen+18, Hsieh+19] • その他の深層生成モデル[Zhan+19, Qi+20, Li+20]

提案： Creating Off-Ball Scoring Opportunity (C-OBSO) 目的： ボール非保持選手 𝑖が得点機会をどれだけ創ったか（評価値） 𝑽𝒊 の算出 方法： シュート等をした選手 𝑘の評価 𝑽𝒌 を、選手 𝑖を軌道予測した時𝑽𝒌 ′ と比較 実際の選手𝑘の評価 𝑽𝒌 − 選手i の予測に基づく選手𝑘の評価 𝑽𝒌 ′ 𝑉𝑖 = − 選手 𝑖 選手 𝑖 （予測） 選手 𝑘 選手 𝑘 守備は 2人を 予測 30

参考：ボール非保持の評価 𝑽𝒌 (OBSO [Spearman18]) コート上の地点 𝑟に価値（下記3要素）を割り当てる • 占有率（Control）：𝐶𝑟 • 遷移率（Transition）：𝑇𝑟 • 得点率（Score）：𝑆𝑟 ある試合状態𝐷における得点確率を 𝑽𝒌 とし、以下のように表す 𝑽𝒌 = 𝑃 𝐺 𝐷 = Σ𝑟∈ℝ×ℝ 𝑃(𝐶𝑟 ∩ 𝑇𝑟 ∩ 𝑆𝑟 |𝐷) →ボールが来たらどれだけ点を入れられるか（ポジショニング）を評価 占有率 𝐶 遷移率 𝑇 得点率 𝑆 ボール非保持の評価 OBSO 31

C-OBSO の算出例 A1（評価対象）が予測よりD1選手を引き付けてA2に貢献 A2のスペースをA1が作った！ 𝟎. 𝟎𝟎𝟕𝟗 C−OBSO： 𝑉A1 = 𝑉A2 − 𝑉A2 ′ 0.0409 0.0330 （実際） （予測） 32 予測（薄色）より、 A1がD1を引き付けた

データセット J1 2019 横浜FM 全対戦試合: 34試合（データスタジアム社(*1)） • イベントデータ（パス・シュート等の行動ラベルとボール座標） • トラッキングデータ（選手全員とボールの座標） 選手軌道予測・評価 • 2秒の系列を使ってその後の4秒を軌道予測（攻撃1選手、守備2選手） • 予測： 対戦相手の攻撃系列(*2) 94208系列で学習、10477系列で検証 • 評価： 横浜FMのシュート系列(*3) 412系列で推論、C-OBSO算出 *1 情報システム研究機構統計数理研究所 医療健康データ科学研究センター、データスタジアム株式会社 *2 攻撃系列：同一チームの連続した攻撃 *3 シュート系列：シュートに至るまでの同一チームの連続した攻撃（連続していない攻撃は除外） 33

結果例： J1 2019 横浜FMのC-OBSOと年俸*との関係 • C-OBSOと年俸は正の相関（𝜌 = 0.45, 𝑝 < 0.05）だがOBSOは相関なし • C-OBSO-年俸の外れ値は、（最）優秀選手賞を受賞 C-OBSOは選手の総合評価（年俸，個人賞）を説明できる可能性あり 34 *1 Soccer-Money.net https://soccer-money.net (アクセス日2021/1/9) 優秀選手賞 最優秀選手賞

本日の話 1. 自己紹介 2. スポーツのデータ解析の背景 3. スポーツ知識とAI （機械学習）を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. チームの動きを結果の予測から評価 c. 選手の動きを軌道予測から評価 4. その他の話題 • 自動運転、動物の群れ、ドローン、eスポーツ？ 5. まとめ 35

軌道予測の他の使い方：もしこうだったら（反事実）を予測 36 守備 #1 は攻撃 #1とその他 の間でバランスを取る 守備 #1が攻撃 #1だけを見 たら近づいた（初心者的） 観測が１つの反事実予測（6 s） 提案モデルの予測（6 s） （観測） その他にも、実際はシュートを打ったが、パスをしていたらどうなったか？ という反事実の予測手法も開発（投稿中） （投稿中）

スポーツ以外①：自動運転の介入への分析にも 実世界では、介入の有無どちらかしかデータがない →データがない方を機械学習で反事実の予測をして、 介入「あり」と「なし」を比較し、介入の効果を推定する （知りたいことはスポーツも運転も同じ） 37 安全確認による急減速（介入無） 安全確認後の発進（介入有） 自動運転シミュレータを用いた介入効果推定の研究 [Fujii+22, SIGSPATIAL]

スポーツ以外②：動物の群れの分析にも プロジェクト「階層的生物ナビ学」（科研費学術変革A） 38 データだけから誰が原因で接近/回避したか を推定 [Fujii+21 NeurIPS] （知りたいことはスポーツも動物も同じ） マウス 鳥 コウモリ #1は#3に避けられる（負） #1は#5に接近される（正）

自分たちで：ドローンや魚眼カメラで選手位置を計測 SoccerTrack [Scott+22, CVSports] （筑波大学との共同研究） 39 バスケットボール（準備中） ドローン カメラ ハンドボール（準備中） 魚眼 カメラ

集団スポーツ以外：姿勢推定を使った分析 40 バドミントンのストローク 評価[Ding+22, IEEE Access] フィギュアスケート （準備中） 競歩の反則判定 [Suzuki+22 IEEE GCCE]

より正確なモデル化：強化学習 41 Google Research Football (2019) 強化学習： 現在の状態から、報酬に基づき取るべき行動を決定 エージェント （方策 𝜋） 状態 𝑠 行動 𝑎 報酬 𝑅 環境・他者 • 最近研究が増えているが、アルゴリズム の改善がメインで、実データとの関連が 議論されていない • 最近：GFootballとJリーグの試合を比較 （パスの観点から）[Scott+22, ICAART] • 今後は選手評価に利用したい

本日のまとめ • スポーツ知識とAI （機械学習）を組合せた分析 • 攻撃・守備戦術を分類 • チーム/選手の動きを（結果/軌道の）予測から評価 • その他の話題： 自動運転、動物の群れ、ドローン、強化学習 42 AI/機械学習で融合し、予測を活用して「動き」を評価 ありがとうございました。気軽に質問お願いします スポーツ科学・データ科学 強化学習 画像処理