集団スポーツの動きに関する データ分析の概要と今後の展望 1 藤井 慶輔 名古屋大学 大学院情報学研究科 理化学研究所・JSTさきがけ 研究室HP： 日本体育測定評価学会第22回大会 第5回身体科学研究会 合同大会 シンポジウム mail: [email protected] twitter: @keisuke_fj

本日の話 1. 自己紹介 2. スポーツのデータ解析の背景 3. スポーツ知識と機械学習を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. 選手の動きを軌道予測から評価 4. その他の話題 • ドローン、姿勢推定、強化学習 5. まとめ 2

自己紹介： 藤井 慶輔（ふじい けいすけ） 3 対人動作分析(2012) 立命館大学にて計測 半面での5対5 (2015) 東海大学にて計測 年 所属 対象 アプローチ 2008-14 京大人環 個人・対人運動 （１対１）を計測 データ解析 NBAのゲームデータ (SportVU) 2014-17 名大保体 センター （学振PD） 運動制御モデル 集団運動（1対1 ～多対多）を計測 データ解析・ 理論モデル化 2017-19 理研AIP （研究員） 集団運動 （提供された データを利用 →再び計測） 機械学習を用いた データ解析・理論 モデル化 2019- 名大情報 （助教） 2021- 同上 准教授 東海大学にて計測（2022）

集団スポーツの動き 4 スポーツ選手： 相手と争い、（集団では）味方と協力する – 巧みな動きや、柔軟なチームワーク、予測できない結果 – どのように定量的に測定、分析、評価するか？ – 計測・モデル化技術の発達から、データ解析の発展が期待 赤がNeymar選手（NHKの撮影協力） NBA 2013-2014のプレシーズンゲーム

動機： 選手位置データをどう応用するか？ 現場の戦術的な分析は、まだ多くがビデオの目視（モデル化が困難） ビデオ編集ソフトウェア (Sportscode) プレイ頻度分析 (Synergy) 選手・ボール位置推定(SportVU) 導入 自動化 11 自動化が実現されれば、研究者や監督者など専門家の負担軽減 や、観客・初心者などの理解促進などが期待される 位置計測と統合して定量的に評価する技術が開発されたら：

私たちが数年後に実現したいAIスポーツ解析の世界 （スポーツのデジタルツイン） （実績： 関連学会受賞歴：23件、論文発表数：66件、招待講演39件、関連特許3件） これを皆さまと一緒に達成 したいです！ 応援お願いします（後半） ※現実世界から収集したデータを使い、 仮想空間上に同じ環境を再現する技術

本日の話 7 1. 自己紹介 2. スポーツのデータ解析の背景 3. スポーツ知識と機械学習を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. 選手の動きを軌道予測から評価 4. その他の話題 藤井慶輔、武石直也、方城素和、稲葉優希、河原吉伸、複雑な集団運動 におけるネットワークダイナミクスの物理的に解釈可能な分類, Scientific Reports, 10, 3005, 2020 日本バスケットボール学会 第6回大会 口頭発表賞

＃1 ＃1 ＃2 ＃2 … Time X(m) Y(m) X(m) Y(m) … 3.508 4.910 1.823 0.811 -0.710 … 3.517 4.910 1.823 0.811 -0.711 … 3.525 4.911 1.823 0.811 -0.713 … 3.533 4.911 1.823 0.812 -0.715 … 3.542 4.911 1.824 0.812 -0.716 … … … … … … … 位置データから攻撃・守備戦術を自動分類 選手とボールの位置データ www.bostonglobe.com 8 位置データ 時間を区切る 特徴作成 自動分類（学習なし プレーの種類・有無など ③ ② ① 特徴を作成して、学習なしで分類 ② 特徴を作成して、機械学習で分類 ③ 特徴を、機械学習で抽出して分類 / 抽出 教師データ / あり）

①特徴を作成して機械学習なしで分類（ルール） スクリーンに対するチームディフェンスを ルールに基づき分類して、 柔軟な戦術性を評価 [Fujii+16, Sci Rep] そのまま 一瞬助ける 役割切替 スイッチ？ スクリーン、スイッチ、動き出し、方向 ユーザー 方向？ ユーザー 方向？ スクリナー 方向？ リング 方向？ スイッチした 方が近い？ （主語はスクリナーDF） マンツー ヘッジ スイッチ その他 スイッチ 回数 危機のレベル ☺ 解釈しやすい、少ないデータでOK 領域特有で一般化しない 9

②特徴を作成して機械学習で自動分類 （実際： vはd次元空間） サポートベクターマシン （SVM）による境界面の学習 v1 v2 オン/オフボールスクリーンの種類： 90％以上の正答率 [Zhang+22, IJCSS] 特徴を作成（例） スクリーンの特徴→ ☺ 特徴は解釈しやすい  特徴の作成方法が一般化しない 10

③特徴を機械学習で抽出して分類 11 ☺ 一般的な運動の特徴を抽出  抽出情報の解釈に困難な時も 1. 入力系列 2. 特徴を抽出 3. 分類(a)と根拠の解釈(b) （各スライド窓で分解） 空間モード 時間 モード (b) 分類 根拠を 解釈 スクリーン無 スクリーン有 （グラフ動的モード分解） [Fujii+20, Sci Rep] 守備戦術 （ゾーン/マンツー） (a) 2つの分類課題 攻撃戦術 （スクリーン有無）

本日の話 1. 自己紹介 2. スポーツのデータ解析の背景 3. スポーツ知識と機械学習を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. 選手の動きを軌道予測から評価 4. その他の話題 12 寺西真聖, 筒井和詩, 武田一哉, 藤井慶輔, サッカーにおける軌道予測に 基づくチームメイトの得点機会創出の評価, Machine Learning and Data Mining for Sports Analytics 2022 (MLSA‘22) in ECML-PKDD’22, 2022 第11回日本統計学会スポーツデータ解析コンペサッカー部門 優秀賞

なぜ集団スポーツで選手軌道予測をするか？ → コーチの頭の中で行われてきた過去/新しい局面にて、異なる 選手/チームだとどう動くかなどのシミュレーションが期待 ビデオ編集ソフトウェア (Sportscode) 選手・ボール位置推定(SportVU) 現場での戦術的分析は、主にビデオ等の目視に基づく しかし、位置計測に基づき軌道が予測できたら： 選手軌道予測[Fujii+20] 34

提案： Creating Off-Ball Scoring Opportunity (C-OBSO) A1（評価対象）が予測よりD1選手を引き付けてA2に貢献 A2のスペースをA1が作った！ 𝟎. 𝟎𝟎𝟕𝟗 C−OBSO： 𝑉A1 = 𝑉A2 − 𝑉A2 ′ 0.0409 0.0330 （実際） （予測） 14 予測（薄色）より、 A1がD1を引き付けた

参考：ボール非保持の評価 𝑽𝒌 (OBSO [Spearman18]) コート上の地点 𝑟に価値（下記3要素）を割り当てる • 占有率（Control）：𝐶𝑟 • 遷移率（Transition）：𝑇𝑟 • 得点率（Score）：𝑆𝑟 ある試合状態𝐷における得点確率を 𝑽𝒌 とし、以下のように表す 𝑽𝒌 = 𝑃 𝐺 𝐷 = Σ𝑟∈ℝ×ℝ 𝑃(𝐶𝑟 ∩ 𝑇𝑟 ∩ 𝑆𝑟 |𝐷) →ボールが来たらどれだけ点を入れられるか（ポジショニング）を評価 占有率 𝐶 遷移率 𝑇 得点率 𝑆 ボール非保持の評価 OBSO 15

結果例： J1 2019 横浜FMのC-OBSOと年俸*との関係 • C-OBSOと年俸は正の相関（𝜌 = 0.45, 𝑝 < 0.05）だがOBSOは相関なし • C-OBSO-年俸の外れ値は、（最）優秀選手賞を受賞 C-OBSOは選手の総合評価（年俸，個人賞）を説明できる可能性あり 16 *1 Soccer-Money.net https://soccer-money.net (アクセス日2021/1/9) 優秀選手賞 最優秀選手賞

どこにポジショニングすればよいか一目でわかる（コーチングに活用） 大学チームアナリスト： ポジショニングの 良し悪しは主観でしか伝えられない 従 来）（主観で）ここにパスを出せば良かったのに…（どこに出したらどれくらい良かった？） 本技術）このパスよりも、ここに出した方が得点チャンスが ** %増加する！ ※筑波大学蹴球部と共同研究中 大学チーム監督： プレー映像のまとめ だけでなく良し悪しも参考にしたい 応用例： 空間の価値を計算し、選択肢と評価値を提示

本日の話 1. 自己紹介 2. スポーツのデータ解析の背景 3. スポーツ知識と機械学習を組合せた分析 a. 動きの特徴を学習し攻撃・守備戦術を分類 b. 選手の動きを軌道予測から評価 4. その他の話題 • ドローン、姿勢推定、強化学習 5. まとめ 18

集団スポーツ以外：姿勢推定を使った分析 19 バドミントンのストローク 評価[Ding+22, IEEE Access] フィギュアスケート （準備中） 競歩の反則判定 [Suzuki+22 IEEE GCCE]

より戦術的なモデル化：強化学習 20 Google Research Football (2019) 強化学習： 現在の状態から、報酬に基づき取るべき行動を決定 エージェント （方策 𝜋） 状態 𝑠 行動 𝑎 報酬 𝑅 環境・他者 • 最近研究が増えているが、アルゴリズム の改善がメインで、実データとの関連が 議論されていない • 最近：GFootballとJリーグの試合を比較 （パスの観点から）[Scott+22, ICAART] • 現在実データとシミュレータのギャップを 埋める研究を投稿中[Fujii et al. 2023] （選手評価に利用したい）

自分たちで：ドローンや魚眼カメラで選手位置を推定 21 サッカー: SoccerTrack [Scott+22, CVSports] その他（バスケ・ハンド）：準備中 （現在東海大、筑波大、蕪湖職業技術 学院（中国） 、名古屋大が連携）

データ分析に関する私たちの課題 22 映像を見て評価することが前提で、一部のトップしかデータがない！ 私たち（分析する研究者）にとって… 課題① 映像や前処理データを入手するのが大変 課題② 出力結果の解釈・検証や選手への伝え方が難しい 選手や、教えるコーチ、現場で測定される研究者にとって… 課題③計測・分析するのに非常に時間がかかる 課題④経験がないと大量の映像から参考情報が得られない 多くの人に情報を簡単に共有するためには、両者が協力して、 映像や分析コードを共有/公開することが必要 （オープンサイエンス） （現在東海大、筑波大、蕪湖職業技術学院（中国） 、名古屋大が連携）

本日のまとめ • スポーツ知識とAI （機械学習）を組合せた分析 • 攻撃・守備戦術を分類 • 選手の動きを軌道予測から評価 • その他の話題： ドローン、姿勢推定、強化学習 23 AIで可能になる新しいスポーツ解析の世界 （スポーツデジタルツイン） 詳細は HP： 謝辞：共同研究者の皆さま、支援頂いた研究費（HP参照） 多くの人に動きの情報を オープンサイエンスで 簡単に共有できる世界 を実現したいので、お気軽 にご連絡ください！ mail: [email protected] twitter: @keisuke_fj （藤井 慶輔）