SoccerMaster: A Vision Foundation Model for Soccer Understanding

第67回 コンピュータビジョン勉強会＠関東（CVPR2026読み会 前編）での発表資料です。"SoccerMaster: A Vision Foundation Model for Soccer Understanding"の紹介です。

Transcript

1. © GO D rive Inc. SoccerMaster: A Vision Foundation Model for Soccer Understanding 2026年7月18日 第67回コンピュータビジョン勉強会＠関東（CVPR2026読み会 前編） GOドライブ株式会社 宮澤一之
2. © GO D rive Inc. 2 自己紹介 @kzykmyzw 宮澤 一之 GOドライブ株式会社 AI技術開発1部 部長 経歴 April 2020 - July 2025 グループマネージャ@GO April 2019 - March 2020 AI研究開発エンジニア@DeNA April 2010 - March 2019 研究員@三菱電機 March 2010 博士@東北大学 https://dcai-jp.connpass.com/ https://gihyo.jp/book/2025/978-4-297-14663-4
3. © GO D rive Inc. 3 サッカー映像の認識に特化した視覚基盤モデルSoccerMasterと その学習データセット構築のためのSoccerFactoryを提案 Oral Award Candidate code paper
4. © GO D rive Inc. 4 SoccerMasterによるサッカー映像の認識デモ https://www.youtube.com/watch?v=ocZs5Q-lAe0&t=74s
5. © GO D rive Inc. 5 SoccerNet [1] • サッカー映像理解のための大規模データセット群、ベンチマーク、コンペティション • 2018年の開始以降、CVPR Workshopでコンペを開催しながら現在まで発展を続けている
6. © GO D rive Inc. 6 従来手法 〜背番号認識 [2]〜 • 放送映像では背番号が見えるフレームが少なく、多くのフレームが認識性能を低下させる • キーフレーム抽出により背番号を含むフレームだけを選び、対象選手以外の背番号を除去 • 時系列情報に加え、2桁の数字を個別に推定する学習方式を導入し未知の背番号にも対応 • SoccerNetで従来手法を大幅に上回る性能を達成し認識精度を約38ポイント向上
7. © GO D rive Inc. 7 従来手法 〜選手識別・トラッキング [3]〜 • 同じチームの選手が似ていることや遮蔽により、各選手を継続して識別することは困難 • 選手の身体を5部位に分け、見える部位の特徴だけを使うことで遮蔽に強い表現を生成 • 個人識別、所属チーム認識、役割分類を単一モデルで同時学習し、未知のチームにも適用 可能な汎用的な特徴を獲得 • 提案特徴をStrongSORTとトラック統合処理に組み込み、SoccerNet-Trackingで従来手 法を上回るトラッキング性能を達成
8. © GO D rive Inc. 8 従来手法 〜カメラキャリブレーション [4]〜 • 放送映像ではピッチの一部しか映らず、カメラ位置や画角も変化するため、画像と実際の フィールドの対応付けが困難 • フィールドの線・円・ゴール形状から、位置が既知のキーポイント群を生成し、画像上の 対応位置をCNNで生成したヒートマップから検出 • 検出した点から初期カメラパラメータを推定し、点とフィールドラインの再投影誤差を最 小化することでカメラパラメータを高精度化
9. © GO D rive Inc. 9 従来手法 〜実況生成 [5]〜 • 従来手法はイベント検出と実況 生成を別々に行うため、全体文 脈を十分に活用できない • タイムスタンプ予測と実況生成 を単一のMLLMで行うend-to- endアーキテクチャを提案 • 45分間の長時間映像に対応する ため、重要フレームを選択する MoFA-Selectを導入 • SoccerNetの実況生成タスクで 高い時間精度と意味的整合性を 両立し、end-to-end手法とし て最高性能を達成
10. © GO D rive Inc. 10 従来手法 〜サッカー映像向け視覚エンコーダ [6]〜 • 多様なサッカー映像認識タスクを統一的に扱う基盤モデルの構築を目指し、1,988試合の 映像にイベントラベルと実況文を付与した大規模データセットSoccerReplay-1988を構築 • SigLIPをベースに時間方向のアテンションを追加した視覚エンコーダMatchVisionを提案 • SoccerReplay-1988で事前学習したMatchVisionを視覚エンコーダとして利用することで イベント分類、実況生成、ファウル認識で従来手法を上回る性能を達成
11. © GO D rive Inc. 11 これまでの課題と本論文の貢献 課題1 非効率なタスク特化開発 大きく空間認識と意味理解に分 けられるサッカー映像認識にお いて、従来はタスクごとに専用 モデルを開発しており非効率的 課題2 空間認識の軽視 視覚と言語のアラインメントを 学習することで汎用的な視覚エ ンコーダを獲得する試みもある が、空間認識能力を軽視 課題3 アノテーションの限界 特に空間認識のための詳細なア ノテーション（フレーム単位の ラベル等）は高コストなためデ ータセットの大規模化が困難 本論文の貢献 単一フレームワークでのマルチタスク事前学習により空間認識から 意味理解まで幅広く性能を発揮する視覚基盤モデルSoccerMaster を提案し、学習に必要な大規模なデータセットの構築を可能にする ラベル生成パイプラインSoccerFactoryを開発 課題1 課題2 課題3
12. © GO D rive Inc. 12 SoccerMasterにおける事前学習タスク 選手検出・識別 フィールド上の人物を検出し、役割（選手、ゴール キーパー、審判）と背番号を付与 フィールド認識 フィールド上のキーポイントとキーポイント同士を 結ぶラインを認識 空間認識 イベント分類 サッカー映像の区間をゴールやコーナーキック、 イエローカードなどのイベントに分類 視覚・言語アラインメント サッカー映像とその内容を説明する文章を対応付け 意味理解 右からクロス ゴール前でセーブ 中央でシュート
13. © GO D rive Inc. 13 SoccerFactory • 手動での詳細な空間認識アノテーションはコストが高いため、サッカー映像から空間認識 タスクの学習に必要なラベルを自動生成するパイプラインSoccerFactoryを開発 • SoccerFactoryで生成したデータセットと既存データセットを組み合わせることで大規模 な事前学習データセットを構築
14. © GO D rive Inc. 14 フィールド認識 • サッカー映像の各フレームからPnLCalib [4] を用いてフィ ールドのキーポイントとラインを検出 • PnLCalibは画像から検出したキーポイントとラインを基準 フィールドと対応付け、再投影誤差を最小化することでカ メラパラメータを推定 • 推定したカメラパラメータで基準フィールドのキーポイン トとラインを画像に投影することで高精度なラベルを生成 基準フィールド
15. © GO D rive Inc. 15 選手トラッキング・識別 役割：選手 背番号：8 役割：キーパー 背番号：1 役割：審判 背番号：- t+1 t+2 ID: 1 ID: 2 ID: 3 ID: 4 t … チームA チームB 人物検出 トラッキング 属性識別 チーム推定 サッカー映像 • サッカー映像の各フレームからYOLOv8で人物を検出し、PRTReID [3] で抽出したReID 特徴を使ってStrongSORTでトラッキング • 人物領域をQwen2.5-VLに入力して役割（選手、ゴールキーパー、審判）と背番号を認識 • トラッキングした選手ごとに平均化したReID特徴とフィールド上の座標をクラスタリング することで各選手をチームに分類 • SAM2を使った検出漏れ補間や時間方向の投票、分断トラック結合等の後処理で高精度化
16. © GO D rive Inc. 16 SoccerFactoryによる事前学習データセットの品質と規模 ラベル品質 • SoccerFactoryによるラベルの品質を SoccerNet GSR Challenge [7] で評価 • 選手の検出や属性認識、トラッキングの品質 を評価する各尺度でSoTAを達成 事前学習データセットの構築 • 空間認識：空間認識向けのラベルがない SoccerNet-v2の映像にSoccerFactoryでラ ベルを付与し、SoccerNet GSRと統合 • 意味理解：既存の3データセットを統合 • 最終的に約25万本の動画から得られた745 万枚のフレームでデータセットを構築
17. © GO D rive Inc. 17 SoccerMasterのアーキテクチャ 空間認識向け 空間特徴の抽出 意味理解向け 時空間特徴の抽出
18. © GO D rive Inc. 18 SoccerMasterのアーキテクチャ • ViTのトークン化プロセスを踏襲 • 映像の各フレームをパッチに分割し 埋め込みに変換 • 学習可能な位置埋め込みを加算
19. © GO D rive Inc. 19 SoccerMasterのアーキテクチャ • ViTのトークン化プロセスを踏襲 • 映像の各フレームをパッチに分割し 埋め込みに変換 • 学習可能な位置埋め込みを加算 • Transformerで空間特徴を抽出 • アテンション計算では同一フレーム 内のトークンのみ相互に作用させ、 時間方向の情報交換は行わない
20. © GO D rive Inc. 20 SoccerMasterのアーキテクチャ • ViTのトークン化プロセスを踏襲 • 映像の各フレームをパッチに分割し 埋め込みに変換 • 学習可能な位置埋め込みを加算 • 空間方向と時間方向のTransformer を重ねることで時空間特徴を抽出 • 時間方向のアテンションでは同じ空 間位置のトークン間でのみ相互作用 • SigLip 2由来のMAP (Multihead Attention Pooling) を空間方向に 適用して特徴を集約 • Transformerで空間特徴を抽出 • アテンション計算では同一フレーム 内のトークンのみ相互に作用させ、 時間方向の情報交換は行わない
21. © GO D rive Inc. 21 マルチタスク事前学習 選出検出・識別ヘッド Deformable DETRライクなデ コーダで選手を検出し、それぞ れの役割・背番号を認識 フィールド認識ヘッド 軽量なCNNでヒートマップを生 成し、フィールド上のキーポイ ントとラインを検出 イベント分類ヘッド Transformerを通したあと時間 方向にプーリングし線形層でイ ベントを分類 アラインメントヘッド 時間方向にプーリングし、テキ スト（サッカー映像の説明文） 埋め込みとの類似度を計算
22. © GO D rive Inc. 22 マルチタスク事前学習 ロス計算 ロス計算 ロス計算 ロス計算 学習ロス ＋ 重み 重み 重み 重み 選出検出・識別ヘッド Deformable DETRライクなデ コーダで選手を検出し、それぞ れの役割・背番号を認識 フィールド認識ヘッド 軽量なCNNでヒートマップを生 成し、フィールド上のキーポイ ントとラインを検出 イベント分類ヘッド Transformerを通したあと時間 方向にプーリングし線形層でイ ベントを分類 アラインメントヘッド 時間方向にプーリングし、テキ スト（サッカー映像の説明文） 埋め込みとの類似度を計算
23. © GO D rive Inc. 23 事前学習タスクでの性能比較 • 事前学習タスクにおいて、汎用的な視覚基盤モデルであるSigLIP 2とDINOv3、およびサ ッカーに特化した視覚エンコーダMatchVision [6] と性能を比較 • 比較対象のモデルにおいてはエンコーダを凍結し、タスクに特化したヘッドを取り付けて ヘッド部分のみSoccerMasterと同様の事前学習データセットで学習 • 提案手法は2ndベストと比較して選手検出のmAPで17.5pt、イベント分類で11.9ptの改善 • 映像と言語の対応付けでは、SigLIP 2がtop-1精度3.4%のところ39.0%と大幅に改善 • サッカーに特化したMatchVisionも詳細な空間認識が苦手で提案手法に劣る
24. © GO D rive Inc. 24 ダウンストリームタスクでの性能比較 〜カメラパラメータ推定〜 フィールド認識ヘッド 軽量なCNNでヒートマップを生 成し、フィールド上のキーポイ ントとラインを検出 キーポイント・ライン 再投影誤差最小化 カメラパラメータ • 事前学習タスクにおけるフィールド認識の結 果を利用し、再投影誤差の最小化でカメラパ ラメータを推定 • CNNで同様にフィールドを認識し、カメラパ ラメータを求める専用モデルPnLCalibと比較 • 同解像度で比較するとSN22ではPnLCalibより も高性能だが、難度が高いSN23では劣る • SN23で（？※）ファインチューニングすれば PnLCalibを上回る * ファインチューニングなし † ファインチューニングあり ※ 論文中に詳細の記載なし
25. © GO D rive Inc. 選手BBOX（特徴量） 25 ダウンストリームタスクでの性能比較 〜複数物体トラッキング〜 選出検出・識別ヘッド Deformable DETRライクなデ コーダで選手を検出し、それぞ れの役割・背番号を認識 MOTIP 選手トラック • 事前学習タスクにおける選手検出・識別に使 われるDETRデコーダの物体レベル特徴を MOTIPに入力して各選手をトラッキング • 検出器 (YOLOv8)、ReIDモデル、後処理モジ ュールを組み合わせるマルチステージな従来 手法と比較 • SoccerMasterはシンプルなend-to-endパイ プラインながら従来手法に匹敵 • 特に検出性能 (DetA、MOTA) が高く、同じ選 手を同じIDで追跡し続ける性能は専用ReID手 法にやや劣るが、総合的な性能はほぼ同等
26. © GO D rive Inc. 26 ダウンストリームタスクでの性能比較 〜実況コメント生成〜 Q-Former • SoccerMasterから得られる時空間（意味）特 徴をQ-Formerに入力し、時間方向に集約した 上で線形層によりLLM の埋め込み空間に投影 して文章を生成 • Q-Formerに接続する視覚エンコーダをSigLIP 2およびMatchVisionに置き換えた場合と比較 （MatchTimeデータセット [8] で全手法のフ ァインチューニングを実施） • SigLIP 2との比較ではSoccerMasterが全指標 で優位であり、サッカーに特化した事前学習 の有効性が示されている • MatchVisionとはほぼ同程度だが、重要な単 語や表現の一致度を測るCIDErにおいて優位 実況コメント LLM (Llama-3-8b)
27. © GO D rive Inc. 27 Ablation Study 〜マルチタスク事前学習の効果〜 • 事前学習において、各タスクを独立に学習した場合と同時に学習した場合の性能を比較 ◦ 計算の効率化のため、SoccerMasterの軽量なバリアントを使用 • フィールド認識ではほぼ性能差はないが、視覚・言語アラインメントではマルチタスク学 習による性能改善が見られ、マルチタスクを同時に最適化することが意味理解に寄与する 補完的な教師信号を提供していることが示唆される • 選手検出ではマルチタスク学習で性能が落ちているが、軽量なバリアントを使用したため モデルのキャパシティが不足したことが原因と考えられる ◦ 実際にフルバージョンのSoccerMasterにおける比較では性能差なし
28. © GO D rive Inc. 28 定性評価 〜空間認識〜
29. © GO D rive Inc. 29 定性評価 〜空間認識〜
30. © GO D rive Inc. 30 定性評価 〜空間認識〜
31. © GO D rive Inc. 31 定性評価 〜空間認識〜
32. © GO D rive Inc. 32 定性評価 〜意味理解〜 イベント: コーナーキック 実況コメント: [PLAYER] ([TEAM]) takes the corner kick and sends the ball into the penalty area, but the opposition‘s defense is ready and clears the danger. （ [PLAYER] ([TEAM])がコーナー キックを蹴り、ボールをペナルティ エリア内へ送り込みます。しかし、 相手守備陣がしっかり対応し、ボー ルをクリアしました。）
33. © GO D rive Inc. 33 まとめ • これまでタスクごとに専用モデルが開発されてきたサッカー映像認識において、 空間認識から意味理解までを統一的に扱う視覚基盤モデルSoccerMasterを提案 • 選手検出・識別、フィールド認識、イベント分類、視覚・言語アラインメント を統合したマルチタスク事前学習により汎用性の高い特徴表現を獲得 • 高コストな空間認識向けのアノテーションを自動化するデータ処理パイプライ ンSoccerFactoryを開発し、大規模な事前学習データセットを構築 • SoccerFactoryを多様なタスクに適用することで、汎用的な視覚基盤モデルや 専用モデルに匹敵する or 上回る性能が得られることを確認
34. © GO D rive Inc. 34 本論文の強みと弱み（私見） 強み • 汎用的な視覚基盤モデルの流用ではなく、 自分たちのドメインに特化した基盤モデ ルを作れるか？作ったとしてその効果 は？という問いは普遍的 • 空間認識と意味理解を分離した納得性の ある設計 • 趣向を凝らした事前学習タスクではなく、 シンプルな既存タスクのロスの足し合わ せによるマルチタスク学習 • 既存手法を組み合わせることで実用的な データ生成パイプラインを構築 弱み • 要素技術は全て既存手法の組み合わせで あり、コアとなる新規性が弱い • 事前学習タスクの設定が天下り的であり、 なぜそのタスクなのか、他により良いタ スクや組み合わせはないのか、といった 議論がなされていない • 事前学習タスクとダウンストリームタス クが密接に対応しており、基盤モデルと して未知タスクに転移可能とは言い難い • 比較実験が必ずしも妥当・公平ではなく、 提案手法の何が有効なのか疑問が残る
35. © GO D rive Inc. 35 参考文献 [1] https://www.soccer-net.org/home [2] B. Balaji et al., “Jersey number recognition using keyframe identification from low-resolution broadcast videos,” MMSports, 2023. [3] A. Mansourian et al., “Multi-task learning for joint re-identification, team affiliation, and role classification for sports visual tracking,” MMSports, 2023. [4] M. Gutierrez-Perez et al., “PnLCalib: Sports field registration via points and lines optimization,” arXiv, 2024. [5] L. You et al., “TimeSoccer: An end-to-end multimodal large language model for soccer commentary generation,” ACM MM, 2025. [6] J. Rao et al., “Towards universal soccer video understanding,” CVPR, 2025. [7] https://speakerdeck.com/mixi_engineers/intro-to-soccernet-gsr-and-tech-applications [8] J. Rao et al., “MatchTime: Towards automatic soccer game commentary generation,” EMNLP, 2024.
36. 文章・画像等の内容の無断転載及び複製等の行為はご遠慮ください。 © GO D rive Inc.