競輪選手の体力を視覚化するための物体認識とデータサイエンスの融合

Transcript

1. 競輪選手の体力を視覚化するための 物体認識とデータサイエンスの融合 CA DATA NIGHT #4 Data Science Center 松田 和己
2. アウトライン 1. 新たな映像体験「WINLIVE」について 2. WINLIVE を実現するための物体認識とデータサイエンス 3. レース映像から選手の位置情報を検出するための物体認識 4. 選手の体力を数値化するためのデータサイエンス 5. ユーザへの効果・影響
3. 特許出願中 本内容は、特許出願中の内容になります。
4. 松田 和己（まつだ かずき） • 社歴：2015年4月新卒入社 • 所属：メディア統括本部 > Data Science Center（DSC） • 職種：データサイエンティスト • 担当サービス：WINTICKET • 業務内容： ◦ ユーザ体験向上のためのデータ分析や機能開発 ◦ スポーツ映像テックのためのデータサイエンス ◦ データチーム（WINTICKET担当）のマネジメント ◦ 横軸組織として事業との組織連携 自己紹介
5. 1 ｜ WINLIVE
6. WINTICKET 2019年にリリースされた公営競技のインターネット投票サービス。 競輪のインターネット投票シェアは42%(※1) となっており業界No.1。 競輪に馴染みのある方々はもちろんのこと、特に若い世代に面白さを伝え 裾野を広げることを目指している。 「アリかも競輪」「すきま時間に競輪」
 ※1 : 2023年4〜6月。2023年3Q決算説明会資料より引用
7. WINLIVE WINLIVE は、よりたくさんの方に競輪を楽しんで もらいたいという思いから WINTICKET が独自に 開発した、新しいライブ映像です。 映像内では、 選手の体力（HP） に着目し、レースの状況・ チャンスのある選手などをわかりやすく表示しま す。 （機能リリースのお知らせより）
8. WINLIVE 競輪が、初心者に優しくない競技と言われる所以 • ラインと呼ばれるチームの概念がある ◦ チームを組む選手自身が動力となっている（心理読み） • 良い位置の取り合い ◦ 先頭選手は主導権を得ると同時に強い空気抵抗を受け、隊列全体の入れ替わりが多い ◦ また、レース前半は風除けを担当する誘導員がいる準備時間 • 「いまどういう状況！？」となりやすい これらを解決するための新映像 →
9. WINLIVE サンプル映像（公開資料ではカット）　
10. • 3つの競輪場に対応 ◦ 小倉 競輪場（福岡県） ◦ 平塚 競輪場（神奈川県） ◦ 前橋 競輪場（群馬県） • これまで通り通常の映像を選択できる オンオフ機能を搭載 • ABEMA競輪チャンネル番組でも活用 WINLIVE
11. 2 ｜ データ技術
13. WINLIVE 動画内のスクショに説明する - これは体力 - これは周回状況 - など レースの進捗状況 選手の体力状況 エフェクト判定・ 表示位置 データ技術による表示物
14. WINLIVEを支えるデータ技術 - 全体像
15. WINLIVEを支えるデータ技術 - 全体像 物体認識 データサイエンス エフェクト表示位置 レースの進捗状況 エフェクト判定 選手の体力状況 選手の3D座標
16. 3 ｜ 物体認識技術
17. 2D3Dどちらも、動画像内の選手位置を推定する、というタスク 2D • IN：放送用のレース映像 • OUT：動画内の位置情報 3D • IN：専用の固定カメラのレース映像 x 複数 （※実施時に設置・撮影） • OUT：競輪場内の3D位置情報 物体認識技術 - タスク エフェクト表示位置 レースの進捗状況 エフェクト判定 選手の体力状況 選手の3D座標
18. 物体認識技術 - インプット映像の違い 2D （寄り、1カメラ） 3D （引き、複数カメラ）
19. 物体認識技術 - 2D 概要 • YOLO系の物体認識モデルを利用 • アノテーションデータを人手で用意・学習
20. 物体認識技術 - 2D 改善事例 課題 • 放送用レース映像は1カメラなので、審判台 などの障害物や選手同士の重なり時に抜け （認識漏れ）が発生しやすい 方法・結果 • 該当フレームで認識されない選手がいた場 合、直前フレームまでの情報を用いてカルマ ンフィルタによる補完を行うことで精度改善 • 車番の誤認識についても低減 後：6番車(緑)を正しく認識し、5番車(黄)も正常に認識 前：審判台で6番車(緑)を見失い、5番車(黄)と誤認識
21. 物体認識技術 - 3D 概要 • 2Dと同様に、動画像内の位置を推定 • 3D専用の固定カメラを複数台設置する必要有 ◦ これが対象場が限られている理由 • 競輪場のスキャンデータを作成することで、 カメラの位置と向きを事前推定でき、動画像 内の位置を競輪場における3D座標に変換する ことも可能となる • 画角の見切れに対応するため、複数台の結果 をマージして3D座標の推測結果を得る
22. 物体認識技術 - 3D 競輪場のスキャンデータ
23. 物体認識技術 - 3D 世界座標系 （=競輪場中心の座標系） カメラ座標系 （=カメラ中心の座標系） スクリーン座標系 事前推定したカメラ位置・向きと、競輪場のスキャンデータを用いることで、 スクリーン座標系 → カメラ座標系 → 世界座標系と変換することができる。
24. 物体認識技術 - 3D 改善事例 課題 • 数万枚のアノテーションデータが必要となっ ていて、コスト（お金と時間）がかかる 方法・結果 • 類似したアノテーションデータを間引く、つ まりアノテーションをする画像枚数を減らし ても精度が維持されるかどうか検証した • 結果、多様性が重要であり、1/5 に間引いた 場合でも問題ないことがわかった 評価項 目 説明 all 1/5 1/15 + aug3 1/15 Acc@1 予測した上位1つのラ ベルが正解ラベルと一 致する割合 96.453 96.673 95.729 95.041 Acc@5 予測した上位5つのラ ベルの中に正解ラベル が含まれる割合 99.938 99.972 99.910 99.924
25. 4 ｜ 体力の定量化
26. 体力を数値化するためのデータサイエンス データ • 選手のレース中の3D座標が得られている（30フレーム/秒） ◦ 前述の3D物体認識より (X1, Y1) (X2, Y2) (X3, Y3)
27. 体力を数値化するためのデータサイエンス 要件 • 選手の体力（の消費状況）、つまり時点ごとの残り体力を数値化したい 方針 • 時点ごとの選手の発揮している力の大きさを計算（推定） • 大きな力を発揮しているほど残り体力が大きく減算されていくようなイメージ ◦ 減算の起点となるレース開始時の体力（最大体力）は別途設定（省略）
28. 体力を数値化するためのデータサイエンス アプローチ • 選手が発揮している力は、物体（選手+自転車）が運動するために使われると考える • 一般に、運動する物体には4種類の抵抗力が働くとされている ◦ 空気抵抗、ころがり抵抗、加速抵抗（加速時）、登坂抵抗（登坂時） • つまり、4種類の抵抗力を計算できれば、選手が発揮している力の大きさを推定できる 登坂抵抗 空気抵抗 加速抵抗 転がり抵抗 参考：空気抵抗の占める割合 40km/hで90%、60km/hで95%
29. 体力を数値化するためのデータサイエンス 空気抵抗とスリップストリーム 競輪では、スリップストリームと呼ばれる現象を活かして体力を温存することが重要 • 走行する物体の後方にできる低気圧空間に、追走する選手が引き込まれる効果のこと ◦ 通常よりも小さな空気抵抗を受けることになる • 真後ろピッタリで最大の軽減効果（約半減）となり、距離が離れるにつれて効果が弱まる 低気圧空間 吸引力 進行方向
30. スリップストリームの効果量に関する先行研究 • 「前方選手から縦や横にどの程度離れていると効果量がどう変わるか」という研究を参考に ◦ 具体的には「縦に11m離れると効果がなくなる」「横に1m離れると効果がなくなる」 ◦ 選手同士の距離関係を計算できればスリップストリームを定量化できる 、と考えた • 進行方向はコースに沿って変わるためコース形状（特にコーナー）を考慮するが必要と考えた 体力を数値化するためのデータサイエンス 進行方向 縦 横
31. 体力を数値化するためのデータサイエンス (0,40) (0,-40) (x,y) (0,0) (40,0) (-40,0) (-40,40 ) (-40,-40) (40,40) (40,-40) 実際の競輪場のコースは非常に複雑な形をしていて、厳密な位置関係を求めることが難しい。 これに対して、シンプルな半円形状を仮定する、ことで計算が簡略化できると考えた。 ※画像は、静岡競輪場公式サイト（ https://www.shizuoka38.jp/ ）より引用 シンプル化
32. 体力を数値化するためのデータサイエンス 直線部分 コーナー部分 横 縦 縦 横 縦方向と横方向の距離について、直線部分はシンプルな座標の引き算によって、 コーナー部分も円形の仮定から内積・外積を求める座標の四則演算によって求められる
33. 体力を数値化するためのデータサイエンス 0.5m 1.0m 2.0m 3.0m 1.5m 1.0m 0.5m 1.0m 0.5m ① 他選手との位置関係を求め、非線形な関数を定義しスリップストリーム効果を計算する
34. 体力を数値化するためのデータサイエンス 0.5m 1.0m 2.0m 3.0m 1.5m 1.0m 0.5m 1.0m 0.5m ① 他選手との位置関係を求め、非線形な関数を定義しスリップストリーム効果を計算する ② 最も強い効果を、その選手が受ける効果とする
35. 体力を数値化するためのデータサイエンス (0,40) (0,-40) (x,y) (0,0) (40,0) (-40,0) (-40,40 ) (-40,-40) (40,40) (40,-40) θ レースの進捗状況 • 位置関係から先頭選手が判定でき、先頭選手 の座標がつくる角度をベースに計算している エフェクト表示判定 • 計算された空気抵抗の値や、残り体力を比較 して判定している
36. 体力を数値化するためのデータサイエンス 定量評価（テスト走行計測） • 場所：平塚競輪場 • 観点：構築した計算ロジックは、どの程度正しいのか実態と比べる方法がなかった • 方法：パワーメーター（漕ぐ力を計測する装置） を装着した自転車で実際に競輪場を走行 ◦ 特に前方に選手がいるケースで、走行速度が近しい実際のレースでの計算結果と差がないか ◦ 低速設定（35km/h）と高速設定（50km/h）の2つの状況 • 結果：以下のような結果で、実態と大きな差のないロジックとなっていることが確認できた ◦ 力の大きさの絶対値は、±20W程度 の差 ◦ 追走する選手の軽減率は、±2%程度 の差
37. 体力を数値化するためのデータサイエンス 定性評価（一部事前） • 対象：有識者（サービスメンバーや競輪選手） • 観点：WINLIVEの映像（特に体力）について違和感ないか • 方法： ◦ サービスメンバーや競輪選手：ドメイン知識を持つ人から見ても違和感がないか ◦ 競輪選手のみ：（どちらかというと事前調査的な意味合いが強い） ▪ 風（空気抵抗）をどう考えているか ▪ スリップストリームの効果をどう感じているか • 結果： ◦ リリースOKとなった
38. 5 ｜ 効果検証
39. WINLIVE の効果検証 定量評価（プレリリース時A/Bテスト） • 期間：2023年1月小倉競輪 • 対象：約76,000ユーザ（新規ユーザ） • 観点：WINLIVEによって競輪新規ユーザの理解が促進され利用意向度が向上するか • 方法：行動ログを用いてレース映像視聴ユーザの翌日視聴率や翌日投票率を比較 • 結果： ◦ 翌日視聴率が+3.2pt、翌日投票率が+2.9pt ◦ 参考：レース映像視聴ユーザは、両群合計で4,000弱（対象全体の5%）
40. WINLIVE の効果検証 定性評価（プレリリース時A/Bテスト） • 期間：2023年1月小倉競輪 • 対象：約76,000ユーザ（新規ユーザ） • 観点：WINLIVEについてどのように感じているか • 方法：アンケート ◦ 5段階評価（理解のしやすさ、面白さ、興味関心向上）、自由記述 • 結果： ◦ 未経験層で平均4程度の高い支持 を得られた ◦ 玄人層からは通常映像を求める声も ▪ オンオフ機能の初期リリース時に組み込む意思決定
41. WINLIVE の効果検証 定量評価（リリース後） • 期間：2023年5月小倉競輪、前橋競輪 • 対象：全ユーザ（レース映像視聴ユーザ） • 観点：WINLIVEが実際にリリースされオンオフ機能が活用されているか • 方法：行動ログを用いて新規/既存ユーザの機能オンオフ率を比較 • 結果： ◦ 既存ユーザを含めて多くのユーザがWINLIVEを利用している（今後もFBを注視していく） ▪ 新規ユーザ：85%程度のユーザがオン ▪ 既存ユーザ：75%程度のユーザがオン
42. まとめ 新たな映像体験「WINLIVE」支えるデータ技術について紹介しました。 • 物体認識パート ◦ 2D座標（動画像内）や3D座標（競輪場内）の推定 • データサイエンスパート ◦ 3D座標をもとに体力消費状況、特に空気抵抗の推定 それぞれ精度と妥当性を意識しながら進めてきました。
43. サイバーエージェントでは 一緒に挑戦する仲間を募集中 です！ ✔オンラインでカジュアル面談実施中 ✔今すぐ転職を考えていなくてもOK！ 詳しくはコチラから👉 【急募】CVエンジニア