姿勢データを用いたダーツ命中予測.pdf

by Kosuke Fujita

Slide 1

Slide 1 text

リアルタイムダーツ命中予測装置を作ってみた Sports Analyst Meetup #4 @fujitako

Slide 2

Slide 2 text

自己紹介 ● 普段は受託系のデータサイエンティスト ○ 株式会社ブレインパッド ○ 新卒3年目（客先常駐３年目） ● ダーツ歴 ○ ４ヶ月 ○ 普段ダーツやらない人にはほぼ負けないが、たまに負けそうになるレベル ● 好きなこと ○ へんなものを作ること ■ ダジャレを入力すると、AIが面白さを判定し面白ければふとんが吹っ飛ぶ装置

Slide 3

Slide 3 text

３つのキーフレーズ ① ③ ②

Slide 4

Slide 4 text

3つのキーフレーズダーツ Edge TPU 姿勢推定

Slide 5

Slide 5 text

ダーツ ● ご存知の通り、的に向かって投げるスポーツ ● 的の中心（ブル）にどれだけ「安定して当てられるか」が勝利のカギ

Slide 6

Slide 6 text

姿勢推定 ● 画像や動画をインプットとして人間の姿勢をデータ化する技術 ● AIが画像を読み取り、関節の位置を推定する ● オープンソースのライブラリが公開されており、商用利用も可能

Slide 7

Slide 7 text

EdgeTPU ● 端末の計算能力を大幅に向上することができる ● サーバーとやりとりする必要がなく動画解析の遅延を大きく減らせる ● 日本で発売されてまもない（今年６月）

Slide 8

Slide 8 text

この3つでつくったもの

Slide 9

Slide 9 text

ダーツを投げたあと、的に到達する前にブルに当たるかどうかを音で知らせてくれる装置、

Slide 10

Slide 10 text

なんの役にも立ちません

Slide 11

Slide 11 text

ダーツを投げたあと、的に到達する前にブルに当たるかどうかを音で知らせてくれる装置のイメージ図撮影動画姿勢推定 edge tpu 基本構成

Slide 12

Slide 12 text

ダーツを投げたあと、的に到達する前にブルに当たるかどうかを音で知らせてくれる装置のイメージ図撮影動画姿勢推定 edge tpu ①姿勢から投てきを検知（ルールベース）投げた

Slide 13

Slide 13 text

ダーツを投げたあと、的に到達する前にブルに当たるかどうかを音で知らせてくれる装置のイメージ図撮影動画姿勢推定 edge tpu ②投てき検知から遡って1 秒間のデータをもとに刺さるかどうか予測（機械学習） 1秒間

Slide 14

Slide 14 text

ダーツを投げたあと、的に到達する前にブルに当たるかどうかを音で知らせてくれる装置のイメージ図撮影動画姿勢推定 edge tpu ③音で知らせてくれるピンポーン！ブブー

Slide 15

Slide 15 text

ダーツを投げたあと、的に到達する前にブルに当たるかどうかを音で知らせてくれる装置のイメージ図撮影動画姿勢推定 edge tpu ④落ち込むブブー腕の振りが悪かった…

Slide 16

Slide 16 text

ダーツを投げたあと、的に到達する前にブルに当たるかどうかを音で知らせてくれる装置のイメージ図撮影動画姿勢推定 edge tpu ⑤少し期待するブブー AIに負けたくない！

Slide 17

Slide 17 text

ダーツを投げたあと、的に到達する前にブルに当たるかどうかを音で知らせてくれる装置のイメージ図撮影動画姿勢推定 edge tpu ⑥結果を知り（ハズレて）さらに落ち込むブブーくっ...

Slide 18

Slide 18 text

使っているデータ ● 場所 ○ 手首、肘、肩 ● 説明変数 ○ 投げる前１秒間の各座標の ■ 最大値、最小値、平均、標準偏差（テキトーです） ● データ数 ○ ブル：約40 ○ ハズレ：約200 ● 予測 ○ ランダムフォレスト

Slide 19

Slide 19 text

結果 ① ② ③ 動画URLは概要欄に記載！

Slide 20

Slide 20 text

課題 ● カメラの性能不足 ○ 秒間30フレームでは足りない ○ USB 3.0接続にする ● ブルに当たったデータ不足（実力不足）

Slide 21

Slide 21 text

今後はリアルタイムでなく、普通に自分のフォーム解析していきたいです

Slide 22

Slide 22 text

ありがとうございました！