Upgrade to Pro — share decks privately, control downloads, hide ads and more …

コンピュータビジョンの社会実装について考えていたらゲームを作っていた話

 コンピュータビジョンの社会実装について考えていたらゲームを作っていた話

第63回コンピュータビジョン勉強会@関東「CVでこんなプログラムを作りました大LT大会5」の発表資料です。
https://kantocv.connpass.com/event/344139/

Takuya MINAGAWA

February 23, 2025
Tweet

More Decks by Takuya MINAGAWA

Other Decks in Technology

Transcript

  1. 自己紹介 2 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード

    技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp
  2. 自己紹介 3 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード

    技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp パーソナルコンピュータが出てきたときの「思考のた めの道具」思想とか、ネット黎明期のユートピア的思 想になんとなくあこがれてIT業界に入った
  3. 自己紹介 4 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード

    技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp ITバブルがはじけてリストラ。転がり込んだベンチャーが、 ネットワーク系かと思ったらコンピュータビジョン系だった。 CVはこれから面白いビジネスになるぞと予感。
  4. 自己紹介 5 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード

    技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp コンピュータビジョンをもう一度アルゴリズムから勉強し なおすぞ!と社会人博士進学。もたもたしている間に深 層学習ブーム到来。あっという間にレッドオーシャン。
  5. 自己紹介 6 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード

    技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp 惰性で独立。今に至る。
  6. 13 この本の第7章「CV をとりまく環境」を執 筆しました。 コンピュータビジョン を使ったビジネス事 例について広範囲に まとめております。 第7章 CVをとりまく環境

    7.1 オープンソースソフトウェア 7.1.1 CVライブラリ 7.1.2 深層学習フレームワーク 7.2 CVのビジネス事例 7.2.1 顔検出 7.2.2 顔認証 7.2.3 一般物体認識 7.2.4 物体検出/追跡 7.2.5 姿勢推定 7.2.6 拡張現実感 7.2.7 画像生成 7.2.8 クラウドサービス 7.3 まとめ 要素技術ごとにビジネス事例を紹介!
  7. IoTライフサイクル 19 現実世界 仮想世界 センシング 現実制御 • 解析/理解 • 可視化

    • シミュレーション デジタルツイン 仮想世界でプロ グラミングし、現 実世界へ反映
  8. 2. ユーザがトリガーとアクションを設定 27 イベント名 広告A表示 Save Load Add Trigger キャンペーン期間

    いつ 誰が 人 何を 閾値以上いる 領域A どこで トリガー名 閾値以上の人 Save Load New New Config Property イベント編集 Add Action ∧ ∨ ⊕ AND OR XOR 広告表示 アクション Config サイネージ 誰が 何を Output Variables Property Add Condition
  9. 4. AIが人やモノを認識 35 × × × × × × ×

    × × × × × × × × × × × × × × × 登録ポスターA
  10. 5. AIが認識した情報を実空間へ写像 36 Confidential × × × × × ×

    × × × × × × × × × × × × × × × × 登録ポスターA デジタルツイン
  11. センシング技術 Real as Codeのレイヤー構造 38 カメラ LiDAR Spartphone Spartphone Smart

    Phone マルチセンサー キャリブレーション センサー情報 (パラメータ+位置姿勢) ・・・・・ 物体検出 人追跡 Semantic Segmentation 三次元復元 仮想空間構築/認識 人体姿勢推定 データ解析・アクションモジュール群 GUI for Retail 人/モノ (いつ、どこで、誰が、 何を) AR/VR 外部機器/サービス連携 ・・・・・ 特定物体認識 時空間DB シナリオエンジン GUI for Logistic GUI for Construction
  12. 人/モノ (いつ、どこで、誰が、 何を) センシング技術 Real as Codeのレイヤー構造 39 カメラ LiDAR

    Spartphone Spartphone Smart Phone マルチセンサー キャリブレーション センサー情報 (パラメータ+位置姿勢) ・・・・・ 物体検出 人追跡 Semantic Segmentation 三次元復元 仮想空間構築/認識 人体姿勢推定 データ解析・アクションモジュール群 GUI for Retail AR/VR 外部機器/サービス連携 ・・・・・ 特定物体認識 時空間DB シナリオエンジン GUI for Logistic GUI for Construction センサーデータの座標を 世界座標系(仮想空間座 標)へ変換 デジタルツイン • いわゆるAI • センサー情報から人・モノなどのオ ブジェクトを抽出し、情報量削減 • オブジェクトを仮想空間(3D)へ投 影 • それぞれ独立したモジュール • 案件ドリブンで開発 センサーフュージョン APIによる疎結合 APIによる疎結合 いつ、何が、どこで、どん なことをしたらイベントを起 動するかを制御
  13. シナリオエンジンの機能 40  「いつ(When)」は、毎日、1日おき、毎週、平日、などの 様々な定義が可能。  「どこで(Where)」は、「ある領域に入ったら」、「ある線を 通過したら」、「ある点から最も近いモノ」などの定義が可 能。 

    トリガーや「いつ」、「どこで」などはANDやOR、XORによ る組み合わせが可能。  「性別/年齢」や「車種」等、オブジェクトの属性によるフィ ルタリングが可能
  14. 体験型ゲームの魅力 51  「リアル脱出ゲーム」などの「謎解き」市場は 国内だけで市場規模300億円以上  ガチャや広告などではなく、参加者が「体験」 に対して直接対価を支払ってくれる  観光地のモニュメントやお土産などを手に

    取って撮影させることで、ゲームを進行させ、 マーケティングの効果も得られる  実際の場所やモノにゲームのストーリーを絡 ませることで、歴史や地理などの高い学習効 果が期待できる。
  15. シナリオエンジンの今後 57  「AR探索アドベンチャー」をキラーアプリケー ションにすることを目指す!  もし他にも良い用途があれば試してみたい  GUIをもっと使いやすくしたい 

    オープンソースで公開  生成AIで自然言語からシナリオ作成  周辺のセンシング+AIを充実  IoT機器と連携するためのプラグインの充実  時空間DBの3次元化/リアルタイム化