Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コンピュータビジョンの社会実装について考えていたらゲームを作っていた話
Search
Takuya MINAGAWA
February 23, 2025
Technology
1
220
コンピュータビジョンの社会実装について考えていたらゲームを作っていた話
第63回コンピュータビジョン勉強会@関東「CVでこんなプログラムを作りました大LT大会5」の発表資料です。
https://kantocv.connpass.com/event/344139/
Takuya MINAGAWA
February 23, 2025
Tweet
Share
More Decks by Takuya MINAGAWA
See All by Takuya MINAGAWA
State Space Models for Event Cameras (第61回CV勉強会@関東発表資料)
takmin
1
3.1k
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話
takmin
0
580
第12回JapanCV発表資料「Machine Learning Operations (MLOps): Overview, Definition, and Architecture」
takmin
2
1.3k
MobileNeRF(第59回CV勉強会@関東発表資料)
takmin
0
2.1k
点群SegmentationのためのTransformerサーベイ
takmin
3
3.1k
Learning to Solve Hard Minimal Problems
takmin
1
2k
A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion
takmin
0
1.7k
Other Decks in Technology
See All in Technology
トラシューアニマルになろう ~開発者だからこそできる、安定したサービス作りの秘訣~
jacopen
2
2k
スタートアップ1人目QAエンジニアが QAチームを立ち上げ、“個”からチーム、 そして“組織”に成長するまで / How to set up QA team at reiwatravel
mii3king
2
1.5k
エンジニアの育成を支える爆速フィードバック文化
sansantech
PRO
3
1.1k
地方拠点で エンジニアリングマネージャーってできるの? 〜地方という制約を楽しむオーナーシップとコミュニティ作り〜
1coin
1
230
OpenID BizDay#17 KYC WG活動報告(法人) / 20250219-BizDay17-KYC-legalidentity
oidfj
0
260
プロセス改善による品質向上事例
tomasagi
3
2.6k
Active Directory攻防
cryptopeg
PRO
2
920
インフラをつくるとはどういうことなのか、 あるいはPlatform Engineeringについて
nwiizo
5
2.6k
ホワイトボードチャレンジ 説明&実行資料
ichimichi
0
130
PHPカンファレンス名古屋-テックリードの経験から学んだ設計の教訓
hayatokudou
2
450
『衛星データ利用の方々にとって近いようで触れる機会のなさそうな小話 ~ 衛星搭載ソフトウェアと衛星運用ソフトウェア (実物) を動かしながらわいわいする編 ~』 @日本衛星データコミニティ勉強会
meltingrabbit
0
150
滅・サービスクラス🔥 / Destruction Service Class
sinsoku
6
1.6k
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
550
A Tale of Four Properties
chriscoyier
158
23k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Building Your Own Lightsaber
phodgson
104
6.2k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Fireside Chat
paigeccino
34
3.2k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Gamification - CAS2011
davidbonilla
80
5.1k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Transcript
「第63回コンピュータビジョン勉強会@関東」発表資料 CVの社会実装について考えていた らゲームを作っていた話 株式会社ビジョン&ITラボ 皆川卓也
自己紹介 2 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード
技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp
自己紹介 3 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード
技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp パーソナルコンピュータが出てきたときの「思考のた めの道具」思想とか、ネット黎明期のユートピア的思 想になんとなくあこがれてIT業界に入った
自己紹介 4 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード
技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp ITバブルがはじけてリストラ。転がり込んだベンチャーが、 ネットワーク系かと思ったらコンピュータビジョン系だった。 CVはこれから面白いビジネスになるぞと予感。
自己紹介 5 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード
技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp コンピュータビジョンをもう一度アルゴリズムから勉強し なおすぞ!と社会人博士進学。もたもたしている間に深 層学習ブーム到来。あっという間にレッドオーシャン。
自己紹介 6 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード
技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp 惰性で独立。今に至る。
11 コンピュータビジョンの社 会実装について、ずっと 考えてきました。
12 この本の第7章「CV をとりまく環境」を執 筆しました。 コンピュータビジョン を使ったビジネス事 例について広範囲に まとめております。
13 この本の第7章「CV をとりまく環境」を執 筆しました。 コンピュータビジョン を使ったビジネス事 例について広範囲に まとめております。 第7章 CVをとりまく環境
7.1 オープンソースソフトウェア 7.1.1 CVライブラリ 7.1.2 深層学習フレームワーク 7.2 CVのビジネス事例 7.2.1 顔検出 7.2.2 顔認証 7.2.3 一般物体認識 7.2.4 物体検出/追跡 7.2.5 姿勢推定 7.2.6 拡張現実感 7.2.7 画像生成 7.2.8 クラウドサービス 7.3 まとめ 要素技術ごとにビジネス事例を紹介!
コンピュータビジョンの役割 14 カメラを通して現 実世界を理解 三次元空間 の計測 人やモノなど の検出/認識
拡張現実感(AR) 15 現実世界 仮想世界 現実世界へ提示 現実世界の理解 (CV)
16 ARは仮想世界の情報を現実 世界に重畳表示するが、現実 世界との相互作用がない 現実世界に作用させるために、 Internet of Things(IoT)へ組み込む
Internet of Things (IoT) “一意に識別可能な「もの」がインターネット/クラ ウドに接続され、情報交換することにより相互 に制御する仕組みである”(Wikipedia) 17
18 カメラ+コンピュータビジョンは 安価に広範囲の情報が非接触 で取得できる、有望なIoTセン サー
IoTライフサイクル 19 現実世界 仮想世界 センシング 現実制御 • 解析/理解 • 可視化
• シミュレーション デジタルツイン 仮想世界でプロ グラミングし、現 実世界へ反映
IoTの究極の目標 Real as Code ― 現実世界をプログラミング可能に ― 20
IoT用ミドルウェア 「シナリオエンジン」 (特許取得済み)のご紹介 21 本日のお話し
現実世界のための 最適なプログラム言語って なんだろう? 22
ぼくのかんがえたIoTプログラム言語1 人、車、機器などの現実のモノをク ラスとみなす、リアルオブジェクト 指向 23 カメラ、LiDAR、RFIDなど、例えば人を認識するセンサーは様々 それらを「人」というクラスで隠蔽
ぼくのかんがえたIoTプログラム言語2 「人」クラスであれば、性別、年齢 などの現実に紐づいたプロパティ を持つ 24
ぼくのかんがえたIoTプログラム言語3 「いつ」 、「どこで」 、「誰(何)が」、 「何を(した)」らという4W(When, Where, Who, What)でオブジェクト を制御 25
1.デジタルツイン上のオブジェクトや範囲等を 指定 26 領域選択 Area Point Line 領域名 領域A Save
Load select
2. ユーザがトリガーとアクションを設定 27 イベント名 広告A表示 Save Load Add Trigger キャンペーン期間
いつ 誰が 人 何を 閾値以上いる 領域A どこで トリガー名 閾値以上の人 Save Load New New Config Property イベント編集 Add Action ∧ ∨ ⊕ AND OR XOR 広告表示 アクション Config サイネージ 誰が 何を Output Variables Property Add Condition
3. センサーが周辺の情報を取得 28
4. AIが人やモノを認識 29 人:歩く 人:歩く
5. AIが認識した情報を実空間へ写像 30 人:歩く 人:歩く
6. トリガーの発動条件を満たしていたらアク ション起動 31 アクション
1.デジタルツイン上のオブジェクトや範囲等を 指定 32 Click! 仮想空間上のオブジェクトや範囲等を指定
2. ユーザがトリガーとアクションを設定 33 オブジェクトに関するウィンドウが開き、「トリガー」と「ア クション」を選択する。 トリガー キャンペーン期間 クーポン配信 アクション
いつ 誰が スマートフォンユーザ 何を 撮影
3. センサーが周辺の情報を取得 34 撮影
4. AIが人やモノを認識 35 × × × × × × ×
× × × × × × × × × × × × × × × 登録ポスターA
5. AIが認識した情報を実空間へ写像 36 Confidential × × × × × ×
× × × × × × × × × × × × × × × × 登録ポスターA デジタルツイン
6. トリガーの発動条件を満たしていたらアク ション起動 37 クーポン Get
センシング技術 Real as Codeのレイヤー構造 38 カメラ LiDAR Spartphone Spartphone Smart
Phone マルチセンサー キャリブレーション センサー情報 (パラメータ+位置姿勢) ・・・・・ 物体検出 人追跡 Semantic Segmentation 三次元復元 仮想空間構築/認識 人体姿勢推定 データ解析・アクションモジュール群 GUI for Retail 人/モノ (いつ、どこで、誰が、 何を) AR/VR 外部機器/サービス連携 ・・・・・ 特定物体認識 時空間DB シナリオエンジン GUI for Logistic GUI for Construction
人/モノ (いつ、どこで、誰が、 何を) センシング技術 Real as Codeのレイヤー構造 39 カメラ LiDAR
Spartphone Spartphone Smart Phone マルチセンサー キャリブレーション センサー情報 (パラメータ+位置姿勢) ・・・・・ 物体検出 人追跡 Semantic Segmentation 三次元復元 仮想空間構築/認識 人体姿勢推定 データ解析・アクションモジュール群 GUI for Retail AR/VR 外部機器/サービス連携 ・・・・・ 特定物体認識 時空間DB シナリオエンジン GUI for Logistic GUI for Construction センサーデータの座標を 世界座標系(仮想空間座 標)へ変換 デジタルツイン • いわゆるAI • センサー情報から人・モノなどのオ ブジェクトを抽出し、情報量削減 • オブジェクトを仮想空間(3D)へ投 影 • それぞれ独立したモジュール • 案件ドリブンで開発 センサーフュージョン APIによる疎結合 APIによる疎結合 いつ、何が、どこで、どん なことをしたらイベントを起 動するかを制御
シナリオエンジンの機能 40 「いつ(When)」は、毎日、1日おき、毎週、平日、などの 様々な定義が可能。 「どこで(Where)」は、「ある領域に入ったら」、「ある線を 通過したら」、「ある点から最も近いモノ」などの定義が可 能。
トリガーや「いつ」、「どこで」などはANDやOR、XORによ る組み合わせが可能。 「性別/年齢」や「車種」等、オブジェクトの属性によるフィ ルタリングが可能
現行のGUI 41
現行のGUI (Where定義の例) 42
43 作ったは良いけど 何に使う? どうやって売る?
44 シナリオエンジンはセン サーやAIなど、周辺技術 も含めて開発しなければ 役に立たない。 まずはターゲットとなる 用途を決めないと。。。
45 スマートシティ スマートビルディング スマートファクトリー たとえば。。。 実際どこに、どんなニーズと市場がある のかピンとこない こういう取り組みは大手SIが強く、零細企 業が取り組むのは厳しい
46 零細企業でも開発可能な規模感 直接ターゲットとなる課題についてヒ アリングしたり体験したりできる 市場が大きい、または大きくなりそう 求む!こんな市場 謎解きや位置ゲーなど、体験型ゲーム
47 現実空間を使った 体験型ゲーム開発の プラットフォーム 「AR探索アドベンチャー」
どんなゲームか(1/3) 48 召喚! スマートフォンを使って現実世界のランドマークやオブジェクト を撮影することで、物語のヒントやアイテムを入手できる。 この世界を救う ため四匹の聖獣 を召喚するのだ
どんなゲームか(2/3) 49 時間、場所、ユーザの行動や、周辺の環境(天気や混雑 具合等)などに合わせて、動的にストーリーを変化させる ことが出来る 夕刻、奇跡の泉 の前で、精霊石 をかかげよ 今はあのお店は
混雑してるから 避けた方が賢明 ね。 混雑具合を計測し、それを元に ストーリーを変更 時間と場所でストーリーを変更
どんなゲームか(3/3) 50 スマートフォンだけでなく、デジタルサイネージやプロジェ クター等、様々なIoT機器と連動することができる。 謎を解くと自動で開く宝箱 プロジェクターで巨大モンスターを演出 よく謎を解いた。 宝物を受け取る がよい。
体験型ゲームの魅力 51 「リアル脱出ゲーム」などの「謎解き」市場は 国内だけで市場規模300億円以上 ガチャや広告などではなく、参加者が「体験」 に対して直接対価を支払ってくれる 観光地のモニュメントやお土産などを手に
取って撮影させることで、ゲームを進行させ、 マーケティングの効果も得られる 実際の場所やモノにゲームのストーリーを絡 ませることで、歴史や地理などの高い学習効 果が期待できる。
事例:妖怪ハンター候補生 52 弊社作成のオリジナルコンテンツ 封印された妖怪たちを助け出し、妖 力を集めることで、悪い陰陽師を倒 せ! イラストをカメラで撮影すると、その妖
怪が現れて、謎やクイズを出してくる。 アプリ不要!スマートフォンのブラウ ザのみで参加可能
デモ動画 54 https://youtu.be/gFljOcKwuDs
テストプレイ@綱島公園(2023/11/23 – 26) 55 横浜日吉新聞にも取り上げられました。 https://hiyosi.net/2023/11/23/event_2023-20/ オリジナルコンテンツ「妖怪ハンター候補生」
妖怪ハンター候補生 in 綱島商店街 56 2024年10月20日(つなしまハロウィン)、12月14, 15日(つ なしまウィンターフェスタ) 綱島商店街を周遊しながら「謎解き」をすると、綱島の歴
史も知ることが出来る。 横浜日吉新聞に取り上げられました https://hiyosi.net/2024/10/07/shopping_street-26/
シナリオエンジンの今後 57 「AR探索アドベンチャー」をキラーアプリケー ションにすることを目指す! もし他にも良い用途があれば試してみたい GUIをもっと使いやすくしたい
オープンソースで公開 生成AIで自然言語からシナリオ作成 周辺のセンシング+AIを充実 IoT機器と連携するためのプラグインの充実 時空間DBの3次元化/リアルタイム化
58 シナリオエンジンをもっと 知りたいという方、弊社 までお問合せ下さい! https://visitlab.jp