コンピュータビジョンの社会実装について考えていたらゲームを作っていた話

Slide 1

Slide 1 text

「第63回コンピュータビジョン勉強会＠関東」発表資料 CVの社会実装について考えていたらゲームを作っていた話株式会社ビジョン＆ITラボ皆川卓也

Slide 2

Slide 2 text

自己紹介 2 株式会社ビジョン＆ITラボ代表取締役皆川卓也（みながわたくや）博士（工学）「コンピュータビジョン勉強会＠関東」主催株式会社フューチャースタンダード技術顧問略歴： 1999-2003年日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリセールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年慶應義塾大学大学院後期博士課程にて、コンピュータビジョンを専攻単位取得退学後、博士号取得（2014年） 2009年-現在フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp

Slide 3

Slide 3 text

自己紹介 3 株式会社ビジョン＆ITラボ代表取締役皆川卓也（みながわたくや）博士（工学）「コンピュータビジョン勉強会＠関東」主催株式会社フューチャースタンダード技術顧問略歴： 1999-2003年日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリセールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年慶應義塾大学大学院後期博士課程にて、コンピュータビジョンを専攻単位取得退学後、博士号取得（2014年） 2009年-現在フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp パーソナルコンピュータが出てきたときの「思考のための道具」思想とか、ネット黎明期のユートピア的思想になんとなくあこがれてIT業界に入った

Slide 4

Slide 4 text

自己紹介 4 株式会社ビジョン＆ITラボ代表取締役皆川卓也（みながわたくや）博士（工学）「コンピュータビジョン勉強会＠関東」主催株式会社フューチャースタンダード技術顧問略歴： 1999-2003年日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリセールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年慶應義塾大学大学院後期博士課程にて、コンピュータビジョンを専攻単位取得退学後、博士号取得（2014年） 2009年-現在フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp ITバブルがはじけてリストラ。転がり込んだベンチャーが、ネットワーク系かと思ったらコンピュータビジョン系だった。 CVはこれから面白いビジネスになるぞと予感。

Slide 5

Slide 5 text

自己紹介 5 株式会社ビジョン＆ITラボ代表取締役皆川卓也（みながわたくや）博士（工学）「コンピュータビジョン勉強会＠関東」主催株式会社フューチャースタンダード技術顧問略歴： 1999-2003年日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリセールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年慶應義塾大学大学院後期博士課程にて、コンピュータビジョンを専攻単位取得退学後、博士号取得（2014年） 2009年-現在フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp コンピュータビジョンをもう一度アルゴリズムから勉強しなおすぞ！と社会人博士進学。もたもたしている間に深層学習ブーム到来。あっという間にレッドオーシャン。

Slide 6

Slide 6 text

自己紹介 6 株式会社ビジョン＆ITラボ代表取締役皆川卓也（みながわたくや）博士（工学）「コンピュータビジョン勉強会＠関東」主催株式会社フューチャースタンダード技術顧問略歴： 1999-2003年日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリセールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年慶應義塾大学大学院後期博士課程にて、コンピュータビジョンを専攻単位取得退学後、博士号取得（2014年） 2009年-現在フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp 惰性で独立。今に至る。

Slide 7

Slide 7 text

11 コンピュータビジョンの社会実装について、ずっと考えてきました。

Slide 8

Slide 8 text

12 この本の第７章「CV をとりまく環境」を執筆しました。コンピュータビジョンを使ったビジネス事例について広範囲にまとめております。

Slide 9

Slide 9 text

13 この本の第７章「CV をとりまく環境」を執筆しました。コンピュータビジョンを使ったビジネス事例について広範囲にまとめております。第7章 CVをとりまく環境 7.1 オープンソースソフトウェア 7.1.1 CVライブラリ 7.1.2 深層学習フレームワーク 7.2 CVのビジネス事例 7.2.1 顔検出 7.2.2 顔認証 7.2.3 一般物体認識 7.2.4 物体検出/追跡 7.2.5 姿勢推定 7.2.6 拡張現実感 7.2.7 画像生成 7.2.8 クラウドサービス 7.3 まとめ要素技術ごとにビジネス事例を紹介！

Slide 10

Slide 10 text

コンピュータビジョンの役割 14 カメラを通して現実世界を理解三次元空間の計測人やモノなどの検出/認識

Slide 11

Slide 11 text

拡張現実感（AR） 15 現実世界仮想世界現実世界へ提示現実世界の理解（CV）

Slide 12

Slide 12 text

16 ARは仮想世界の情報を現実世界に重畳表示するが、現実世界との相互作用がない現実世界に作用させるために、 Internet of Things(IoT)へ組み込む

Slide 13

Slide 13 text

Internet of Things (IoT) “一意に識別可能な「もの」がインターネット/クラウドに接続され、情報交換することにより相互に制御する仕組みである”（Wikipedia） 17

Slide 14

Slide 14 text

18 カメラ＋コンピュータビジョンは安価に広範囲の情報が非接触で取得できる、有望なIoTセンサー

Slide 15

Slide 15 text

IoTライフサイクル 19 現実世界仮想世界センシング現実制御 • 解析/理解 • 可視化 • シミュレーションデジタルツイン仮想世界でプログラミングし、現実世界へ反映

Slide 16

Slide 16 text

IoTの究極の目標 Real as Code ― 現実世界をプログラミング可能に ― 20

Slide 17

Slide 17 text

IoT用ミドルウェア「シナリオエンジン」（特許取得済み）のご紹介 21 本日のお話し

Slide 18

Slide 18 text

現実世界のための最適なプログラム言語ってなんだろう？ 22

Slide 19

Slide 19 text

ぼくのかんがえたIoTプログラム言語１人、車、機器などの現実のモノをクラスとみなす、リアルオブジェクト指向 23 カメラ、LiDAR、RFIDなど、例えば人を認識するセンサーは様々それらを「人」というクラスで隠蔽

Slide 20

Slide 20 text

ぼくのかんがえたIoTプログラム言語2 「人」クラスであれば、性別、年齢などの現実に紐づいたプロパティを持つ 24

Slide 21

Slide 21 text

ぼくのかんがえたIoTプログラム言語3 「いつ」、「どこで」、「誰（何）が」、「何を（した）」らという４W(When, Where, Who, What)でオブジェクトを制御 25

Slide 22

Slide 22 text

1.デジタルツイン上のオブジェクトや範囲等を指定 26 領域選択 Area Point Line 領域名領域A Save Load select

Slide 23

Slide 23 text

2. ユーザがトリガーとアクションを設定 27 イベント名広告A表示 Save Load Add Trigger キャンペーン期間いつ誰が人何を閾値以上いる領域A どこでトリガー名閾値以上の人 Save Load New New Config Property イベント編集 Add Action ∧ ∨ ⊕ AND OR XOR 広告表示アクション Config サイネージ誰が何を Output Variables Property Add Condition

Slide 24

Slide 24 text

3. センサーが周辺の情報を取得 28

Slide 25

Slide 25 text

4. AIが人やモノを認識 29 人：歩く人：歩く

Slide 26

Slide 26 text

5. AIが認識した情報を実空間へ写像 30 人：歩く人：歩く

Slide 27

Slide 27 text

6. トリガーの発動条件を満たしていたらアクション起動 31 アクション

Slide 28

Slide 28 text

1.デジタルツイン上のオブジェクトや範囲等を指定 32 Click!  仮想空間上のオブジェクトや範囲等を指定

Slide 29

Slide 29 text

2. ユーザがトリガーとアクションを設定 33  オブジェクトに関するウィンドウが開き、「トリガー」と「アクション」を選択する。トリガーキャンペーン期間クーポン配信アクションいつ誰がスマートフォンユーザ何を撮影

Slide 30

Slide 30 text

3. センサーが周辺の情報を取得 34 撮影

Slide 31

Slide 31 text

4. AIが人やモノを認識 35 × × × × × × × × × × × × × × × × × × × × × × 登録ポスターA

Slide 32

Slide 32 text

5. AIが認識した情報を実空間へ写像 36 Confidential × × × × × × × × × × × × × × × × × × × × × × 登録ポスターA デジタルツイン

Slide 33

Slide 33 text

6. トリガーの発動条件を満たしていたらアクション起動 37 クーポン Get

Slide 34

Slide 34 text

センシング技術 Real as Codeのレイヤー構造 38 カメラ LiDAR Spartphone Spartphone Smart Phone マルチセンサーキャリブレーションセンサー情報（パラメータ＋位置姿勢）・・・・・物体検出人追跡 Semantic Segmentation 三次元復元仮想空間構築/認識人体姿勢推定データ解析・アクションモジュール群 GUI for Retail 人/モノ（いつ、どこで、誰が、何を） AR/VR 外部機器/サービス連携・・・・・特定物体認識時空間DB シナリオエンジン GUI for Logistic GUI for Construction

Slide 35

Slide 35 text

人/モノ（いつ、どこで、誰が、何を）センシング技術 Real as Codeのレイヤー構造 39 カメラ LiDAR Spartphone Spartphone Smart Phone マルチセンサーキャリブレーションセンサー情報（パラメータ＋位置姿勢）・・・・・物体検出人追跡 Semantic Segmentation 三次元復元仮想空間構築/認識人体姿勢推定データ解析・アクションモジュール群 GUI for Retail AR/VR 外部機器/サービス連携・・・・・特定物体認識時空間DB シナリオエンジン GUI for Logistic GUI for Construction センサーデータの座標を世界座標系（仮想空間座標）へ変換デジタルツイン • いわゆるAI • センサー情報から人・モノなどのオブジェクトを抽出し、情報量削減 • オブジェクトを仮想空間（3D）へ投影 • それぞれ独立したモジュール • 案件ドリブンで開発センサーフュージョン APIによる疎結合 APIによる疎結合いつ、何が、どこで、どんなことをしたらイベントを起動するかを制御

Slide 36

Slide 36 text

シナリオエンジンの機能 40  「いつ（When）」は、毎日、１日おき、毎週、平日、などの様々な定義が可能。  「どこで（Where）」は、「ある領域に入ったら」、「ある線を通過したら」、「ある点から最も近いモノ」などの定義が可能。  トリガーや「いつ」、「どこで」などはANDやOR、XORによる組み合わせが可能。  「性別/年齢」や「車種」等、オブジェクトの属性によるフィルタリングが可能

Slide 37

Slide 37 text

現行のGUI 41

Slide 38

Slide 38 text

現行のGUI (Where定義の例) 42

Slide 39

Slide 39 text

43 作ったは良いけど何に使う？どうやって売る？

Slide 40

Slide 40 text

44 シナリオエンジンはセンサーやAIなど、周辺技術も含めて開発しなければ役に立たない。まずはターゲットとなる用途を決めないと。。。

Slide 41

Slide 41 text

45 スマートシティスマートビルディングスマートファクトリーたとえば。。。実際どこに、どんなニーズと市場があるのかピンとこないこういう取り組みは大手SIが強く、零細企業が取り組むのは厳しい

Slide 42

Slide 42 text

46  零細企業でも開発可能な規模感  直接ターゲットとなる課題についてヒアリングしたり体験したりできる  市場が大きい、または大きくなりそう求む！こんな市場謎解きや位置ゲーなど、体験型ゲーム

Slide 43

Slide 43 text

47 現実空間を使った体験型ゲーム開発のプラットフォーム「AR探索アドベンチャー」

Slide 44

Slide 44 text

どんなゲームか（1/3） 48 召喚！  スマートフォンを使って現実世界のランドマークやオブジェクトを撮影することで、物語のヒントやアイテムを入手できる。この世界を救うため四匹の聖獣を召喚するのだ

Slide 45

Slide 45 text

どんなゲームか（2/3） 49  時間、場所、ユーザの行動や、周辺の環境（天気や混雑具合等）などに合わせて、動的にストーリーを変化させることが出来る夕刻、奇跡の泉の前で、精霊石をかかげよ今はあのお店は混雑してるから避けた方が賢明ね。混雑具合を計測し、それを元にストーリーを変更時間と場所でストーリーを変更

Slide 46

Slide 46 text

どんなゲームか（3/3） 50  スマートフォンだけでなく、デジタルサイネージやプロジェクター等、様々なIoT機器と連動することができる。謎を解くと自動で開く宝箱プロジェクターで巨大モンスターを演出よく謎を解いた。宝物を受け取るがよい。

Slide 47

Slide 47 text

体験型ゲームの魅力 51  「リアル脱出ゲーム」などの「謎解き」市場は国内だけで市場規模300億円以上  ガチャや広告などではなく、参加者が「体験」に対して直接対価を支払ってくれる  観光地のモニュメントやお土産などを手に取って撮影させることで、ゲームを進行させ、マーケティングの効果も得られる  実際の場所やモノにゲームのストーリーを絡ませることで、歴史や地理などの高い学習効果が期待できる。

Slide 48

Slide 48 text

事例：妖怪ハンター候補生 52  弊社作成のオリジナルコンテンツ  封印された妖怪たちを助け出し、妖力を集めることで、悪い陰陽師を倒せ！  イラストをカメラで撮影すると、その妖怪が現れて、謎やクイズを出してくる。  アプリ不要！スマートフォンのブラウザのみで参加可能

Slide 49

Slide 49 text

デモ動画 54 https://youtu.be/gFljOcKwuDs

Slide 50

Slide 50 text

テストプレイ＠綱島公園(2023/11/23 – 26) 55 横浜日吉新聞にも取り上げられました。 https://hiyosi.net/2023/11/23/event_2023-20/  オリジナルコンテンツ「妖怪ハンター候補生」

Slide 51

Slide 51 text

妖怪ハンター候補生 in 綱島商店街 56  2024年10月20日（つなしまハロウィン）、12月14, 15日（つなしまウィンターフェスタ）  綱島商店街を周遊しながら「謎解き」をすると、綱島の歴史も知ることが出来る。横浜日吉新聞に取り上げられました https://hiyosi.net/2024/10/07/shopping_street-26/

Slide 52

Slide 52 text

シナリオエンジンの今後 57  「AR探索アドベンチャー」をキラーアプリケーションにすることを目指す！  もし他にも良い用途があれば試してみたい  GUIをもっと使いやすくしたい  オープンソースで公開  生成AIで自然言語からシナリオ作成  周辺のセンシング＋AIを充実  IoT機器と連携するためのプラグインの充実  時空間DBの３次元化/リアルタイム化

Slide 53

Slide 53 text

58 シナリオエンジンをもっと知りたいという方、弊社までお問合せ下さい！ https://visitlab.jp