コンピュータビジョンの社会実装について考えていたらゲームを作っていた話

第63回コンピュータビジョン勉強会＠関東「CVでこんなプログラムを作りました大LT大会5」の発表資料です。
https://kantocv.connpass.com/event/344139/

Transcript

1. 「第63回コンピュータビジョン勉強会＠関東」発表資料 CVの社会実装について考えていた らゲームを作っていた話 株式会社ビジョン＆ITラボ 皆川卓也
2. 自己紹介 2 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 博士（工学） 「コンピュータビジョン勉強会＠関東」主催 株式会社フューチャースタンダード 技術顧問 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp
3. 自己紹介 3 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 博士（工学） 「コンピュータビジョン勉強会＠関東」主催 株式会社フューチャースタンダード 技術顧問 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp パーソナルコンピュータが出てきたときの「思考のた めの道具」思想とか、ネット黎明期のユートピア的思 想になんとなくあこがれてIT業界に入った
4. 自己紹介 4 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 博士（工学） 「コンピュータビジョン勉強会＠関東」主催 株式会社フューチャースタンダード 技術顧問 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp ITバブルがはじけてリストラ。転がり込んだベンチャーが、 ネットワーク系かと思ったらコンピュータビジョン系だった。 CVはこれから面白いビジネスになるぞと予感。
5. 自己紹介 5 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 博士（工学） 「コンピュータビジョン勉強会＠関東」主催 株式会社フューチャースタンダード 技術顧問 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp コンピュータビジョンをもう一度アルゴリズムから勉強し なおすぞ！と社会人博士進学。もたもたしている間に深 層学習ブーム到来。あっという間にレッドオーシャン。
6. 自己紹介 6 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 博士（工学） 「コンピュータビジョン勉強会＠関東」主催 株式会社フューチャースタンダード 技術顧問 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp 惰性で独立。今に至る。
7. 11 コンピュータビジョンの社 会実装について、ずっと 考えてきました。
8. 12 この本の第７章「CV をとりまく環境」を執 筆しました。 コンピュータビジョン を使ったビジネス事 例について広範囲に まとめております。
9. 13 この本の第７章「CV をとりまく環境」を執 筆しました。 コンピュータビジョン を使ったビジネス事 例について広範囲に まとめております。 第7章 CVをとりまく環境 7.1 オープンソースソフトウェア 7.1.1 CVライブラリ 7.1.2 深層学習フレームワーク 7.2 CVのビジネス事例 7.2.1 顔検出 7.2.2 顔認証 7.2.3 一般物体認識 7.2.4 物体検出/追跡 7.2.5 姿勢推定 7.2.6 拡張現実感 7.2.7 画像生成 7.2.8 クラウドサービス 7.3 まとめ 要素技術ごとにビジネス事例を紹介！
10. コンピュータビジョンの役割 14 カメラを通して現 実世界を理解 三次元空間 の計測 人やモノなど の検出/認識
11. 拡張現実感（AR） 15 現実世界 仮想世界 現実世界へ提示 現実世界の理解 （CV）
12. 16 ARは仮想世界の情報を現実 世界に重畳表示するが、現実 世界との相互作用がない 現実世界に作用させるために、 Internet of Things(IoT)へ組み込む
13. Internet of Things (IoT) “一意に識別可能な「もの」がインターネット/クラ ウドに接続され、情報交換することにより相互 に制御する仕組みである”（Wikipedia） 17
14. 18 カメラ＋コンピュータビジョンは 安価に広範囲の情報が非接触 で取得できる、有望なIoTセン サー
15. IoTライフサイクル 19 現実世界 仮想世界 センシング 現実制御 • 解析/理解 • 可視化 • シミュレーション デジタルツイン 仮想世界でプロ グラミングし、現 実世界へ反映
16. IoTの究極の目標 Real as Code ― 現実世界をプログラミング可能に ― 20
17. IoT用ミドルウェア 「シナリオエンジン」 （特許取得済み）のご紹介 21 本日のお話し
18. 現実世界のための 最適なプログラム言語って なんだろう？ 22
19. ぼくのかんがえたIoTプログラム言語１ 人、車、機器などの現実のモノをク ラスとみなす、リアルオブジェクト 指向 23 カメラ、LiDAR、RFIDなど、例えば人を認識するセンサーは様々 それらを「人」というクラスで隠蔽
20. ぼくのかんがえたIoTプログラム言語2 「人」クラスであれば、性別、年齢 などの現実に紐づいたプロパティ を持つ 24
21. ぼくのかんがえたIoTプログラム言語3 「いつ」 、「どこで」 、「誰（何）が」、 「何を（した）」らという４W(When, Where, Who, What)でオブジェクト を制御 25
22. 1.デジタルツイン上のオブジェクトや範囲等を 指定 26 領域選択 Area Point Line 領域名 領域A Save Load select
23. 2. ユーザがトリガーとアクションを設定 27 イベント名 広告A表示 Save Load Add Trigger キャンペーン期間 いつ 誰が 人 何を 閾値以上いる 領域A どこで トリガー名 閾値以上の人 Save Load New New Config Property イベント編集 Add Action ∧ ∨ ⊕ AND OR XOR 広告表示 アクション Config サイネージ 誰が 何を Output Variables Property Add Condition
24. 3. センサーが周辺の情報を取得 28
25. 4. AIが人やモノを認識 29 人：歩く 人：歩く
26. 5. AIが認識した情報を実空間へ写像 30 人：歩く 人：歩く
27. 6. トリガーの発動条件を満たしていたらアク ション起動 31 アクション
28. 1.デジタルツイン上のオブジェクトや範囲等を 指定 32 Click!  仮想空間上のオブジェクトや範囲等を指定
29. 2. ユーザがトリガーとアクションを設定 33  オブジェクトに関するウィンドウが開き、「トリガー」と「ア クション」を選択する。 トリガー キャンペーン期間 クーポン配信 アクション いつ 誰が スマートフォンユーザ 何を 撮影
30. 3. センサーが周辺の情報を取得 34 撮影
31. 4. AIが人やモノを認識 35 × × × × × × × × × × × × × × × × × × × × × × 登録ポスターA
32. 5. AIが認識した情報を実空間へ写像 36 Confidential × × × × × × × × × × × × × × × × × × × × × × 登録ポスターA デジタルツイン
33. 6. トリガーの発動条件を満たしていたらアク ション起動 37 クーポン Get
34. センシング技術 Real as Codeのレイヤー構造 38 カメラ LiDAR Spartphone Spartphone Smart Phone マルチセンサー キャリブレーション センサー情報 （パラメータ＋位置姿勢） ・・・・・ 物体検出 人追跡 Semantic Segmentation 三次元復元 仮想空間構築/認識 人体姿勢推定 データ解析・アクションモジュール群 GUI for Retail 人/モノ （いつ、どこで、誰が、 何を） AR/VR 外部機器/サービス連携 ・・・・・ 特定物体認識 時空間DB シナリオエンジン GUI for Logistic GUI for Construction
35. 人/モノ （いつ、どこで、誰が、 何を） センシング技術 Real as Codeのレイヤー構造 39 カメラ LiDAR Spartphone Spartphone Smart Phone マルチセンサー キャリブレーション センサー情報 （パラメータ＋位置姿勢） ・・・・・ 物体検出 人追跡 Semantic Segmentation 三次元復元 仮想空間構築/認識 人体姿勢推定 データ解析・アクションモジュール群 GUI for Retail AR/VR 外部機器/サービス連携 ・・・・・ 特定物体認識 時空間DB シナリオエンジン GUI for Logistic GUI for Construction センサーデータの座標を 世界座標系（仮想空間座 標）へ変換 デジタルツイン • いわゆるAI • センサー情報から人・モノなどのオ ブジェクトを抽出し、情報量削減 • オブジェクトを仮想空間（3D）へ投 影 • それぞれ独立したモジュール • 案件ドリブンで開発 センサーフュージョン APIによる疎結合 APIによる疎結合 いつ、何が、どこで、どん なことをしたらイベントを起 動するかを制御
36. シナリオエンジンの機能 40  「いつ（When）」は、毎日、１日おき、毎週、平日、などの 様々な定義が可能。  「どこで（Where）」は、「ある領域に入ったら」、「ある線を 通過したら」、「ある点から最も近いモノ」などの定義が可 能。  トリガーや「いつ」、「どこで」などはANDやOR、XORによ る組み合わせが可能。  「性別/年齢」や「車種」等、オブジェクトの属性によるフィ ルタリングが可能
37. 現行のGUI 41
38. 現行のGUI (Where定義の例) 42
39. 43 作ったは良いけど 何に使う？ どうやって売る？
40. 44 シナリオエンジンはセン サーやAIなど、周辺技術 も含めて開発しなければ 役に立たない。 まずはターゲットとなる 用途を決めないと。。。
41. 45 スマートシティ スマートビルディング スマートファクトリー たとえば。。。 実際どこに、どんなニーズと市場がある のかピンとこない こういう取り組みは大手SIが強く、零細企 業が取り組むのは厳しい
42. 46  零細企業でも開発可能な規模感  直接ターゲットとなる課題についてヒ アリングしたり体験したりできる  市場が大きい、または大きくなりそう 求む！こんな市場 謎解きや位置ゲーなど、体験型ゲーム
43. 47 現実空間を使った 体験型ゲーム開発の プラットフォーム 「AR探索アドベンチャー」
44. どんなゲームか（1/3） 48 召喚！  スマートフォンを使って現実世界のランドマークやオブジェクト を撮影することで、物語のヒントやアイテムを入手できる。 この世界を救う ため四匹の聖獣 を召喚するのだ
45. どんなゲームか（2/3） 49  時間、場所、ユーザの行動や、周辺の環境（天気や混雑 具合等）などに合わせて、動的にストーリーを変化させる ことが出来る 夕刻、奇跡の泉 の前で、精霊石 をかかげよ 今はあのお店は 混雑してるから 避けた方が賢明 ね。 混雑具合を計測し、それを元に ストーリーを変更 時間と場所でストーリーを変更
46. どんなゲームか（3/3） 50  スマートフォンだけでなく、デジタルサイネージやプロジェ クター等、様々なIoT機器と連動することができる。 謎を解くと自動で開く宝箱 プロジェクターで巨大モンスターを演出 よく謎を解いた。 宝物を受け取る がよい。
47. 体験型ゲームの魅力 51  「リアル脱出ゲーム」などの「謎解き」市場は 国内だけで市場規模300億円以上  ガチャや広告などではなく、参加者が「体験」 に対して直接対価を支払ってくれる  観光地のモニュメントやお土産などを手に 取って撮影させることで、ゲームを進行させ、 マーケティングの効果も得られる  実際の場所やモノにゲームのストーリーを絡 ませることで、歴史や地理などの高い学習効 果が期待できる。
48. 事例：妖怪ハンター候補生 52  弊社作成のオリジナルコンテンツ  封印された妖怪たちを助け出し、妖 力を集めることで、悪い陰陽師を倒 せ！  イラストをカメラで撮影すると、その妖 怪が現れて、謎やクイズを出してくる。  アプリ不要！スマートフォンのブラウ ザのみで参加可能
49. デモ動画 54 https://youtu.be/gFljOcKwuDs
50. テストプレイ＠綱島公園(2023/11/23 – 26) 55 横浜日吉新聞にも取り上げられました。 https://hiyosi.net/2023/11/23/event_2023-20/  オリジナルコンテンツ「妖怪ハンター候補生」
51. 妖怪ハンター候補生 in 綱島商店街 56  2024年10月20日（つなしまハロウィン）、12月14, 15日（つ なしまウィンターフェスタ）  綱島商店街を周遊しながら「謎解き」をすると、綱島の歴 史も知ることが出来る。 横浜日吉新聞に取り上げられました https://hiyosi.net/2024/10/07/shopping_street-26/
52. シナリオエンジンの今後 57  「AR探索アドベンチャー」をキラーアプリケー ションにすることを目指す！  もし他にも良い用途があれば試してみたい  GUIをもっと使いやすくしたい  オープンソースで公開  生成AIで自然言語からシナリオ作成  周辺のセンシング＋AIを充実  IoT機器と連携するためのプラグインの充実  時空間DBの３次元化/リアルタイム化
53. 58 シナリオエンジンをもっと 知りたいという方、弊社 までお問合せ下さい！ https://visitlab.jp