Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
ろくに電子工作もしたことない人間 がIoT用ミドルウェアを作った話 株式会社ビジョン&ITラボ 皆川卓也
Slide 2
Slide 2 text
自己紹介 2 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ たくや) 博士(工学) 「コンピュータビジョン勉強会@関東」主催 株式会社フューチャースタンダード 技術顧問 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp
Slide 3
Slide 3 text
IoT用ミドルウェア 「シナリオエンジン」 (特許取得済み)のご紹介 6 本日のお話し
Slide 4
Slide 4 text
IoTの究極の目標って 何だろう? 7
Slide 5
Slide 5 text
Internet of Things (IoT) “一意に識別可能な「もの」がインターネット/クラ ウドに接続され、情報交換することにより相互 に制御する仕組みである”(Wikipedia) 8
Slide 6
Slide 6 text
色んなモノをネットにつ ないで、何がしたいの だろう? 9
Slide 7
Slide 7 text
IoTライフサイクル 10 現実世界 仮想世界 センシング 現実制御 • 解析/理解 • 可視化 • シミュレーション デジタルツイン 仮想世界でプロ グラミングし、現 実世界へ反映
Slide 8
Slide 8 text
IoTの究極の目標 Real as Code ― 現実世界をプログラミング可能に ― 11
Slide 9
Slide 9 text
現実世界のための 最適なプログラム言語って なんだろう? 12
Slide 10
Slide 10 text
ぼくのかんがえたIoTプログラム言語1 人、車、機器などの現実のモノをク ラスとみなす、リアルオブジェクト 指向 13 カメラ、LiDAR、RFIDなど、例えば人を認識するセンサーは様々 それらを「人」というクラスで隠蔽
Slide 11
Slide 11 text
ぼくのかんがえたIoTプログラム言語2 「人」クラスであれば、性別、年齢 などの現実に紐づいたプロパティ を持つ 14
Slide 12
Slide 12 text
ぼくのかんがえたIoTプログラム言語3 「いつ」 、「どこで」 、「誰(何)が」、 「何を(した)」らという4W(When, Where, Who, What)でオブジェクト を制御 15
Slide 13
Slide 13 text
ストーリー 16 1. シナリオ作成者がデジタルツイン上のオブジェクトや範 囲を指定 2. シナリオ作成者がトリガーとアクションを設定 1. いつ、どこで、誰が、何を 3. センサーが周辺の情報を取得 4. センサーの情報から「人」、「モノ」、「気体」、「液体」な どの実世界に対応するオブジェクトをAIが認識 5. センサーから見たオブジェクトの座標を実空間の座標 へ写像 6. オブジェクトがトリガーの発動条件を満たしたらアクショ ンが起動 Confidential
Slide 14
Slide 14 text
1.デジタルツイン上のオブジェクトや範囲等を 指定 17 領域選択 Area Point Line 領域名 領域A Save Load select Confidential
Slide 15
Slide 15 text
2. ユーザがトリガーとアクションを設定 18 イベント名 広告A表示 Save Load Add Trigger キャンペーン期間 いつ 誰が 人 何を 閾値以上いる 領域A どこで トリガー名 閾値以上の人 Save Load New New Config Property イベント編集 Add Action ∧ ∨ ⊕ AND OR XOR 広告表示 アクション Config サイネージ 誰が 何を Output Variables Property Confidential Add Condition
Slide 16
Slide 16 text
3. センサーが周辺の情報を取得 19 Confidential
Slide 17
Slide 17 text
4. AIが人やモノを認識 20 人:歩く 人:歩く Confidential
Slide 18
Slide 18 text
5. AIが認識した情報を実空間へ写像 21 人:歩く 人:歩く Confidential
Slide 19
Slide 19 text
6. トリガーの発動条件を満たしていたらアク ション起動 22 Confidential アクション
Slide 20
Slide 20 text
1.デジタルツイン上のオブジェクトや範囲等を 指定 23 Click! 仮想空間上のオブジェクトや範囲等を指定 Confidential
Slide 21
Slide 21 text
2. ユーザがトリガーとアクションを設定 24 オブジェクトに関するウィンドウが開き、「トリガー」と「ア クション」を選択する。 Confidential トリガー キャンペーン期間 クーポン配信 アクション いつ 誰が スマートフォンユーザ 何を 撮影
Slide 22
Slide 22 text
3. センサーが周辺の情報を取得 25 Confidential 撮影
Slide 23
Slide 23 text
4. AIが人やモノを認識 26 Confidential × × × × × × × × × × × × × × × × × × × × × × 登録ポスターA
Slide 24
Slide 24 text
5. AIが認識した情報を実空間へ写像 27 Confidential × × × × × × × × × × × × × × × × × × × × × × 登録ポスターA デジタルツイン
Slide 25
Slide 25 text
6. トリガーの発動条件を満たしていたらアク ション起動 28 Confidential クーポン Get
Slide 26
Slide 26 text
使用例 29 小売り/商業施設 顧客を分散するために、空いている店舗の広告をサイネージ に表示 顧客が各店舗のポスターをスマホで撮影することでアイテム を入手し、すべて集めるとクーポンがもらえるようなゲームを 企画することで、周遊や子連れ客の暇つぶしが行える オフィス 二酸化炭素濃度、気温、湿度、人の位置、室内形状などに合 わせて、換気扇やエアコン、照明等を動的に制御 観光 自分の街を舞台にしたオリジナルRPGを作成し、各名所でア イテムを入手させるなど、顧客がゲームを楽しんだり、知識を 得ながら周遊
Slide 27
Slide 27 text
使用例 30 建築/土木 立ち入り禁止区域を設定し、人が侵入したらアラート 高所での搬入作業等を検知し、その下を人が通るとアラート で知らせる 物流 配送センターへのトラックの到着を検知し、そのIDに基づいて、 ロジスティックシステムと連動し、倉庫内のピックアップすべき 商品の棚位置を作業者へ指示することでリードタイム短縮 製造業 ベルトコンベア上の製造品の渋滞箇所、または遅延を検出し、 機械の処理速度を自動調整する
Slide 28
Slide 28 text
センシング技術 Real as Codeのレイヤー構造 31 カメラ LiDAR Spartphone Spartphone Smart Phone マルチセンサー キャリブレーション センサー情報 (パラメータ+位置姿勢) ・・・・・ 物体検出 人追跡 Semantic Segmentation 三次元復元 仮想空間構築/認識 人体姿勢推定 データ解析・アクションモジュール群 GUI for Retail 人/モノ (いつ、どこで、誰が、 何を) AR/VR 外部機器/サービス連携 ・・・・・ 特定物体認識 時空間DB シナリオエンジン GUI for Logistic GUI for Construction
Slide 29
Slide 29 text
人/モノ (いつ、どこで、誰が、 何を) センシング技術 Real as Codeのレイヤー構造 32 カメラ LiDAR Spartphone Spartphone Smart Phone マルチセンサー キャリブレーション センサー情報 (パラメータ+位置姿勢) ・・・・・ 物体検出 人追跡 Semantic Segmentation 三次元復元 仮想空間構築/認識 人体姿勢推定 データ解析・アクションモジュール群 GUI for Retail AR/VR 外部機器/サービス連携 ・・・・・ 特定物体認識 時空間DB シナリオエンジン GUI for Logistic GUI for Construction センサーデータの座標を 世界座標系(仮想空間座 標)へ変換 デジタルツイン • いわゆるAI • センサー情報から人・モノなどのオ ブジェクトを抽出し、情報量削減 • オブジェクトを仮想空間(3D)へ投 影 • それぞれ独立したモジュール • 案件ドリブンで開発 センサーフュージョン APIによる疎結合 APIによる疎結合 いつ、何が、どこで、どん なことをしたらイベントを起 動するかを制御
Slide 30
Slide 30 text
33 「Real as Code」はIoT、AI、XRなど のテクノロジー分野を融合する
Slide 31
Slide 31 text
シナリオの生成 34 現実世界の変化に基づいて、IoT機器を動かすルールを シナリオといいます。シナリオは以下の3ステップを経て 生成します。 GUI ユーザが直接操作し、中間ファイルを生成します。 中間ファイル jsonにより、シナリオをグラフ構造で記述します。 シナリオエンジン グラフ構造で表されたシナリオを実行します。 GUI 中間ファイル シナリオエンジン プログラミング言語 コンパイル/実行 業務ごとに開発
Slide 32
Slide 32 text
シナリオの機能 35 「いつ(When)」は、毎日、1日おき、毎週、平日、などの 様々な定義が可能。 「どこで(Where)」は、「ある領域に入ったら」、「ある線を 通過したら」、「ある点から最も近いモノ」などの定義が可 能。 トリガーや「いつ」、「どこで」などはANDやOR、XORによ る組み合わせが可能。 「性別/年齢」や「車種」等、オブジェクトの属性によるフィ ルタリングが可能
Slide 33
Slide 33 text
現行のGUI 36
Slide 34
Slide 34 text
現行のGUI (Where定義の例) 37
Slide 35
Slide 35 text
事例:AR探索アドベンチャー 38 召喚! スマートフォンを使って現実世界のランドマークやオブジェクト を撮影することで、物語のヒントやアイテムを入手できる。 この世界を救う ため四匹の聖獣 を召喚するのだ
Slide 36
Slide 36 text
事例:AR探索アドベンチャー 39 「シナリオエンジン」によって、ユー ザーが何を撮影したか、どのような選 択肢を選択したかによって、自由にス トーリーを変更できます。 地域のゆるキャラや、その地域の歴史 クイズをストーリーに組み込むなど、コン テンツの変更やカスタマイズが容易。 混雑状況にあわせた周遊先の分散、曜 日や天候等で使用できない施設を周遊 先から外す等、動的なストーリー変更が 可能。 プレイヤーの周遊パターンや集客具合、 混雑状況、対象商品の撮影頻度などの 可視化および効果測定が可能。 自由なストーリー展開
Slide 37
Slide 37 text
テストプレイ@綱島公園(2023/11/23 – 26) 40 横浜日吉新聞にも取り上げられました。 https://hiyosi.net/2023/11/23/event_2023-20/ オリジナルコンテンツ「妖怪ハンター候補生」
Slide 38
Slide 38 text
今後やりたいこと 41 キラーアプリケーションを作りたい! AR探索アドベンチャーを育てる それ以外の応用も募集中! オープンソースで公開 周辺のセンシング+AIを充実 連携できるIoT機器の充実 生成AIによって、自然言語からシナリオ を作成できるようにしたい! 時空間DBの3次元化/リアルタイム化