AR/VRの活用事例と最新動向

Slide 1

Slide 1 text

2022/02/14 データサイエンス入門 AR/VRの活用事例と最新動向

Slide 2

Slide 2 text

自己紹介藤本賢志（ふじもとさとし）ニックネーム：がちもとさん株式会社ナレッジコミュニケーション R&D戦略チームマネージャー Co-founder KumaMCN 高専で制御を、大学でセンシングを学び、次は脳みそ。 ARナビゲーションや電動車いすの自動運転に関する研究開発をしています。専門は、コンピュータビジョン、画像処理、ロボティクス、制御工学、電気電子回路。 Twitterフォローお願いします！ @sotongshi

Slide 3

Slide 3 text

インタラクティブなナビゲーションシステム 3:44~, https://www.cis.sojo-u.ac.jp/index.php/iot-ai-center.html

Slide 4

Slide 4 text

データサイエンスにおけるAR/VRの位置づけ

Slide 5

Slide 5 text

Society 5.0 サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合させたシステムにより、経済発展と社会的課題の解決を両立する、人間中心の社会を目指す https://www8.cao.go.jp/cstp/society5_0/

Slide 6

Slide 6 text

どんな社会？ IoT、AI、ビッグデータ、クラウド、ロボットなどを駆使して新たな価値を生む社会多様化・複雑化する社会、過疎化や少子高齢化に対応していく https://www8.cao.go.jp/cstp/society5_0/

Slide 7

Slide 7 text

どうやるの？ • サイバー空間とフィジカル空間を高度に融合させたシステム • クラウドにデータ集積 → ビッグデータをAIが解析 → 人間にフィードバック https://www8.cao.go.jp/cstp/society5_0/

Slide 8

Slide 8 text

どうやるの？ • サイバー空間とフィジカル空間を高度に融合させたシステム • クラウドにデータ集積 → ビッグデータをAIが解析 → 人間にフィードバック https://www8.cao.go.jp/cstp/society5_0/ 可視化（AR）自動化（ロボット）シミュレーション（VR）センシングフィードバック

Slide 9

Slide 9 text

AR/VRとは VR（Virtual Reality、仮想現実）サイバー空間（仮想空間）でシミュレーションし、体験する AR（Augmented Reality、拡張現実）フィジカル空間（現実空間）を拡張し、可視化するデジタルツインサイバー空間でフィジカル空間をリアルタイムに再現

Slide 10

Slide 10 text

AR/VRの導入

Slide 11

Slide 11 text

世界最初のHMD [Sutherland 1968] https://youtu.be/NtwZXGprxag

Slide 12

Slide 12 text

現在のデバイス仮想空間現実空間複合現実 [Milgram 1994] 現実と仮想の両方を行き来できる (VR) https://cs.gmu.edu/~zduric/cs499/Readings/r76JBo-Milgram_IEICE_1994.pdf

Slide 13

Slide 13 text

AR（Augmented Reality） • 現実世界に仮想を混ぜる 2016, https://youtu.be/Hf9qkURqtbM 2018, https://youtu.be/PZUomgoe7Pw

Slide 14

Slide 14 text

AV（Augmented Virtuality） • 仮想世界に現実を混ぜる 2021, https://youtu.be/bPEx_6p90Uc 2021, https://youtu.be/ntpthBbzK70

Slide 15

Slide 15 text

ARの定義 ARは次の3つの特徴を備えていなくてはならない [Azuma 1997] • 現実と仮想の組み合わせである • 実時間で動作する応答性を備えている • 三次元的に整合性が取れているものである Ronald T. Azuma; A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 1997; 6 (4): 355–385. doi: https://doi.org/10.1162/pres.1997.6.4.355

Slide 16

Slide 16 text

AR/VRの主要機能 • 現実世界と仮想世界の位置合わせ • カメラ（視点）の位置推定＆トラッキング（以下、自己位置推定）とマップ作成 • 仮想コンテンツの配置と可視化（ディスプレイ）

Slide 17

Slide 17 text

現実世界と仮想世界の位置合わせ • GPSを用いるロケーションベースAR • カメラを用いるビジョンベースAR • マーカー • マーカーレス（自然特徴） 2019, https://youtu.be/XWbY5jdJnHg 2013, https://youtu.be/gZqcrcxEWKg

Slide 18

Slide 18 text

マーカーベースAR 2008, https://youtu.be/dbm0TSthp5o 2009, https://youtu.be/4XZC76lQ2hc

Slide 19

Slide 19 text

マーカーベースARの原理 • マーカーの四つ角を抽出 • 平面に射影変換して、パターン（ID）を認識 • マーカーのサイズ（既知）と四つ角からカメラ位置を推定 • マーカーを基準とした座標系に仮想コンテンツを表示マーカーが見えている範囲でしか可視化できなかった

Slide 20

Slide 20 text

マーカーレスAR • 3Dマップや画像データベースと特徴点を照合 • 自己位置推定によりマーカーが見えていないところでも可視化できる

Slide 21

Slide 21 text

自己位置推定（Odometry） • 内界センサを用いる • ジャイロセンサ、加速度センサ、地磁気センサ目をつぶって歩数を数えて距離を測る • 外界センサを用いる • GPS • モーションキャプチャ • カメラ（Visual Odometry） • LiDAR 外から観測できるもしくは景色を見ながら歩いて距離を測る

Slide 22

Slide 22 text

SLAM（Simultaneous Localization and Mapping） • リアルタイムに自己位置推定とマップ作成を同時に行うこと • SLAM = Visual Odometry + Mapping + 最適化（バックエンド） SLAM VO

Slide 23

Slide 23 text

PTAM 2007, https://youtu.be/Y9HMn6bd-v8 2007, https://youtu.be/F3s3M0mokNc

Slide 24

Slide 24 text

• 特徴点ベースのSLAM ORB-SLAM2（Indirect Method） 2018, https://youtu.be/IuBGKxgaxS0

Slide 25

Slide 25 text

SLAMの原理 1. マップの初期化 2. トラッキング 3. マッピング 4. Loop Closure https://jp.mathworks.com/help/vision/ug/monocular-visual-simultaneous-localization-and-mapping.html

Slide 26

Slide 26 text

マップの初期化 • 2つのフレームから3次元点のマップを初期化 • 2次元特徴点の対応関係により、3次元点と相対カメラ姿勢を計算

Slide 27

Slide 27 text

トラッキングとマッピング • 既知の特徴点と新しいフレームの特徴点をマッチングし、3D-2D対応からカメラ位置を推定 • 新しく観測した3次元点をマップに追加

Slide 28

Slide 28 text

KinectFusion • RGB-Dカメラ（Kinectセンサ）によるSLAM • Depthカメラの登場により、マップの初期化が不要に、3次元点群のマップも密に 2011, https://youtu.be/quGhaggn3cQ

Slide 29

Slide 29 text

LSD-SLAM（Direct Method） 2014, https://youtu.be/GnuQzP3gty4 • フレーム間の輝度の誤差を最小化 • 単眼カメラでも高精度なSLAMが可能に

Slide 30

Slide 30 text

Visual Inertial SLAM（センサフュージョン） 2016, https://youtu.be/TbKEPA2_-m4 2015, https://youtu.be/ZMAISVy-6ao • カメラとIMUの組み合わせ

Slide 31

Slide 31 text

Deep SLAM • 画像からDepth推定 Huangying Zhan, Chamara Saroj Weerasekera, Jia-Wang Bian, Ravi Garg, Ian Reid, “DF-VO: What Should Be Learnt for Visual Odometry?,” arXiv, 2020.

Slide 32

Slide 32 text

Deep SLAM • 特徴点抽出やマッチングの機能をDeep化 P. Sarlin, D. DeTone, T. Malisiewicz and A. Rabinovich, “SuperGlue: Learning Feature Matching with Graph Neural Networks,” Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

Slide 33

Slide 33 text

Deep SLAM • End-to-End（2枚の画像を入力すると自己位置推定結果が出力される）の学習モデル W. Wang, Y. Hu and S. Scherer, “TartanVO: A Generalizable Learning-based VO,” Conference on Robot Learning (CoRL), 2020.

Slide 34

Slide 34 text

SLAMの歴史 https://twitter.com/RosinolToni/status/1372252751867092996

Slide 35

Slide 35 text

Event Camera • 輝度の変化だけを検知して出力するカメラ • 非常に高速（1000fps） 2018, https://youtu.be/0hDGFFJQfmA

Slide 36

Slide 36 text

フォトグラメトリ（SfM） • インターネットから集めた画像（カメラの種類はバラバラ） • カメラの内部パラメータまで推定 • オフライン（リアルタイムではない）、高精度なマップ作成にフォーカス https://www.our-shurijo.org/

Slide 37

Slide 37 text

AR/VRの活用事例

Slide 38

Slide 38 text

立教大学望月研究室 • 分子構造のモデルを3Dプリンタで出力していた • HoloLensを用いて、モデルを共有、コメントを貼りつけ https://prtimes.jp/main/html/rd/p/000000006.000004474.html

Slide 39

Slide 39 text

エムティーアイ様 • エピトープ解析システム「MODELAGON」から出力したタンパク質の3Dモデルを表示 https://prtimes.jp/main/html/rd/p/000000010.000004474.html

Slide 40

Slide 40 text

3DモデルのViewer • 3Dモデルをアップロードし、即座にHoloLensで表示できる https://youtu.be/sV4DdWJXSEU

Slide 41

Slide 41 text

オフィスツアー • 誰でも簡単にARナビを作成できる • オフィスツアーや工場での人の誘導、マニュアルの取り出しなど https://youtu.be/h_BE3fnbuMw

Slide 42

Slide 42 text

崇城大学古賀研究室（サクラマチナビ）

Slide 43

Slide 43 text

AR道案内＆サイネージ • 3Dスキャン&ナビゲーションの設置 • 初期位置推定（リアルとバーチャルの位置合わせ）し、ナビに沿って移動 • バス情報のオープンデータGTFSを用いたARサイネージ https://twitter.com/sotongshi/status/1492760083503398915 https://twitter.com/sotongshi/status/1471274080100040705

Slide 44

Slide 44 text

自動運転 • 3Dスキャン • 経路計画 • SLAM＆制御 https://twitter.com/sotongshi/status/1168740395125075968 https://twitter.com/sotongshi/status/1163479600602632192

Slide 45

Slide 45 text

リモート＆デジタル花火 • 遠隔地からWeb上のボタンを押すことでデジタル花火を打ち上げることができる • ARやプロジェクションマッピングによりデジタル花火を表示 https://twitter.com/sotongshi/status/1290963946829017089 https://twitter.com/sotongshi/status/1296670017195520006

Slide 46

Slide 46 text

高橋稲荷神社バース • iPhone 12 Proを用いて高橋稲荷神社を3Dスキャン • スキャンした3Dモデルを用いてclusterのワールド作成 • 自分自身を3Dスキャンしたリアルアバターを使用 https://twitter.com/sotongshi/status/1460230062435831810

Slide 47

Slide 47 text

VRライブ • VR空間でライブ https://twitter.com/sotongshi/status/1332352532811714560

Slide 48

Slide 48 text

まとめ • データサイエンスにおけるAR/VRの位置づけを紹介 • AR/VRの歴史と原理について説明、近年Deep化してきている • AR/VRの活用事例を紹介、Society 5.0を作っていこう

Slide 49

Slide 49 text

ご清聴ありがとうございました