Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AR/VRの活用事例と最新動向

 AR/VRの活用事例と最新動向

崇城大学 データサイエンス入門 「AR/VRの活用事例と最新動向」の講演資料です

Satoshi Gachi Fujimoto

February 14, 2022
Tweet

More Decks by Satoshi Gachi Fujimoto

Other Decks in Technology

Transcript

  1. 2022/02/14
    データサイエンス入門
    AR/VRの活用事例と最新動向

    View full-size slide

  2. 自己紹介
    藤本賢志(ふじもとさとし)
    ニックネーム:がちもとさん
    株式会社ナレッジコミュニケーション
    R&D戦略チームマネージャー
    Co-founder KumaMCN
    高専で制御を、大学でセンシングを学び、次は脳みそ。
    ARナビゲーションや電動車いすの自動運転に関する
    研究開発をしています。
    専門は、コンピュータビジョン、画像処理、
    ロボティクス、制御工学、電気電子回路。
    Twitterフォローお願いします! @sotongshi

    View full-size slide

  3. インタラクティブなナビゲーションシステム
    3:44~, https://www.cis.sojo-u.ac.jp/index.php/iot-ai-center.html

    View full-size slide

  4. データサイエンスにおけるAR/VRの位置づけ

    View full-size slide

  5. Society 5.0
    サイバー空間(仮想空間)とフィジカル空間(現実空間)を高度に融合させたシステムにより、
    経済発展と社会的課題の解決を両立する、人間中心の社会を目指す
    https://www8.cao.go.jp/cstp/society5_0/

    View full-size slide

  6. どんな社会?
    IoT、AI、ビッグデータ、クラウド、ロボットなどを駆使して新たな価値を生む社会
    多様化・複雑化する社会、過疎化や少子高齢化に対応していく
    https://www8.cao.go.jp/cstp/society5_0/

    View full-size slide

  7. どうやるの?
    • サイバー空間とフィジカル空間を高度に融合させたシステム
    • クラウドにデータ集積 → ビッグデータをAIが解析 → 人間にフィードバック
    https://www8.cao.go.jp/cstp/society5_0/

    View full-size slide

  8. どうやるの?
    • サイバー空間とフィジカル空間を高度に融合させたシステム
    • クラウドにデータ集積 → ビッグデータをAIが解析 → 人間にフィードバック
    https://www8.cao.go.jp/cstp/society5_0/
    可視化(AR)
    自動化(ロボット)
    シミュレーション(VR)
    センシング
    フィードバック

    View full-size slide

  9. AR/VRとは
    VR(Virtual Reality、仮想現実)
    サイバー空間(仮想空間)でシミュレーションし、体験する
    AR(Augmented Reality、拡張現実)
    フィジカル空間(現実空間)を拡張し、可視化する
    デジタルツイン
    サイバー空間でフィジカル空間をリアルタイムに再現

    View full-size slide

  10. AR/VRの導入

    View full-size slide

  11. 世界最初のHMD [Sutherland 1968]
    https://youtu.be/NtwZXGprxag

    View full-size slide

  12. 現在のデバイス
    仮想空間
    現実空間 複合現実 [Milgram 1994]
    現実と仮想の両方を行き来できる
    (VR)
    https://cs.gmu.edu/~zduric/cs499/Readings/r76JBo-Milgram_IEICE_1994.pdf

    View full-size slide

  13. AR(Augmented Reality)
    • 現実世界に仮想を混ぜる
    2016, https://youtu.be/Hf9qkURqtbM 2018, https://youtu.be/PZUomgoe7Pw

    View full-size slide

  14. AV(Augmented Virtuality)
    • 仮想世界に現実を混ぜる
    2021, https://youtu.be/bPEx_6p90Uc 2021, https://youtu.be/ntpthBbzK70

    View full-size slide

  15. ARの定義
    ARは次の3つの特徴を備えていなくてはならない [Azuma 1997]
    • 現実と仮想の組み合わせである
    • 実時間で動作する応答性を備えている
    • 三次元的に整合性が取れているものである
    Ronald T. Azuma; A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 1997; 6 (4): 355–385. doi: https://doi.org/10.1162/pres.1997.6.4.355

    View full-size slide

  16. AR/VRの主要機能
    • 現実世界と仮想世界の位置合わせ
    • カメラ(視点)の位置推定&トラッキング(以下、自己位置推定)とマップ作成
    • 仮想コンテンツの配置と可視化(ディスプレイ)

    View full-size slide

  17. 現実世界と仮想世界の位置合わせ
    • GPSを用いるロケーションベースAR • カメラを用いるビジョンベースAR
    • マーカー
    • マーカーレス(自然特徴)
    2019, https://youtu.be/XWbY5jdJnHg
    2013, https://youtu.be/gZqcrcxEWKg

    View full-size slide

  18. マーカーベースAR
    2008, https://youtu.be/dbm0TSthp5o 2009, https://youtu.be/4XZC76lQ2hc

    View full-size slide

  19. マーカーベースARの原理
    • マーカーの四つ角を抽出
    • 平面に射影変換して、パターン(ID)を認識
    • マーカーのサイズ(既知)と四つ角からカメラ位置を推定
    • マーカーを基準とした座標系に仮想コンテンツを表示
    マーカーが見えている範囲でしか可視化できなかった

    View full-size slide

  20. マーカーレスAR
    • 3Dマップや画像データベースと特徴点を照合
    • 自己位置推定によりマーカーが見えていないところでも可視化できる

    View full-size slide

  21. 自己位置推定(Odometry)
    • 内界センサを用いる
    • ジャイロセンサ、加速度センサ、地磁気センサ
    目をつぶって歩数を数えて距離を測る
    • 外界センサを用いる
    • GPS
    • モーションキャプチャ
    • カメラ(Visual Odometry)
    • LiDAR
    外から観測できる
    もしくは
    景色を見ながら歩いて距離を測る

    View full-size slide

  22. SLAM(Simultaneous Localization and Mapping)
    • リアルタイムに自己位置推定とマップ作成を同時に行うこと
    • SLAM = Visual Odometry + Mapping + 最適化(バックエンド)
    SLAM VO

    View full-size slide

  23. PTAM
    2007, https://youtu.be/Y9HMn6bd-v8 2007, https://youtu.be/F3s3M0mokNc

    View full-size slide

  24. • 特徴点ベースのSLAM
    ORB-SLAM2(Indirect Method)
    2018, https://youtu.be/IuBGKxgaxS0

    View full-size slide

  25. SLAMの原理
    1. マップの初期化
    2. トラッキング
    3. マッピング
    4. Loop Closure
    https://jp.mathworks.com/help/vision/ug/monocular-visual-simultaneous-localization-and-mapping.html

    View full-size slide

  26. マップの初期化
    • 2つのフレームから3次元点のマップを初期化
    • 2次元特徴点の対応関係により、3次元点と相対カメラ姿勢を計算

    View full-size slide

  27. トラッキングとマッピング
    • 既知の特徴点と新しいフレームの特徴点をマッチングし、3D-2D対応からカメラ位置を推定
    • 新しく観測した3次元点をマップに追加

    View full-size slide

  28. KinectFusion
    • RGB-Dカメラ(Kinectセンサ)によるSLAM
    • Depthカメラの登場により、マップの初期化が不要に、3次元点群のマップも密に
    2011, https://youtu.be/quGhaggn3cQ

    View full-size slide

  29. LSD-SLAM(Direct Method)
    2014, https://youtu.be/GnuQzP3gty4
    • フレーム間の輝度の誤差を最小化
    • 単眼カメラでも高精度なSLAMが可能に

    View full-size slide

  30. Visual Inertial SLAM(センサフュージョン)
    2016, https://youtu.be/TbKEPA2_-m4 2015, https://youtu.be/ZMAISVy-6ao
    • カメラとIMUの組み合わせ

    View full-size slide

  31. Deep SLAM
    • 画像からDepth推定
    Huangying Zhan, Chamara Saroj Weerasekera, Jia-Wang Bian, Ravi Garg, Ian Reid, “DF-VO: What Should Be Learnt for Visual Odometry?,” arXiv, 2020.

    View full-size slide

  32. Deep SLAM
    • 特徴点抽出やマッチングの機能をDeep化
    P. Sarlin, D. DeTone, T. Malisiewicz and A. Rabinovich, “SuperGlue: Learning Feature Matching with Graph Neural Networks,” Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

    View full-size slide

  33. Deep SLAM
    • End-to-End(2枚の画像を入力すると自己位置推定結果が出力される)の学習モデル
    W. Wang, Y. Hu and S. Scherer, “TartanVO: A Generalizable Learning-based VO,” Conference on Robot Learning (CoRL), 2020.

    View full-size slide

  34. SLAMの歴史
    https://twitter.com/RosinolToni/status/1372252751867092996

    View full-size slide

  35. Event Camera
    • 輝度の変化だけを検知して出力するカメラ
    • 非常に高速(1000fps)
    2018, https://youtu.be/0hDGFFJQfmA

    View full-size slide

  36. フォトグラメトリ(SfM)
    • インターネットから集めた画像(カメラの種類はバラバラ)
    • カメラの内部パラメータまで推定
    • オフライン(リアルタイムではない)、高精度なマップ作成にフォーカス
    https://www.our-shurijo.org/

    View full-size slide

  37. AR/VRの活用事例

    View full-size slide

  38. 立教大学 望月研究室
    • 分子構造のモデルを3Dプリンタで出力していた
    • HoloLensを用いて、モデルを共有、コメントを貼りつけ
    https://prtimes.jp/main/html/rd/p/000000006.000004474.html

    View full-size slide

  39. エムティーアイ様
    • エピトープ解析システム「MODELAGON」から出力したタンパク質の3Dモデルを表示
    https://prtimes.jp/main/html/rd/p/000000010.000004474.html

    View full-size slide

  40. 3DモデルのViewer
    • 3Dモデルをアップロードし、即座にHoloLensで表示できる
    https://youtu.be/sV4DdWJXSEU

    View full-size slide

  41. オフィスツアー
    • 誰でも簡単にARナビを作成できる
    • オフィスツアーや工場での人の誘導、マニュアルの取り出しなど
    https://youtu.be/h_BE3fnbuMw

    View full-size slide

  42. 崇城大学 古賀研究室(サクラマチナビ)

    View full-size slide

  43. AR道案内&サイネージ
    • 3Dスキャン&ナビゲーションの設置
    • 初期位置推定(リアルとバーチャルの位置合わせ)し、ナビに沿って移動
    • バス情報のオープンデータGTFSを用いたARサイネージ
    https://twitter.com/sotongshi/status/1492760083503398915
    https://twitter.com/sotongshi/status/1471274080100040705

    View full-size slide

  44. 自動運転
    • 3Dスキャン
    • 経路計画
    • SLAM&制御
    https://twitter.com/sotongshi/status/1168740395125075968
    https://twitter.com/sotongshi/status/1163479600602632192

    View full-size slide

  45. リモート&デジタル花火
    • 遠隔地からWeb上のボタンを押すことでデジタル花火を打ち上げることができる
    • ARやプロジェクションマッピングによりデジタル花火を表示
    https://twitter.com/sotongshi/status/1290963946829017089
    https://twitter.com/sotongshi/status/1296670017195520006

    View full-size slide

  46. 高橋稲荷神社バース
    • iPhone 12 Proを用いて高橋稲荷神社を3Dスキャン
    • スキャンした3Dモデルを用いてclusterのワールド作成
    • 自分自身を3Dスキャンしたリアルアバターを使用
    https://twitter.com/sotongshi/status/1460230062435831810

    View full-size slide

  47. VRライブ
    • VR空間でライブ
    https://twitter.com/sotongshi/status/1332352532811714560

    View full-size slide

  48. まとめ
    • データサイエンスにおけるAR/VRの位置づけを紹介
    • AR/VRの歴史と原理について説明、近年Deep化してきている
    • AR/VRの活用事例を紹介、Society 5.0を作っていこう

    View full-size slide

  49. ご清聴ありがとうございました

    View full-size slide