Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AR/VRの活用事例と最新動向

 AR/VRの活用事例と最新動向

崇城大学 データサイエンス入門 「AR/VRの活用事例と最新動向」の講演資料です

Satoshi Gachi Fujimoto

February 14, 2022
Tweet

More Decks by Satoshi Gachi Fujimoto

Other Decks in Technology

Transcript

  1. 2022/02/14 データサイエンス入門 AR/VRの活用事例と最新動向

  2. 自己紹介 藤本賢志(ふじもとさとし) ニックネーム:がちもとさん 株式会社ナレッジコミュニケーション R&D戦略チームマネージャー Co-founder KumaMCN 高専で制御を、大学でセンシングを学び、次は脳みそ。 ARナビゲーションや電動車いすの自動運転に関する 研究開発をしています。

    専門は、コンピュータビジョン、画像処理、 ロボティクス、制御工学、電気電子回路。 Twitterフォローお願いします! @sotongshi
  3. インタラクティブなナビゲーションシステム 3:44~, https://www.cis.sojo-u.ac.jp/index.php/iot-ai-center.html

  4. データサイエンスにおけるAR/VRの位置づけ

  5. Society 5.0 サイバー空間(仮想空間)とフィジカル空間(現実空間)を高度に融合させたシステムにより、 経済発展と社会的課題の解決を両立する、人間中心の社会を目指す https://www8.cao.go.jp/cstp/society5_0/

  6. どんな社会? IoT、AI、ビッグデータ、クラウド、ロボットなどを駆使して新たな価値を生む社会 多様化・複雑化する社会、過疎化や少子高齢化に対応していく https://www8.cao.go.jp/cstp/society5_0/

  7. どうやるの? • サイバー空間とフィジカル空間を高度に融合させたシステム • クラウドにデータ集積 → ビッグデータをAIが解析 → 人間にフィードバック https://www8.cao.go.jp/cstp/society5_0/

  8. どうやるの? • サイバー空間とフィジカル空間を高度に融合させたシステム • クラウドにデータ集積 → ビッグデータをAIが解析 → 人間にフィードバック https://www8.cao.go.jp/cstp/society5_0/

    可視化(AR) 自動化(ロボット) シミュレーション(VR) センシング フィードバック
  9. AR/VRとは VR(Virtual Reality、仮想現実) サイバー空間(仮想空間)でシミュレーションし、体験する AR(Augmented Reality、拡張現実) フィジカル空間(現実空間)を拡張し、可視化する デジタルツイン サイバー空間でフィジカル空間をリアルタイムに再現

  10. AR/VRの導入

  11. 世界最初のHMD [Sutherland 1968] https://youtu.be/NtwZXGprxag

  12. 現在のデバイス 仮想空間 現実空間 複合現実 [Milgram 1994] 現実と仮想の両方を行き来できる (VR) https://cs.gmu.edu/~zduric/cs499/Readings/r76JBo-Milgram_IEICE_1994.pdf

  13. AR(Augmented Reality) • 現実世界に仮想を混ぜる 2016, https://youtu.be/Hf9qkURqtbM 2018, https://youtu.be/PZUomgoe7Pw

  14. AV(Augmented Virtuality) • 仮想世界に現実を混ぜる 2021, https://youtu.be/bPEx_6p90Uc 2021, https://youtu.be/ntpthBbzK70

  15. ARの定義 ARは次の3つの特徴を備えていなくてはならない [Azuma 1997] • 現実と仮想の組み合わせである • 実時間で動作する応答性を備えている • 三次元的に整合性が取れているものである

    Ronald T. Azuma; A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 1997; 6 (4): 355–385. doi: https://doi.org/10.1162/pres.1997.6.4.355
  16. AR/VRの主要機能 • 現実世界と仮想世界の位置合わせ • カメラ(視点)の位置推定&トラッキング(以下、自己位置推定)とマップ作成 • 仮想コンテンツの配置と可視化(ディスプレイ)

  17. 現実世界と仮想世界の位置合わせ • GPSを用いるロケーションベースAR • カメラを用いるビジョンベースAR • マーカー • マーカーレス(自然特徴) 2019,

    https://youtu.be/XWbY5jdJnHg 2013, https://youtu.be/gZqcrcxEWKg
  18. マーカーベースAR 2008, https://youtu.be/dbm0TSthp5o 2009, https://youtu.be/4XZC76lQ2hc

  19. マーカーベースARの原理 • マーカーの四つ角を抽出 • 平面に射影変換して、パターン(ID)を認識 • マーカーのサイズ(既知)と四つ角からカメラ位置を推定 • マーカーを基準とした座標系に仮想コンテンツを表示 マーカーが見えている範囲でしか可視化できなかった

  20. マーカーレスAR • 3Dマップや画像データベースと特徴点を照合 • 自己位置推定によりマーカーが見えていないところでも可視化できる

  21. 自己位置推定(Odometry) • 内界センサを用いる • ジャイロセンサ、加速度センサ、地磁気センサ 目をつぶって歩数を数えて距離を測る • 外界センサを用いる • GPS

    • モーションキャプチャ • カメラ(Visual Odometry) • LiDAR 外から観測できる もしくは 景色を見ながら歩いて距離を測る
  22. SLAM(Simultaneous Localization and Mapping) • リアルタイムに自己位置推定とマップ作成を同時に行うこと • SLAM = Visual

    Odometry + Mapping + 最適化(バックエンド) SLAM VO
  23. PTAM 2007, https://youtu.be/Y9HMn6bd-v8 2007, https://youtu.be/F3s3M0mokNc

  24. • 特徴点ベースのSLAM ORB-SLAM2(Indirect Method) 2018, https://youtu.be/IuBGKxgaxS0

  25. SLAMの原理 1. マップの初期化 2. トラッキング 3. マッピング 4. Loop Closure

    https://jp.mathworks.com/help/vision/ug/monocular-visual-simultaneous-localization-and-mapping.html
  26. マップの初期化 • 2つのフレームから3次元点のマップを初期化 • 2次元特徴点の対応関係により、3次元点と相対カメラ姿勢を計算

  27. トラッキングとマッピング • 既知の特徴点と新しいフレームの特徴点をマッチングし、3D-2D対応からカメラ位置を推定 • 新しく観測した3次元点をマップに追加

  28. KinectFusion • RGB-Dカメラ(Kinectセンサ)によるSLAM • Depthカメラの登場により、マップの初期化が不要に、3次元点群のマップも密に 2011, https://youtu.be/quGhaggn3cQ

  29. LSD-SLAM(Direct Method) 2014, https://youtu.be/GnuQzP3gty4 • フレーム間の輝度の誤差を最小化 • 単眼カメラでも高精度なSLAMが可能に

  30. Visual Inertial SLAM(センサフュージョン) 2016, https://youtu.be/TbKEPA2_-m4 2015, https://youtu.be/ZMAISVy-6ao • カメラとIMUの組み合わせ

  31. Deep SLAM • 画像からDepth推定 Huangying Zhan, Chamara Saroj Weerasekera, Jia-Wang

    Bian, Ravi Garg, Ian Reid, “DF-VO: What Should Be Learnt for Visual Odometry?,” arXiv, 2020.
  32. Deep SLAM • 特徴点抽出やマッチングの機能をDeep化 P. Sarlin, D. DeTone, T. Malisiewicz

    and A. Rabinovich, “SuperGlue: Learning Feature Matching with Graph Neural Networks,” Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
  33. Deep SLAM • End-to-End(2枚の画像を入力すると自己位置推定結果が出力される)の学習モデル W. Wang, Y. Hu and S.

    Scherer, “TartanVO: A Generalizable Learning-based VO,” Conference on Robot Learning (CoRL), 2020.
  34. SLAMの歴史 https://twitter.com/RosinolToni/status/1372252751867092996

  35. Event Camera • 輝度の変化だけを検知して出力するカメラ • 非常に高速(1000fps) 2018, https://youtu.be/0hDGFFJQfmA

  36. フォトグラメトリ(SfM) • インターネットから集めた画像(カメラの種類はバラバラ) • カメラの内部パラメータまで推定 • オフライン(リアルタイムではない)、高精度なマップ作成にフォーカス https://www.our-shurijo.org/

  37. AR/VRの活用事例

  38. 立教大学 望月研究室 • 分子構造のモデルを3Dプリンタで出力していた • HoloLensを用いて、モデルを共有、コメントを貼りつけ https://prtimes.jp/main/html/rd/p/000000006.000004474.html

  39. エムティーアイ様 • エピトープ解析システム「MODELAGON」から出力したタンパク質の3Dモデルを表示 https://prtimes.jp/main/html/rd/p/000000010.000004474.html

  40. 3DモデルのViewer • 3Dモデルをアップロードし、即座にHoloLensで表示できる https://youtu.be/sV4DdWJXSEU

  41. オフィスツアー • 誰でも簡単にARナビを作成できる • オフィスツアーや工場での人の誘導、マニュアルの取り出しなど https://youtu.be/h_BE3fnbuMw

  42. 崇城大学 古賀研究室(サクラマチナビ)

  43. AR道案内&サイネージ • 3Dスキャン&ナビゲーションの設置 • 初期位置推定(リアルとバーチャルの位置合わせ)し、ナビに沿って移動 • バス情報のオープンデータGTFSを用いたARサイネージ https://twitter.com/sotongshi/status/1492760083503398915 https://twitter.com/sotongshi/status/1471274080100040705

  44. 自動運転 • 3Dスキャン • 経路計画 • SLAM&制御 https://twitter.com/sotongshi/status/1168740395125075968 https://twitter.com/sotongshi/status/1163479600602632192

  45. リモート&デジタル花火 • 遠隔地からWeb上のボタンを押すことでデジタル花火を打ち上げることができる • ARやプロジェクションマッピングによりデジタル花火を表示 https://twitter.com/sotongshi/status/1290963946829017089 https://twitter.com/sotongshi/status/1296670017195520006

  46. 高橋稲荷神社バース • iPhone 12 Proを用いて高橋稲荷神社を3Dスキャン • スキャンした3Dモデルを用いてclusterのワールド作成 • 自分自身を3Dスキャンしたリアルアバターを使用 https://twitter.com/sotongshi/status/1460230062435831810

  47. VRライブ • VR空間でライブ https://twitter.com/sotongshi/status/1332352532811714560

  48. まとめ • データサイエンスにおけるAR/VRの位置づけを紹介 • AR/VRの歴史と原理について説明、近年Deep化してきている • AR/VRの活用事例を紹介、Society 5.0を作っていこう

  49. ご清聴ありがとうございました