AR/VRの活用事例と最新動向

崇城大学 データサイエンス入門 「AR/VRの活用事例と最新動向」の講演資料です

Transcript

1. 2022/02/14 データサイエンス入門 AR/VRの活用事例と最新動向
2. 自己紹介 藤本賢志（ふじもとさとし） ニックネーム：がちもとさん 株式会社ナレッジコミュニケーション R&D戦略チームマネージャー Co-founder KumaMCN 高専で制御を、大学でセンシングを学び、次は脳みそ。 ARナビゲーションや電動車いすの自動運転に関する 研究開発をしています。 専門は、コンピュータビジョン、画像処理、 ロボティクス、制御工学、電気電子回路。 Twitterフォローお願いします！ @sotongshi
3. インタラクティブなナビゲーションシステム 3:44~, https://www.cis.sojo-u.ac.jp/index.php/iot-ai-center.html
4. データサイエンスにおけるAR/VRの位置づけ
5. Society 5.0 サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合させたシステムにより、 経済発展と社会的課題の解決を両立する、人間中心の社会を目指す https://www8.cao.go.jp/cstp/society5_0/
6. どんな社会？ IoT、AI、ビッグデータ、クラウド、ロボットなどを駆使して新たな価値を生む社会 多様化・複雑化する社会、過疎化や少子高齢化に対応していく https://www8.cao.go.jp/cstp/society5_0/
7. どうやるの？ • サイバー空間とフィジカル空間を高度に融合させたシステム • クラウドにデータ集積 → ビッグデータをAIが解析 → 人間にフィードバック https://www8.cao.go.jp/cstp/society5_0/
8. どうやるの？ • サイバー空間とフィジカル空間を高度に融合させたシステム • クラウドにデータ集積 → ビッグデータをAIが解析 → 人間にフィードバック https://www8.cao.go.jp/cstp/society5_0/ 可視化（AR） 自動化（ロボット） シミュレーション（VR） センシング フィードバック
9. AR/VRとは VR（Virtual Reality、仮想現実） サイバー空間（仮想空間）でシミュレーションし、体験する AR（Augmented Reality、拡張現実） フィジカル空間（現実空間）を拡張し、可視化する デジタルツイン サイバー空間でフィジカル空間をリアルタイムに再現
10. AR/VRの導入
11. 世界最初のHMD [Sutherland 1968] https://youtu.be/NtwZXGprxag
12. 現在のデバイス 仮想空間 現実空間 複合現実 [Milgram 1994] 現実と仮想の両方を行き来できる (VR) https://cs.gmu.edu/~zduric/cs499/Readings/r76JBo-Milgram_IEICE_1994.pdf
13. AR（Augmented Reality） • 現実世界に仮想を混ぜる 2016, https://youtu.be/Hf9qkURqtbM 2018, https://youtu.be/PZUomgoe7Pw
14. AV（Augmented Virtuality） • 仮想世界に現実を混ぜる 2021, https://youtu.be/bPEx_6p90Uc 2021, https://youtu.be/ntpthBbzK70
15. ARの定義 ARは次の3つの特徴を備えていなくてはならない [Azuma 1997] • 現実と仮想の組み合わせである • 実時間で動作する応答性を備えている • 三次元的に整合性が取れているものである Ronald T. Azuma; A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 1997; 6 (4): 355–385. doi: https://doi.org/10.1162/pres.1997.6.4.355
16. AR/VRの主要機能 • 現実世界と仮想世界の位置合わせ • カメラ（視点）の位置推定＆トラッキング（以下、自己位置推定）とマップ作成 • 仮想コンテンツの配置と可視化（ディスプレイ）
17. 現実世界と仮想世界の位置合わせ • GPSを用いるロケーションベースAR • カメラを用いるビジョンベースAR • マーカー • マーカーレス（自然特徴） 2019, https://youtu.be/XWbY5jdJnHg 2013, https://youtu.be/gZqcrcxEWKg
18. マーカーベースAR 2008, https://youtu.be/dbm0TSthp5o 2009, https://youtu.be/4XZC76lQ2hc
19. マーカーベースARの原理 • マーカーの四つ角を抽出 • 平面に射影変換して、パターン（ID）を認識 • マーカーのサイズ（既知）と四つ角からカメラ位置を推定 • マーカーを基準とした座標系に仮想コンテンツを表示 マーカーが見えている範囲でしか可視化できなかった
20. マーカーレスAR • 3Dマップや画像データベースと特徴点を照合 • 自己位置推定によりマーカーが見えていないところでも可視化できる
21. 自己位置推定（Odometry） • 内界センサを用いる • ジャイロセンサ、加速度センサ、地磁気センサ 目をつぶって歩数を数えて距離を測る • 外界センサを用いる • GPS • モーションキャプチャ • カメラ（Visual Odometry） • LiDAR 外から観測できる もしくは 景色を見ながら歩いて距離を測る
22. SLAM（Simultaneous Localization and Mapping） • リアルタイムに自己位置推定とマップ作成を同時に行うこと • SLAM = Visual Odometry + Mapping + 最適化（バックエンド） SLAM VO
23. PTAM 2007, https://youtu.be/Y9HMn6bd-v8 2007, https://youtu.be/F3s3M0mokNc
24. • 特徴点ベースのSLAM ORB-SLAM2（Indirect Method） 2018, https://youtu.be/IuBGKxgaxS0
25. SLAMの原理 1. マップの初期化 2. トラッキング 3. マッピング 4. Loop Closure https://jp.mathworks.com/help/vision/ug/monocular-visual-simultaneous-localization-and-mapping.html
26. マップの初期化 • 2つのフレームから3次元点のマップを初期化 • 2次元特徴点の対応関係により、3次元点と相対カメラ姿勢を計算
27. トラッキングとマッピング • 既知の特徴点と新しいフレームの特徴点をマッチングし、3D-2D対応からカメラ位置を推定 • 新しく観測した3次元点をマップに追加
28. KinectFusion • RGB-Dカメラ（Kinectセンサ）によるSLAM • Depthカメラの登場により、マップの初期化が不要に、3次元点群のマップも密に 2011, https://youtu.be/quGhaggn3cQ
29. LSD-SLAM（Direct Method） 2014, https://youtu.be/GnuQzP3gty4 • フレーム間の輝度の誤差を最小化 • 単眼カメラでも高精度なSLAMが可能に
30. Visual Inertial SLAM（センサフュージョン） 2016, https://youtu.be/TbKEPA2_-m4 2015, https://youtu.be/ZMAISVy-6ao • カメラとIMUの組み合わせ
31. Deep SLAM • 画像からDepth推定 Huangying Zhan, Chamara Saroj Weerasekera, Jia-Wang Bian, Ravi Garg, Ian Reid, “DF-VO: What Should Be Learnt for Visual Odometry?,” arXiv, 2020.
32. Deep SLAM • 特徴点抽出やマッチングの機能をDeep化 P. Sarlin, D. DeTone, T. Malisiewicz and A. Rabinovich, “SuperGlue: Learning Feature Matching with Graph Neural Networks,” Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
33. Deep SLAM • End-to-End（2枚の画像を入力すると自己位置推定結果が出力される）の学習モデル W. Wang, Y. Hu and S. Scherer, “TartanVO: A Generalizable Learning-based VO,” Conference on Robot Learning (CoRL), 2020.
34. SLAMの歴史 https://twitter.com/RosinolToni/status/1372252751867092996
35. Event Camera • 輝度の変化だけを検知して出力するカメラ • 非常に高速（1000fps） 2018, https://youtu.be/0hDGFFJQfmA
36. フォトグラメトリ（SfM） • インターネットから集めた画像（カメラの種類はバラバラ） • カメラの内部パラメータまで推定 • オフライン（リアルタイムではない）、高精度なマップ作成にフォーカス https://www.our-shurijo.org/
37. AR/VRの活用事例
38. 立教大学 望月研究室 • 分子構造のモデルを3Dプリンタで出力していた • HoloLensを用いて、モデルを共有、コメントを貼りつけ https://prtimes.jp/main/html/rd/p/000000006.000004474.html
39. エムティーアイ様 • エピトープ解析システム「MODELAGON」から出力したタンパク質の3Dモデルを表示 https://prtimes.jp/main/html/rd/p/000000010.000004474.html
40. 3DモデルのViewer • 3Dモデルをアップロードし、即座にHoloLensで表示できる https://youtu.be/sV4DdWJXSEU
41. オフィスツアー • 誰でも簡単にARナビを作成できる • オフィスツアーや工場での人の誘導、マニュアルの取り出しなど https://youtu.be/h_BE3fnbuMw
42. 崇城大学 古賀研究室（サクラマチナビ）
43. AR道案内＆サイネージ • 3Dスキャン&ナビゲーションの設置 • 初期位置推定（リアルとバーチャルの位置合わせ）し、ナビに沿って移動 • バス情報のオープンデータGTFSを用いたARサイネージ https://twitter.com/sotongshi/status/1492760083503398915 https://twitter.com/sotongshi/status/1471274080100040705
44. 自動運転 • 3Dスキャン • 経路計画 • SLAM＆制御 https://twitter.com/sotongshi/status/1168740395125075968 https://twitter.com/sotongshi/status/1163479600602632192
45. リモート＆デジタル花火 • 遠隔地からWeb上のボタンを押すことでデジタル花火を打ち上げることができる • ARやプロジェクションマッピングによりデジタル花火を表示 https://twitter.com/sotongshi/status/1290963946829017089 https://twitter.com/sotongshi/status/1296670017195520006
46. 高橋稲荷神社バース • iPhone 12 Proを用いて高橋稲荷神社を3Dスキャン • スキャンした3Dモデルを用いてclusterのワールド作成 • 自分自身を3Dスキャンしたリアルアバターを使用 https://twitter.com/sotongshi/status/1460230062435831810
47. VRライブ • VR空間でライブ https://twitter.com/sotongshi/status/1332352532811714560
48. まとめ • データサイエンスにおけるAR/VRの位置づけを紹介 • AR/VRの歴史と原理について説明、近年Deep化してきている • AR/VRの活用事例を紹介、Society 5.0を作っていこう
49. ご清聴ありがとうございました