メタバース・ワークショップ

熊本学園大学メタバース次世代人材育成事業第2回の講演資料です

Transcript

1. 株式会社ナレッジコミュニケーション
   藤本賢志（がちもとさん）
   ～メタバース次世代人材育成事業～第２回
   メタバース・ワークショップ
   

   View Slide

2. 自己紹介
   藤本賢志（ふじもとさとし）
   ニックネーム：がちもとさん
   株式会社ナレッジコミュニケーション R&D戦略チーム
   Co-founder KumaMCN
   高専で制御を、大学でセンシングを学び、次は脳みそ
   ARナビや電動車いすの自動運転に関する研究開発
   専門は、コンピュータビジョン、画像処理、制御工学
   Twitterフォローお願いします！ @sotongshi
   

   View Slide

3. 会社紹介
   2011年よりクラウドインテグレーション事業を展開しております。熊本にはパブリッククラ
   ウドに特化した運用保守拠点を設置し、24時間体制で有人対応が可能です。近年ではデータ
   分析・クラウドAIに注力しお客様のクラウド活用を推進しています。
   会社名 株式会社ナレッジコミュニケーション
   設立日 2008年11月 (創立2006年5月)
   人数 34名
   資本金 9,000,000円
   代表者 代表取締役 奥沢 明
   本社所在地 千葉県市川市相之川3-13-23 丸伝小川ビル3階
   支社 熊本支社
   主要取引先 日本マイクロソフト株式会社
   トヨタ情報システム愛知株式会社
   カルビー株式会社
   認定
   ・AWS ソリューションプロバイダー
   ・APNアドバンスドコンサルティングパートナー
   ・AWS Machine Learning コンピテンシー
   ・Amazon Redshift サービスデリバリープログラム
   ・AWS Well-Architected パートナープログラム
   ・Azure Gold コンピテンシーパートナー
   ・Microsoft Mixed Reality パートナー
   ・Microsoft Azure Advanced Specialization
   ・Databricksのソリューションパートナー
   セキュリティ プライバシーマーク取得
   取り組み
   ・一般社団法人SCBラボ 理事
   ・IoT ビジネス共創ラボ 幹事会社
   

   View Slide

4. 沿革
   2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018
   株式会社ナレッジコミュニケーション 設立
   自社サービス基盤をパブリッククラウドに移行
   クラウドインテグレーションサービス「ナレコムクラウド」提供開始
   Microsoft Azure取扱い開始 / クラウド型機械学習提供サービス開始
   IoTビジネス共創ラボ参画 / 熊本拠点(DevOps&RD)を設立
   Microsoft HoloLensサービス提供開始
   Databricks 公式パートナー認定
   創業 学び総合サイト「学び&おけいこのナレコム」提供開始
   2021
   Advanced Specialization (専門領域認定) を Analytics の領域で取得 ※日本で2社のみ
   

   View Slide

5. トヨタ情報システム愛知様：データ分析基盤の最適化ご支援
   データレイク基盤におけるプロジェクトにて Azure Databricks の導入アセスメント及び周
   辺サービスのパフォーマンス検証を行い、ETL処理において大幅な処理速度向上とコスト削
   減を実現いたしました。
   プロジェクトご紹介記事
   成果物イメージ
   https://prtimes.jp/main/html/rd/p/000000011.000004474.html
   導入前後の効果比較
   検証内容及び効果
   

   View Slide

6. カルビー様 : データパイプラインの PaaS 化による新規サービスの立ち上げ
   ご支援事例：カルビー株式会社様
   内容：AIサービスを活用した Azure 基盤構築
   日本マイクロソフト事例ページ :
   Data / AI に関わる広範囲な領域を
   データ分析から運用まで包括的にご支援が可能です
   ご支援可能なML-Ops / アーキテクチャ例
   ナレッジコミュニケーションのお客様に対するご支援
   • 成功する進め方がわからない
   • データサイエンティストが社内いない
   • AIの取組が運用に結びつかない
   • 事例とベストプラクティスをベースに推進
   • Azure のサービスを利用を前提に構築
   • MLOPSを前提にしたアーキテクチャ設計
   データ / AI に関する一般的な課題 弊社の解決アプローチ
   収集 → 加工 → 分析 → デプロイ → 運用
   MLライフサイクルをベストプラクティスでご支援
   https://customers.microsoft.com/ja-jp/story/1342733310061494540-calbee-consumer-azure-ja-japan
   

   View Slide

7. View Slide

8. ナレコムVRとは？
   https://youtu.be/dIV1y4qKwZc
   

   View Slide

9. ナビゲーションの作成
   https://youtu.be/1R-VGfkI4vA
   

   View Slide

10. ナビゲーションの再生
    https://youtu.be/C0VWyOZSefM
    

    View Slide

11. ナレコムVR導入フロー
    1. ポータルサイトから無料会員登録
    2. コンテンツのアップロード
    3. デバイスの準備
    4. ナビゲーション作成
    5. 体験
    

    View Slide

12. ポータルサイト
    • 各種コンテンツのアップロード＆ダウンロード
    • ナビゲーションやコンテンツの管理
    • ナビの再生状況やランキング表示
    

    View Slide

13. ノーコードでXR体験を作れる「ナレコムVR」
    • 横河レンタリース様のHoloLens2レンタル事業にバンドル
    • 大学生協で販売
    

    View Slide

14. メタバースとは？
    • インターネット上の仮想空間にアバターで参加し、他者とコミュニケーションすること
    • meta（超える、高次の）+ universe（世界、領域）の造語
    • アメリカのSF作家が1992年に発表した小説「Snow Crash」（1992）に登場
    • バーチャルSNS：Second Life、VRChat、Cluster
    

    View Slide

15. Second Life（2003）
    • 現実とは別にもう一つの人生、「第二の人生が歩める」とニュースになった（中学生の頃）
    • 空飛んだり、バーチャル体験ができる
    • コミュニティに参加する
    • バーチャルなファッションやインテリアなどを売買
    https://secondlife.com/
    

    View Slide

16. なぜいま注目されているのか？
    • コロナ禍において、オンラインでのコミュニケーションの需要増
    • Facebookが社名を「Meta」に変更した
    • VR技術の発展（スマホからも参加可能）、仮想空間上での経済活動、コミュニケーションの
    質の向上（2D → 3D）
    

    View Slide

17. Society5.0
    サイバー空間（仮想世界）とフィジカル空間（現実世界）を高度に融合させたシステムにより、
    経済発展と社会的課題の解決を両立する、人間中心の社会を目指す
    https://www8.cao.go.jp/cstp/society5_0/
    

    View Slide

18. Society5.0におけるXRの位置づけ
    可視化（AR）
    自動化（ロボット）
    シミュレーション（VR）
    デジタルツイン
    センシング フィードバック
    ・位置情報
    ・カメラ映像
    ・視線
    ・環境マップ
    など
    ・環境情報
    ・予測情報
    ・認識結果
    など
    サイバー空間
    フィジカル空間
    

    View Slide

19. AR/VRの導入
    

    View Slide

20. 世界最初のHMD [Sutherland 1968]
    https://youtu.be/NtwZXGprxag
    

    View Slide

21. 現在のデバイス
    仮想空間
    現実空間 複合現実 [Milgram 1994]
    現実と仮想の両方を行き来できる
    (VR)
    https://cs.gmu.edu/~zduric/cs499/Readings/r76JBo-Milgram_IEICE_1994.pdf
    

    View Slide

22. AR（Augmented Reality）
    • 現実世界に仮想を混ぜる
    2016, https://youtu.be/Hf9qkURqtbM 2018, https://youtu.be/PZUomgoe7Pw
    

    View Slide

23. AV（Augmented Virtuality）
    • 仮想世界に現実を混ぜる
    2021, https://youtu.be/bPEx_6p90Uc 2021, https://youtu.be/ntpthBbzK70
    

    View Slide

24. ARの定義
    ARは次の3つの特徴を備えていなくてはならない [Azuma 1997]
    • 現実と仮想の組み合わせである
    • 実時間で動作する応答性を備えている
    • 三次元的に整合性が取れているものである
    Ronald T. Azuma; A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 1997; 6 (4): 355–385. doi: https://doi.org/10.1162/pres.1997.6.4.355
    

    View Slide

25. AR/VRの主要機能
    • 現実世界と仮想世界の位置合わせ
    • カメラ（視点）の位置推定＆トラッキング（以下、自己位置推定）とマップ作成
    • 仮想コンテンツの配置と可視化（ディスプレイ）
    

    View Slide

26. 現実世界と仮想世界の位置合わせ
    • GPSを用いるロケーションベースAR • カメラを用いるビジョンベースAR
    • マーカー
    • マーカーレス（自然特徴）
    2019, https://youtu.be/XWbY5jdJnHg
    2013, https://youtu.be/gZqcrcxEWKg
    

    View Slide

27. マーカーベースAR
    2008, https://youtu.be/dbm0TSthp5o 2009, https://youtu.be/4XZC76lQ2hc
    

    View Slide

28. マーカーベースARの原理
    • マーカーの四つ角を抽出
    • 平面に射影変換して、パターン（ID）を認識
    • マーカーのサイズ（既知）と四つ角からカメラ位置を推定
    • マーカーを基準とした座標系に仮想コンテンツを表示
    マーカーが見えている範囲でしか可視化できなかった
    

    View Slide

29. マーカーレスAR
    • 3Dマップや画像データベースと特徴点を照合
    • 自己位置推定によりマーカーが見えていないところでも可視化できる
    

    View Slide

30. 自己位置推定（Odometry）
    • 内界センサを用いる
    • ジャイロセンサ、加速度センサ、地磁気センサ
    目をつぶって歩数を数えて距離を測る
    • 外界センサを用いる
    • GPS
    • モーションキャプチャ
    • カメラ（Visual Odometry）
    • LiDAR
    外から観測できる
    もしくは
    景色を見ながら歩いて距離を測る
    

    View Slide

31. SLAM（Simultaneous Localization and Mapping）
    • リアルタイムに自己位置推定とマップ作成を同時に行うこと
    • SLAM = Visual Odometry + Mapping + 最適化（バックエンド）
    SLAM VO
    

    View Slide

32. PTAM
    2007, https://youtu.be/Y9HMn6bd-v8 2007, https://youtu.be/F3s3M0mokNc
    

    View Slide

33. • 特徴点ベースのSLAM
    ORB-SLAM2（Indirect Method）
    2018, https://youtu.be/IuBGKxgaxS0
    

    View Slide

34. SLAMの原理
    1. マップの初期化
    2. トラッキング
    3. マッピング
    4. Loop Closure
    https://jp.mathworks.com/help/vision/ug/monocular-visual-simultaneous-localization-and-mapping.html
    

    View Slide

35. マップの初期化
    • 2つのフレームから3次元点のマップを初期化
    • 2次元特徴点の対応関係により、3次元点と相対カメラ姿勢を計算
    

    View Slide

36. トラッキングとマッピング
    • 既知の特徴点と新しいフレームの特徴点をマッチングし、3D-2D対応からカメラ位置を推定
    • 新しく観測した3次元点をマップに追加
    

    View Slide

37. KinectFusion
    • RGB-Dカメラ（Kinectセンサ）によるSLAM
    • Depthカメラの登場により、マップの初期化が不要に、3次元点群のマップも密に
    2011, https://youtu.be/quGhaggn3cQ
    

    View Slide

38. LSD-SLAM（Direct Method）
    2014, https://youtu.be/GnuQzP3gty4
    • フレーム間の輝度の誤差を最小化
    • 単眼カメラでも高精度なSLAMが可能に
    

    View Slide

39. Visual Inertial SLAM（センサフュージョン）
    2016, https://youtu.be/TbKEPA2_-m4 2015, https://youtu.be/ZMAISVy-6ao
    • カメラとIMUの組み合わせ
    

    View Slide

40. Deep SLAM
    • End-to-End（2枚の画像を入力すると自己位置推定結果が出力される）の学習モデル
    W. Wang, Y. Hu and S. Scherer, “TartanVO: A Generalizable Learning-based VO,” Conference on Robot Learning (CoRL), 2020.
    

    View Slide

41. Event Camera
    • 輝度の変化だけを検知して出力するカメラ
    • 非常に高速（1000fps）
    2018, https://youtu.be/0hDGFFJQfmA
    

    View Slide

42. フォトグラメトリ（SfM）
    • インターネットから集めた画像（カメラの種類はバラバラ）
    • カメラの内部パラメータまで推定
    • オフライン（リアルタイムではない）、高精度なマップ作成にフォーカス
    https://www.our-shurijo.org/
    

    View Slide

43. VPS（Visual Positioning System）とは？
    • 画像から位置を特定するシステムのこと
    • ARやVRで現実世界に合わせて仮想コンテンツを表示させるために重要な技術
    https://learn.microsoft.com/ja-jp/azure/spatial-anchors/overview
    

    View Slide

44. AR/VRの主要機能
    1. SLAM（カメラの位置推定＆トラッキングとマップ作成）
    2. 現実世界と仮想世界の位置合わせ
    3. 仮想コンテンツの配置と表示
    

    View Slide

45. SLAM（カメラの位置推定＆トラッキングとマップ作成）
    • 事前マップなしで自己位置推定とマップ作成を同時に行うこと（ARKitやARCore）
    ※フォトグラメトリ（SfM／Reconstruction）は、リアルタイムである必要がなく、異なるカメラや時間に撮影した画像群
    からでも内部パラメータの推定～カメラ位置とマップを最適化
    • ロストした場合、作成したマップから復帰（Relocalization、VPSと同じ原理）
    SLAM System
    1．特徴抽出
    2．特徴対応付け
    短期間：特徴追跡
    長期間：ループクロージャ
    フロントエンド
    マップ作成
    バックエンド
    フレーム
    R,t
    

    View Slide

46. 現実世界と仮想世界の位置合わせ
    • VPSなし
    • アプリ開始位置またはARマーカーが基準座標
    • アプリ開始位置から計測して、現実世界に合わ
    せて表示するのは困難
    • 物理的なマーカーが必要、それに合わせて表示
    • VPSあり
    • 事前にSLAMなどでマップ作成が必要
    • 事前マップが基準座標
    • 事前マップ上にコンテンツを配置
    https://youtu.be/pFn11hYZM2E
    https://youtu.be/udoSz_UBUdc
    2007, http://kougaku-navi.net/ARToolKit/
    

    View Slide

47. • iPhone 12 Proで簡単にスキャン
    • All Dataでエクスポートすることで画像群とカメラの位置や内部パラメータを取得
    現実空間のスキャン（3D Scanner App）
    

    View Slide

48. 事前マップから自己位置推定
    • 先ほどエクスポートした画像群から特徴を抽出し、画像特徴データベースを構築
    • 現在のフレームから特徴を抽出
    • 画像特徴データベースに照合し、最も似ている画像を検索します
    • 2D-3Dの対応付けを行い位置推定（PnP: Perspective n point）
    データ
    ベース
    フレーム
    R,t
    

    View Slide

49. VPS比較表（2022年8月20日 更新）
    Spatial Anchors Immersal Pretia Geospatial API
    マップ作成 セッション内でスキャン 画像アップロード 専用スキャンアプリ Googleがスキャン
    座標系 アンカーID マップID マップID グローバルマップ（経度緯度高度）
    iOS/Android 〇 〇 〇 〇
    HoloLens2 〇 〇 × ×
    Reloc API
    （画像をPOST、自己位置返す）
    × 〇 × ×
    屋内 〇 〇 〇 ×
    屋外 × 〇 〇 ◎（地球規模対応）
    コンテンツ配置 × × 〇 ×
    Playback API × 〇 〇 〇
    備考
    ・アンカーを基準にオブジェク
    トを配置するためマップとの位
    置合わせが面倒
    ・マップがエクスポートできな
    いためどの領域を認識できるの
    か不明
    ・アンカー位置の編集が不可能
    （削除して再度配置）
    ・マップを基準にオブジェクトを配
    置できる
    ・マップ作成には画像アップロード
    するだけ、カメラはなんでもOK、専
    用スキャンアプリもある
    ・Reloc APIがあるためデバイスに依
    存しない
    ・マップを基準にオブジェクト
    を配置できる
    ・マップ作成には専用のスキャ
    ンアプリが必要
    ・専用のコンテンツオーサリン
    グツールやAR Playbackが用意
    されている
    ・Googleがスキャンするため、スキャン
    する必要がない
    ・Googleがスキャンできないところでは
    使用できない
    ・Googleがマップを更新するまで認識で
    きない場所が出てくるかも
    ・Reloc APIが出たら最強
    

    View Slide

50. Spatial Anchorsを用いたナビ作成アプリ「ナレコムVR」
    • セッション内でアンカーを配置し、周辺をスキャン
    • アンカーに対してコンテンツを配置
    • アンカーの周辺のみ認識していて、どの領域で位置推定できるのか不明
    • アンカーの位置を修正するためには、削除して再度配置する必要がある
    https://youtu.be/1R-VGfkI4vA
    

    View Slide

51. Immersal x 3D Scanner App
    • 専用アプリで撮影（3D Scanner Appを使えばスキャンを確認しながら画像取得）
    • 画像とカメラ情報をImmersalにアップロードし、マップ作成
    • ダウンロードしたマップ上にコンテンツを配置
    • APIで画像をPOSTすると自己位置推定できる
    https://twitter.com/sotongshi/status/1431203787796926467
    

    View Slide

52. Pretia x ARサイネージ
    • 専用アプリで3Dスキャン
    • マップをダウンロードし、コンテンツを配置
    • 専用アプリでコンテンツを配置する機能もある
    （３）
    （１）スキャン
    （２）VRでシミュレーション
    （３）AR表示
    https://twitter.com/sotongshi/status/1492760083503398915
    

    View Slide

53. Geospatial API x PLATEAU
    • Googleが事前にスキャンしている（地球規模対応ｗ つよ
    • 経度緯度高度の指定だけでコンテンツが置ける
    • 精度はあまり良くない印象
    https://twitter.com/sotongshi/status/1557003609019400194
    

    View Slide

54. Gachispatial API
    • 3D Scanner Appでスキャンし、画像特徴データベースを構築
    • 特徴点の抽出と対応付けにはDeep Learningベースの手法（SuperPoint）を利用
    • 画像とLiDARの点群の両方を利用したRGB-D SLAM
    • 画像をサーバーに送信し、自己位置を返すAPIを作成
    

    View Slide

55. Gachispatial API x 電動車いすの自動運転
    • 事前マップを作成
    • 事前マップ上に経路計画
    • VPSにより初期位置推定し、自動運転
    https://twitter.com/sotongshi/status/1168740395125075968
    

    View Slide

56. AR/VRの活用事例
    

    View Slide

57. 立教大学 望月研究室
    • 分子構造のモデルを3Dプリンタで出力していた
    • HoloLensを用いて、モデルを共有、コメントを貼りつけ
    https://prtimes.jp/main/html/rd/p/000000006.000004474.html
    

    View Slide

58. エムティーアイ様
    • エピトープ解析システム「MODELAGON」から出力したタンパク質の3Dモデルを表示
    https://prtimes.jp/main/html/rd/p/000000010.000004474.html
    

    View Slide

59. リモート＆デジタル花火
    • 遠隔地からWeb上のボタンを押すことでデジタル花火を打ち上げることができる
    • ARやプロジェクションマッピングによりデジタル花火を表示
    https://twitter.com/sotongshi/status/1290963946829017089
    https://twitter.com/sotongshi/status/1296670017195520006
    

    View Slide

60. 高橋稲荷神社バース
    • iPhone 12 Proを用いて高橋稲荷神社を3Dスキャン
    • スキャンした3Dモデルを用いてclusterのワールド作成
    • 自分自身を3Dスキャンしたリアルアバターを使用
    https://twitter.com/sotongshi/status/1460230062435831810
    

    View Slide

61. VRライブ
    • VR空間でライブ
    https://twitter.com/sotongshi/status/1332352532811714560
    

    View Slide

62. ご清聴ありがとうございました
    

    View Slide