本当にリアルなMixed Realityコンテンツを実現するための技術開発

2017/09/01 CEDEC 2017

Transcript

1. © Cygames, Inc. © Cygames, Inc. 1
2. © Cygames, Inc. サマリー エンターテインメントとしての MRコンテンツ開発における 幾つかの問題点と その解決手法を発表します 2/95
3. © Cygames, Inc. アジェンダ • リアルなMixed Realityコンテンツとは？ • コンテンツに合ったデバイス特性 • 高度なHololens活用技術 • デバイス非依存へ。真に汎用的な解法 3/95
4. © Cygames, Inc. 4/95
5. © Cygames, Inc. 5/95
6. © Cygames, Inc. 6/95
7. © Cygames, Inc. ウォークスルーデモ / Hololens版 7/95
8. © Cygames, Inc. ウォークスルーデモ / スマートフォン版 8/95
9. © Cygames, Inc. リアルなMixed Reality コンテンツの表現 • 現実世界との 正確なオクルージョン • 現実のライティングが オブジェクトへ反映 • 複数人で同じ体験 9/95
10. © Cygames, Inc. 現実のデモルームと、デモルームメッシュ 10/95
11. © Cygames, Inc. 高精度レーザーレンジスキャナで実空間をスキャン 点群データを位置合わせして統合 正確な3Dマップデータの取得方法 FARO Laser Scanner Focus 330 http://www.faro.com/ja-jp/products/3d-surveying/laserscanner- faro-focus/overview 11/95
12. © Cygames, Inc. 点群データを3Dメッシュモデル化 12/95
13. © Cygames, Inc. テクスチャ投影 13/95
14. © Cygames, Inc. 現実のデモルームと、デモルームメッシュ 現実のデモルーム デモルームメッシュ 14/95
15. © Cygames, Inc. そもそも リアルなMixed Reality コンテンツとは？ 15/95
16. © Cygames, Inc. リアルなMixed Realityコンテンツとは？ 目の前へ 浮かぶUI？ 観客の前に現れ る巨大生物？ 現実空間で暴れ るモンスター？ ？ ？ 16/95
17. © Cygames, Inc. リアルなMixed Realityコンテンツとは？ 高い応答性 高い実在感 体験の共有 17/95
18. © Cygames, Inc. リアルなMixed Realityコンテンツとは？ • 高い応答性 正確な姿勢へ 遅滞なく連動 18/95
19. © Cygames, Inc. リアルなMixed Realityコンテンツとは？ • 高い実在感 写実性の高さ 空間表現 広い 速い！ https://unsplash.com/ 19/95
20. © Cygames, Inc. リアルなMixed Realityコンテンツとは？ • 高い実在感 写実性の高さ 現実的な表現 環境音 効果音 空間表現 20/95
21. © Cygames, Inc. リアルなMixed Realityコンテンツとは？ • 高い実在感 https://unsplash.com/ 21/95
22. © Cygames, Inc. リアルなMixed Realityコンテンツとは？ • 体験の共有 22/95
23. © Cygames, Inc. リアルなMixed Realityコンテンツとは？ 高い応答性 高い実在感 体験の共有 23/95
24. © Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Optical See-Through Video See-Through 24/95
25. © Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Optical See-Through 視界がクリア 現実との融合感が高い 視野角が狭い コンテンツが半透明 25/95
26. © Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Video See-Through 視野角問題が無い スマホならお手軽 遅延が大きい HMDでは敷居が高い 26/95
27. © Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Video See-Through ステレオカメラ 27/95
28. © Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Optical See-Through Video See-Through 大規模コンテンツにマッチ 視野角の狭さは課題 閉じた空間でも有用 映像遅延は課題 28/95
29. © Cygames, Inc. HoloLens を用いた ウォークスルーデモの解説 29
30. © Cygames, Inc. サマリー Microsoft社製のHoloLensが一般販売され、 容易にMixed Reality（複合現実）が 実現できるようになりました 弊社では、HoloLensを用いた、リアルで エンターテイメント性の高いMRの実現を目指し ウォークスルー型のデモを作成しました そこで発生した、様々な問題点と解決策を ご紹介します。 30/95
31. © Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の環境を仮想空間に 反映 • オクルージョン 31/95
32. © Cygames, Inc. ウォークスルーデモの環境 • 複数台のWebカメラを設置 • 制作にはUnity（5.5.2f1)と HoloToolKitを使用 • ネットワークのクライアントにHoloLens サーバーにWindows PCという構成 （ネットワークにはUnetを使用） 32/95
33. © Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の環境を仮想空間に 反映 • オクルージョン 33/95
34. © Cygames, Inc. 仮想空間の共有 • HoloLensはアプリケーション起動時の 位置や向きが、姿勢の基準となるため 絶対的な基準姿勢が、定まらない 両方とも同じ 位置・姿勢 として扱われる 34/95
35. © Cygames, Inc. 仮想空間の共有 • WorldAnchorによる解決が可能 HoloLensの機能で空間内に錨(Anchor)を打ち オブジェクトを空間内に固定する 前回と違う姿勢で起動しても、仮想空間のオブジェク トが、現実空間でも同じ見た目の姿勢で留まる HoloLens開発サイトではSpatial anchorですが 今回はUnity表記のWorldAnchorで統一 (https://developer.microsoft.com/ja-jp/windows/mixed-reality/spatial_anchors) 35/95
36. © Cygames, Inc. • 複数人の共有方法 各ユーザーがWorldAnchor見つける事で 現実空間での位置が揃い、位置が共有される 仮想空間の共有 WorldAnchor 36/95
37. © Cygames, Inc. • WorldAnchorから３ｍ以上離れると、 仮想空間中のキャラクター位置が定まらず、 肘が壁に埋まってしまった (https://developer.microsoft.com/ja-jp/windows/mixed-reality/spatial_anchors) WorldAnchorの注意点 肘が壁に埋まらず正しい 肘が壁に埋まっている 37/95
38. © Cygames, Inc. デモにて行った対応 • WorldAnchorを複数個所に配置し、 ユーザーに近い位置のWorldAnchorを使用 • ユーザー位置から各WorldAnchorの影響力を 求めて、仮想空間の絶対座標を調整するように 対応 WorldAnchorの注意点 38/95
39. © Cygames, Inc. • どのように配置したか 人の目でも分かりやすい形状の位置を選択した WorldAnchorの注意点 39/95
40. © Cygames, Inc. WorldAnchorを切り替えるたびに、 キャラクターの位置が変わってしまう WorldAnchorの注意点 40/95
41. © Cygames, Inc. WorldAnchor毎に 仮想空間の絶対座標に誤差が生じてしまう WorldAnchorの注意点 ユーザー位置から、 WorldAnchor毎の影響力を求めて 仮想空間の絶対座標を調整する 41/95
42. © Cygames, Inc. 黄色位置でのWorldAnchor影響力 〇：５０％ △：５０％ ×：０％ WorldAnchorの注意点 42/95
43. © Cygames, Inc. • その他の注意点 周囲を十分にスキャンしないと、 WorldAnchorを見つける事ができない WorldAnchorの注意点 43/95
44. © Cygames, Inc. • その他の注意点 周囲を十分にスキャンしないと、 WorldAnchorを見つける事ができない WorldAnchorの注意点 事前準備には 十分な時間を取る 44/95
45. © Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の環境を仮想空間に 反映 • オクルージョン 45/95
46. © Cygames, Inc. • 視線 近づいても、あらぬ方向を見ているので 無視されているように感じる インタラクション 46/95
47. © Cygames, Inc. 視線 HoloLensからサーバに位置情報を渡す事で、 キャラクターに近いユーザーを見るように対応 47/95
48. © Cygames, Inc. 視線 ゲームではよく使われている手法だが、 MRではより臨場感が増し、有用な演出となる 48/95
49. © Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の環境を仮想空間に 反映 • オクルージョン 49/95
50. © Cygames, Inc. 現実空間の照明が変わっても、 仮想空間に反映されない事で キャラクターだけが浮いて見えてしまう 現実空間の環境を仮想空間に反映 50/95
51. © Cygames, Inc. 現実空間の環境を仮想空間に反映 Webカメラからの画像を元に 現実世界の光を仮想空間に反映する ImageBasedLighting (以後、IBL)を リアルタイムに行い、キャラクターに照明を反映 51/95
52. © Cygames, Inc. 現実空間の環境を仮想空間に反映 • 照明がキャラクターに反映されている動画 52/95
53. © Cygames, Inc. • HoloLensでIBLを行うと・・・ Webカメラから取得した画像から HoloLens内でIBL変換を行うと 処理負荷が高くFPSが出ない 現実空間の環境を仮想空間に反映 53/95
54. © Cygames, Inc. • HoloLensで行わなければ良いのでは？ Webカメラから取得した画像を IBLサーバーに転送しサーバー内で IBL変換を行う事で負荷が下げられる？ 現実空間の環境を仮想空間に反映 Webカメラ サーバー HoloLens 54/95
55. © Cygames, Inc. • IBLサーバーの役割 1. Webカメラからの画像を受け取る 2. IBL変換を行う時に画像を低解像度にする 3. 変換結果をHoloLensへ転送 現実空間の環境を仮想空間に反映 Webカメラ サーバー HoloLens 55/95
56. © Cygames, Inc. • IBLサーバーの役割 1. Webカメラからの画像を受け取る 2. IBL変換を行う時に画像を低解像度にする 3. 変換結果をHoloLensへ転送 現実空間の環境を仮想空間に反映 56/95
57. © Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の光を仮想空間に 反映 • オクルージョン 57/95
58. © Cygames, Inc. • HoloLensにはセンサーの形状認識による リアルタイムなメッシュ生成が行えるが 得られるメッシュが粗く、生成に時間がかかる • ユーザーから遠い位置のオブジェクトは、そもそも 形状認識が出来ないので、オクルージョンが行えない オクルージョン 58/95
59. © Cygames, Inc. • 場所や状況が事前に分かっていれば、 事前生成が可能 • 事前生成のデモルームメッシュなら、 オクルージョンを行ない、 さらに高い精度と応答性が得られる オクルージョン 59/95
60. © Cygames, Inc. • デモルームメッシュなら、ユーザーが下を向く 動作が不要で、地面のメッシュ情報が得られる オクルージョンだけではなく、IK、影にも使用可能 オクルージョン 60/95
61. © Cygames, Inc. • 遠く離れた位置のオクルージョンの比較 オクルージョン デモルームメッシュ 正しくオクルージョン 出来ている スクリーンショットの位置 約5.6ｍ HoloLens 胸が 壁を突き抜けている 61/95
62. © Cygames, Inc. オクルージョン • デモルームメッシュによる良かった点 HoloLensで形状認識を行う必要がないため Unityエディター上からオブジェクト配置が行え 今までと同じ開発手法を取る事が出来た 62/95
63. © Cygames, Inc. まとめ • 体験を共有するMRコンテンツの時には、 ワールドアンカーを使用し共通の原点を用意しておく • 現実と仮想空間の相互に影響するような、インタラクションを入れる • デモルームメッシュを使用すると、安定したオクルージョンが行える • デモルームメッシュにより、今までと同じ開発手法で コンテンツの作成が行えた 63/95
64. © Cygames, Inc. デバイスに依存しない MRのための技術研究開発 64
65. © Cygames, Inc. より多くの方に手軽にMRを体験してもらうため デバイスの共通センサである光学カメラを利用して カメラ画像のみを用いた位置姿勢推定手法を独自開発 サマリー 光学カメラ 65/95
66. © Cygames, Inc. 前半：提案手法の概要説明 後半：提案手法の技術詳細説明 発表構成 - ෠ = argmin ෍ − , 2 = t 66/95
67. © Cygames, Inc. 位置姿勢推定手法の概要 67
68. © Cygames, Inc. なぜカメラ画像から環境に対する正確な位置姿勢を求め なければならないのか？ 研究開発の目的 入力：カメラ画像 出力：位置姿勢 68/95
69. © Cygames, Inc. 研究開発の目的 環境にずれなく、遅滞なくコンテンツを表示するため 外界の環境情報が得られるのは光学カメラだけ なぜカメラ画像から環境に対する正確な位置姿勢を求め なければならないのか？ 69/95
70. © Cygames, Inc. MRにおける位置姿勢推定技術への要求 • 常に環境に対する正確な位置姿勢を得たい • 位置誤差の蓄積を起こしたくない →リアルなMRを行うには、正確な位置姿勢の追 従が必要 • 景観を損なう基準マーカーを使用したくない →現実感が無くなってしまう 70/95
71. © Cygames, Inc. マーカー型 登録物体を認識 マーカーレス型 動的に空間構造を把握 https://wikitude.grapecity.com/ 従来のカメラ位置姿勢推定技術 71/95
72. © Cygames, Inc. 基準マーカーを見失うと位置姿勢が取得できない 壁面などにマーカーを貼ると景観や世界観が損なわれる マーカー型の位置姿勢推定手法の問題点 http://yokoya.naist.jp/paper/datas/1407/SSIIチュートリアル佐藤.pdf 72/95
73. © Cygames, Inc. 開始時の位置姿勢が不明なのでゲームデザインに制限 位置誤差の蓄積により現実感が失われる マーカーレス型位置姿勢推定手法の問題点 位置誤差 73/95
74. © Cygames, Inc. 新手法を開発しなければならない必要性 • 常に環境に対する正確な位置姿勢を得られる • 位置誤差の蓄積を起こさない • 景観を損なう基準マーカーを使用しない 以下の要求を全て満たすカメラ位置姿勢推定技術が必要 74/95
75. © Cygames, Inc. ①カメラ画像とメッシュ描画結果の輝度差を求める ②輝度差が小さくなるようにカメラの位置姿勢を推定 提案手法 カメラ画像 メッシュ 描画画像 推定結果 輝度差 輝度差最小化 75/95
76. © Cygames, Inc. 正しいカメラ位置姿勢で最小値を取るため なぜ輝度差の最小化なのか メッシュ描画結果 実際のカメラ画像 輝度差画像 メッシュ描画結果(無地) 76/95
77. © Cygames, Inc. メッシュ描画結果 実際のカメラ画像 輝度差画像 提案手法を用いたカメラ位置姿勢推定結果 メッシュ描画結果(無地) 77/95
78. © Cygames, Inc. • カメラ画像とメッシュ描画結果の輝度値の差を取得 • 輝度値の差を最小化するカメラ位置姿勢を推定 カメラ位置姿勢推定手法の概要：まとめ 78/95
79. © Cygames, Inc. 位置姿勢推定手法の技術詳細 79
80. © Cygames, Inc. どのようにして輝度差を最小化するか？ カメラ位置姿勢推定の鍵となる技術 カメラ画像 メッシュ 描画画像 推定結果 輝度差 輝度差最小化 80/95
81. © Cygames, Inc. 輝度調整の必要性 撮影時刻の違いで、重ね合わせた時に輝度差が残る この輝度差をさらに最小化しようとするため不安定 カメラ画像 メッシュ描画画像 輝度差画像 81/95
82. © Cygames, Inc. 輝度差が0になるよう調整 ヒストグラムの平坦化により輝度差を低減 メッシュの不完全な部分がノイズとして残る カメラ画像 メッシュ描画画像 輝度差画像 82/95
83. © Cygames, Inc. 画像上のノイズ除去 直前の位置合わせ状態におけるパターンマッチング パターンが一致しない領域を検出・除去 カメラ画像 メッシュ描画画像 除外対象領域 83/95
84. © Cygames, Inc. ノイズ検出・除去のイメージ デモルームメッシュの描画結果 84/95
85. © Cygames, Inc. ノイズ検出・除去のイメージ 実際のカメラ画像 85/95
86. © Cygames, Inc. ノイズ検出・除去のイメージ パターン不一致領域として検出されたノイズ領域 86/95
87. © Cygames, Inc. ෠ = argmin ෍ − , 2 = t - 輝度差最小化によりカメラの回転並進6自由度を推定 姿勢推定は一般的な誤差最小化 ：カメラ画像の輝度(real) ：描画結果の輝度(virtual) ：輝度変換関数 ：画素のインデックス ：カメラの回転並進6自由度 ：XYZ3軸の角速度 ：XYZ3軸の速度 87/95
88. © Cygames, Inc. ガウス・ニュートン法 http://www.snap-tck.com/room04/c01/stat/stat14/stat1401.html 誤差最小化のイメージ 参考：Lucas, B. D. & Kanade, T. “An Iterative Image Registration Technique with an Application to Stereo Vision” Proceedings of the 7th International Joint Conference on Artificial Intelligence - Volume 2, Morgan Kaufmann Publishers Inc., 1981, 674-679 今回の計算では カメラを動かした時の 輝度差の傾き 88/95
89. © Cygames, Inc. カメラを動かした時の傾きのイメージ カメラを回転させたときの 画素の移動 画素が移動したときの 輝度値の変化 89/95
90. © Cygames, Inc. ノイズ除去を含めたカメラ位置姿勢推定結果 メッシュ描画結果 実際のカメラ画像 輝度差画像 メッシュ描画結果(無地) 90/95
91. © Cygames, Inc. 位置姿勢推定問題を輝度残差の最小化問題とする • 重ね合わせた時に輝度差が0となるよう ヒストグラム平坦化により輝度を調整 • 直前の重ね合わせた状態における パターン不一致領域をノイズとして検出・除去 • 位置姿勢推定の計算は一般的な誤差の最小化 提案手法の技術詳細：まとめ 91/95
92. © Cygames, Inc. より多くの方に手軽にMRを体験してもらうため カメラ画像のみを用いた位置姿勢手法を独自に開発 提案手法の概要と技術詳細を解説 デバイスに依存しない技術研究開発：まとめ - 92/95
93. © Cygames, Inc. まとめ 93/95
94. © Cygames, Inc. 学術国際会議 IEEE ISM2016 において論文として発表 本システムのアーキテクチャを、 Sensing-by-Overlayingとして、 IEEE International Symposium on Multimedia(IEEE ISM)にて発表し ました。ISMは、マルチメディアに関 するメジャーな国際会議の一つです。 94 http://ieeexplore.ieee.org/document/7823703/
95. © Cygames, Inc. まとめ リアルなMixed Reality コンテンツとは？ Optical See-Through / Video See-Through 選択基準 同一MRコンテンツの共有 インタラクション 現実空間の光を仮想空間に反映 オクルージョン デバイス非依存MR 既存技術の問題点 弊社開発「位置姿勢推定手法」の紹介 95/95