Slide 1

Slide 1 text

© Cygames, Inc. © Cygames, Inc. 1

Slide 2

Slide 2 text

© Cygames, Inc. サマリー エンターテインメントとしての MRコンテンツ開発における 幾つかの問題点と その解決手法を発表します 2/95

Slide 3

Slide 3 text

© Cygames, Inc. アジェンダ • リアルなMixed Realityコンテンツとは? • コンテンツに合ったデバイス特性 • 高度なHololens活用技術 • デバイス非依存へ。真に汎用的な解法 3/95

Slide 4

Slide 4 text

© Cygames, Inc. 4/95

Slide 5

Slide 5 text

© Cygames, Inc. 5/95

Slide 6

Slide 6 text

© Cygames, Inc. 6/95

Slide 7

Slide 7 text

© Cygames, Inc. ウォークスルーデモ / Hololens版 7/95

Slide 8

Slide 8 text

© Cygames, Inc. ウォークスルーデモ / スマートフォン版 8/95

Slide 9

Slide 9 text

© Cygames, Inc. リアルなMixed Reality コンテンツの表現 • 現実世界との 正確なオクルージョン • 現実のライティングが オブジェクトへ反映 • 複数人で同じ体験 9/95

Slide 10

Slide 10 text

© Cygames, Inc. 現実のデモルームと、デモルームメッシュ 10/95

Slide 11

Slide 11 text

© Cygames, Inc. 高精度レーザーレンジスキャナで実空間をスキャン 点群データを位置合わせして統合 正確な3Dマップデータの取得方法 FARO Laser Scanner Focus 330 http://www.faro.com/ja-jp/products/3d-surveying/laserscanner- faro-focus/overview 11/95

Slide 12

Slide 12 text

© Cygames, Inc. 点群データを3Dメッシュモデル化 12/95

Slide 13

Slide 13 text

© Cygames, Inc. テクスチャ投影 13/95

Slide 14

Slide 14 text

© Cygames, Inc. 現実のデモルームと、デモルームメッシュ 現実のデモルーム デモルームメッシュ 14/95

Slide 15

Slide 15 text

© Cygames, Inc. そもそも リアルなMixed Reality コンテンツとは? 15/95

Slide 16

Slide 16 text

© Cygames, Inc. リアルなMixed Realityコンテンツとは? 目の前へ 浮かぶUI? 観客の前に現れ る巨大生物? 現実空間で暴れ るモンスター? ? ? 16/95

Slide 17

Slide 17 text

© Cygames, Inc. リアルなMixed Realityコンテンツとは? 高い応答性 高い実在感 体験の共有 17/95

Slide 18

Slide 18 text

© Cygames, Inc. リアルなMixed Realityコンテンツとは? • 高い応答性 正確な姿勢へ 遅滞なく連動 18/95

Slide 19

Slide 19 text

© Cygames, Inc. リアルなMixed Realityコンテンツとは? • 高い実在感 写実性の高さ 空間表現 広い 速い! https://unsplash.com/ 19/95

Slide 20

Slide 20 text

© Cygames, Inc. リアルなMixed Realityコンテンツとは? • 高い実在感 写実性の高さ 現実的な表現 環境音 効果音 空間表現 20/95

Slide 21

Slide 21 text

© Cygames, Inc. リアルなMixed Realityコンテンツとは? • 高い実在感 https://unsplash.com/ 21/95

Slide 22

Slide 22 text

© Cygames, Inc. リアルなMixed Realityコンテンツとは? • 体験の共有 22/95

Slide 23

Slide 23 text

© Cygames, Inc. リアルなMixed Realityコンテンツとは? 高い応答性 高い実在感 体験の共有 23/95

Slide 24

Slide 24 text

© Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Optical See-Through Video See-Through 24/95

Slide 25

Slide 25 text

© Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Optical See-Through 視界がクリア 現実との融合感が高い 視野角が狭い コンテンツが半透明 25/95

Slide 26

Slide 26 text

© Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Video See-Through 視野角問題が無い スマホならお手軽 遅延が大きい HMDでは敷居が高い 26/95

Slide 27

Slide 27 text

© Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Video See-Through ステレオカメラ 27/95

Slide 28

Slide 28 text

© Cygames, Inc. Optical See-Through / Video See-Through 選択基準 Optical See-Through Video See-Through 大規模コンテンツにマッチ 視野角の狭さは課題 閉じた空間でも有用 映像遅延は課題 28/95

Slide 29

Slide 29 text

© Cygames, Inc. HoloLens を用いた ウォークスルーデモの解説 29

Slide 30

Slide 30 text

© Cygames, Inc. サマリー Microsoft社製のHoloLensが一般販売され、 容易にMixed Reality(複合現実)が 実現できるようになりました 弊社では、HoloLensを用いた、リアルで エンターテイメント性の高いMRの実現を目指し ウォークスルー型のデモを作成しました そこで発生した、様々な問題点と解決策を ご紹介します。 30/95

Slide 31

Slide 31 text

© Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の環境を仮想空間に 反映 • オクルージョン 31/95

Slide 32

Slide 32 text

© Cygames, Inc. ウォークスルーデモの環境 • 複数台のWebカメラを設置 • 制作にはUnity(5.5.2f1)と HoloToolKitを使用 • ネットワークのクライアントにHoloLens サーバーにWindows PCという構成 (ネットワークにはUnetを使用) 32/95

Slide 33

Slide 33 text

© Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の環境を仮想空間に 反映 • オクルージョン 33/95

Slide 34

Slide 34 text

© Cygames, Inc. 仮想空間の共有 • HoloLensはアプリケーション起動時の 位置や向きが、姿勢の基準となるため 絶対的な基準姿勢が、定まらない 両方とも同じ 位置・姿勢 として扱われる 34/95

Slide 35

Slide 35 text

© Cygames, Inc. 仮想空間の共有 • WorldAnchorによる解決が可能 HoloLensの機能で空間内に錨(Anchor)を打ち オブジェクトを空間内に固定する 前回と違う姿勢で起動しても、仮想空間のオブジェク トが、現実空間でも同じ見た目の姿勢で留まる HoloLens開発サイトではSpatial anchorですが 今回はUnity表記のWorldAnchorで統一 (https://developer.microsoft.com/ja-jp/windows/mixed-reality/spatial_anchors) 35/95

Slide 36

Slide 36 text

© Cygames, Inc. • 複数人の共有方法 各ユーザーがWorldAnchor見つける事で 現実空間での位置が揃い、位置が共有される 仮想空間の共有 WorldAnchor 36/95

Slide 37

Slide 37 text

© Cygames, Inc. • WorldAnchorから3m以上離れると、 仮想空間中のキャラクター位置が定まらず、 肘が壁に埋まってしまった (https://developer.microsoft.com/ja-jp/windows/mixed-reality/spatial_anchors) WorldAnchorの注意点 肘が壁に埋まらず正しい 肘が壁に埋まっている 37/95

Slide 38

Slide 38 text

© Cygames, Inc. デモにて行った対応 • WorldAnchorを複数個所に配置し、 ユーザーに近い位置のWorldAnchorを使用 • ユーザー位置から各WorldAnchorの影響力を 求めて、仮想空間の絶対座標を調整するように 対応 WorldAnchorの注意点 38/95

Slide 39

Slide 39 text

© Cygames, Inc. • どのように配置したか 人の目でも分かりやすい形状の位置を選択した WorldAnchorの注意点 39/95

Slide 40

Slide 40 text

© Cygames, Inc. WorldAnchorを切り替えるたびに、 キャラクターの位置が変わってしまう WorldAnchorの注意点 40/95

Slide 41

Slide 41 text

© Cygames, Inc. WorldAnchor毎に 仮想空間の絶対座標に誤差が生じてしまう WorldAnchorの注意点 ユーザー位置から、 WorldAnchor毎の影響力を求めて 仮想空間の絶対座標を調整する 41/95

Slide 42

Slide 42 text

© Cygames, Inc. 黄色位置でのWorldAnchor影響力 〇:50% △:50% ×:0% WorldAnchorの注意点 42/95

Slide 43

Slide 43 text

© Cygames, Inc. • その他の注意点 周囲を十分にスキャンしないと、 WorldAnchorを見つける事ができない WorldAnchorの注意点 43/95

Slide 44

Slide 44 text

© Cygames, Inc. • その他の注意点 周囲を十分にスキャンしないと、 WorldAnchorを見つける事ができない WorldAnchorの注意点 事前準備には 十分な時間を取る 44/95

Slide 45

Slide 45 text

© Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の環境を仮想空間に 反映 • オクルージョン 45/95

Slide 46

Slide 46 text

© Cygames, Inc. • 視線 近づいても、あらぬ方向を見ているので 無視されているように感じる インタラクション 46/95

Slide 47

Slide 47 text

© Cygames, Inc. 視線 HoloLensからサーバに位置情報を渡す事で、 キャラクターに近いユーザーを見るように対応 47/95

Slide 48

Slide 48 text

© Cygames, Inc. 視線 ゲームではよく使われている手法だが、 MRではより臨場感が増し、有用な演出となる 48/95

Slide 49

Slide 49 text

© Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の環境を仮想空間に 反映 • オクルージョン 49/95

Slide 50

Slide 50 text

© Cygames, Inc. 現実空間の照明が変わっても、 仮想空間に反映されない事で キャラクターだけが浮いて見えてしまう 現実空間の環境を仮想空間に反映 50/95

Slide 51

Slide 51 text

© Cygames, Inc. 現実空間の環境を仮想空間に反映 Webカメラからの画像を元に 現実世界の光を仮想空間に反映する ImageBasedLighting (以後、IBL)を リアルタイムに行い、キャラクターに照明を反映 51/95

Slide 52

Slide 52 text

© Cygames, Inc. 現実空間の環境を仮想空間に反映 • 照明がキャラクターに反映されている動画 52/95

Slide 53

Slide 53 text

© Cygames, Inc. • HoloLensでIBLを行うと・・・ Webカメラから取得した画像から HoloLens内でIBL変換を行うと 処理負荷が高くFPSが出ない 現実空間の環境を仮想空間に反映 53/95

Slide 54

Slide 54 text

© Cygames, Inc. • HoloLensで行わなければ良いのでは? Webカメラから取得した画像を IBLサーバーに転送しサーバー内で IBL変換を行う事で負荷が下げられる? 現実空間の環境を仮想空間に反映 Webカメラ サーバー HoloLens 54/95

Slide 55

Slide 55 text

© Cygames, Inc. • IBLサーバーの役割 1. Webカメラからの画像を受け取る 2. IBL変換を行う時に画像を低解像度にする 3. 変換結果をHoloLensへ転送 現実空間の環境を仮想空間に反映 Webカメラ サーバー HoloLens 55/95

Slide 56

Slide 56 text

© Cygames, Inc. • IBLサーバーの役割 1. Webカメラからの画像を受け取る 2. IBL変換を行う時に画像を低解像度にする 3. 変換結果をHoloLensへ転送 現実空間の環境を仮想空間に反映 56/95

Slide 57

Slide 57 text

© Cygames, Inc. ウォークスルーデモで行った事 • 仮想空間の共有 • インタラクション • 現実空間の光を仮想空間に 反映 • オクルージョン 57/95

Slide 58

Slide 58 text

© Cygames, Inc. • HoloLensにはセンサーの形状認識による リアルタイムなメッシュ生成が行えるが 得られるメッシュが粗く、生成に時間がかかる • ユーザーから遠い位置のオブジェクトは、そもそも 形状認識が出来ないので、オクルージョンが行えない オクルージョン 58/95

Slide 59

Slide 59 text

© Cygames, Inc. • 場所や状況が事前に分かっていれば、 事前生成が可能 • 事前生成のデモルームメッシュなら、 オクルージョンを行ない、 さらに高い精度と応答性が得られる オクルージョン 59/95

Slide 60

Slide 60 text

© Cygames, Inc. • デモルームメッシュなら、ユーザーが下を向く 動作が不要で、地面のメッシュ情報が得られる オクルージョンだけではなく、IK、影にも使用可能 オクルージョン 60/95

Slide 61

Slide 61 text

© Cygames, Inc. • 遠く離れた位置のオクルージョンの比較 オクルージョン デモルームメッシュ 正しくオクルージョン 出来ている スクリーンショットの位置 約5.6m HoloLens 胸が 壁を突き抜けている 61/95

Slide 62

Slide 62 text

© Cygames, Inc. オクルージョン • デモルームメッシュによる良かった点 HoloLensで形状認識を行う必要がないため Unityエディター上からオブジェクト配置が行え 今までと同じ開発手法を取る事が出来た 62/95

Slide 63

Slide 63 text

© Cygames, Inc. まとめ • 体験を共有するMRコンテンツの時には、 ワールドアンカーを使用し共通の原点を用意しておく • 現実と仮想空間の相互に影響するような、インタラクションを入れる • デモルームメッシュを使用すると、安定したオクルージョンが行える • デモルームメッシュにより、今までと同じ開発手法で コンテンツの作成が行えた 63/95

Slide 64

Slide 64 text

© Cygames, Inc. デバイスに依存しない MRのための技術研究開発 64

Slide 65

Slide 65 text

© Cygames, Inc. より多くの方に手軽にMRを体験してもらうため デバイスの共通センサである光学カメラを利用して カメラ画像のみを用いた位置姿勢推定手法を独自開発 サマリー 光学カメラ 65/95

Slide 66

Slide 66 text

© Cygames, Inc. 前半:提案手法の概要説明 後半:提案手法の技術詳細説明 発表構成 - ෠ = argmin ෍ − , 2 = t 66/95

Slide 67

Slide 67 text

© Cygames, Inc. 位置姿勢推定手法の概要 67

Slide 68

Slide 68 text

© Cygames, Inc. なぜカメラ画像から環境に対する正確な位置姿勢を求め なければならないのか? 研究開発の目的 入力:カメラ画像 出力:位置姿勢 68/95

Slide 69

Slide 69 text

© Cygames, Inc. 研究開発の目的 環境にずれなく、遅滞なくコンテンツを表示するため 外界の環境情報が得られるのは光学カメラだけ なぜカメラ画像から環境に対する正確な位置姿勢を求め なければならないのか? 69/95

Slide 70

Slide 70 text

© Cygames, Inc. MRにおける位置姿勢推定技術への要求 • 常に環境に対する正確な位置姿勢を得たい • 位置誤差の蓄積を起こしたくない →リアルなMRを行うには、正確な位置姿勢の追 従が必要 • 景観を損なう基準マーカーを使用したくない →現実感が無くなってしまう 70/95

Slide 71

Slide 71 text

© Cygames, Inc. マーカー型 登録物体を認識 マーカーレス型 動的に空間構造を把握 https://wikitude.grapecity.com/ 従来のカメラ位置姿勢推定技術 71/95

Slide 72

Slide 72 text

© Cygames, Inc. 基準マーカーを見失うと位置姿勢が取得できない 壁面などにマーカーを貼ると景観や世界観が損なわれる マーカー型の位置姿勢推定手法の問題点 http://yokoya.naist.jp/paper/datas/1407/SSIIチュートリアル佐藤.pdf 72/95

Slide 73

Slide 73 text

© Cygames, Inc. 開始時の位置姿勢が不明なのでゲームデザインに制限 位置誤差の蓄積により現実感が失われる マーカーレス型位置姿勢推定手法の問題点 位置誤差 73/95

Slide 74

Slide 74 text

© Cygames, Inc. 新手法を開発しなければならない必要性 • 常に環境に対する正確な位置姿勢を得られる • 位置誤差の蓄積を起こさない • 景観を損なう基準マーカーを使用しない 以下の要求を全て満たすカメラ位置姿勢推定技術が必要 74/95

Slide 75

Slide 75 text

© Cygames, Inc. ①カメラ画像とメッシュ描画結果の輝度差を求める ②輝度差が小さくなるようにカメラの位置姿勢を推定 提案手法 カメラ画像 メッシュ 描画画像 推定結果 輝度差 輝度差最小化 75/95

Slide 76

Slide 76 text

© Cygames, Inc. 正しいカメラ位置姿勢で最小値を取るため なぜ輝度差の最小化なのか メッシュ描画結果 実際のカメラ画像 輝度差画像 メッシュ描画結果(無地) 76/95

Slide 77

Slide 77 text

© Cygames, Inc. メッシュ描画結果 実際のカメラ画像 輝度差画像 提案手法を用いたカメラ位置姿勢推定結果 メッシュ描画結果(無地) 77/95

Slide 78

Slide 78 text

© Cygames, Inc. • カメラ画像とメッシュ描画結果の輝度値の差を取得 • 輝度値の差を最小化するカメラ位置姿勢を推定 カメラ位置姿勢推定手法の概要:まとめ 78/95

Slide 79

Slide 79 text

© Cygames, Inc. 位置姿勢推定手法の技術詳細 79

Slide 80

Slide 80 text

© Cygames, Inc. どのようにして輝度差を最小化するか? カメラ位置姿勢推定の鍵となる技術 カメラ画像 メッシュ 描画画像 推定結果 輝度差 輝度差最小化 80/95

Slide 81

Slide 81 text

© Cygames, Inc. 輝度調整の必要性 撮影時刻の違いで、重ね合わせた時に輝度差が残る この輝度差をさらに最小化しようとするため不安定 カメラ画像 メッシュ描画画像 輝度差画像 81/95

Slide 82

Slide 82 text

© Cygames, Inc. 輝度差が0になるよう調整 ヒストグラムの平坦化により輝度差を低減 メッシュの不完全な部分がノイズとして残る カメラ画像 メッシュ描画画像 輝度差画像 82/95

Slide 83

Slide 83 text

© Cygames, Inc. 画像上のノイズ除去 直前の位置合わせ状態におけるパターンマッチング パターンが一致しない領域を検出・除去 カメラ画像 メッシュ描画画像 除外対象領域 83/95

Slide 84

Slide 84 text

© Cygames, Inc. ノイズ検出・除去のイメージ デモルームメッシュの描画結果 84/95

Slide 85

Slide 85 text

© Cygames, Inc. ノイズ検出・除去のイメージ 実際のカメラ画像 85/95

Slide 86

Slide 86 text

© Cygames, Inc. ノイズ検出・除去のイメージ パターン不一致領域として検出されたノイズ領域 86/95

Slide 87

Slide 87 text

© Cygames, Inc. ෠ = argmin ෍ − , 2 = t - 輝度差最小化によりカメラの回転並進6自由度を推定 姿勢推定は一般的な誤差最小化 :カメラ画像の輝度(real) :描画結果の輝度(virtual) :輝度変換関数 :画素のインデックス :カメラの回転並進6自由度 :XYZ3軸の角速度 :XYZ3軸の速度 87/95

Slide 88

Slide 88 text

© Cygames, Inc. ガウス・ニュートン法 http://www.snap-tck.com/room04/c01/stat/stat14/stat1401.html 誤差最小化のイメージ 参考:Lucas, B. D. & Kanade, T. “An Iterative Image Registration Technique with an Application to Stereo Vision” Proceedings of the 7th International Joint Conference on Artificial Intelligence - Volume 2, Morgan Kaufmann Publishers Inc., 1981, 674-679 今回の計算では カメラを動かした時の 輝度差の傾き 88/95

Slide 89

Slide 89 text

© Cygames, Inc. カメラを動かした時の傾きのイメージ カメラを回転させたときの 画素の移動 画素が移動したときの 輝度値の変化 89/95

Slide 90

Slide 90 text

© Cygames, Inc. ノイズ除去を含めたカメラ位置姿勢推定結果 メッシュ描画結果 実際のカメラ画像 輝度差画像 メッシュ描画結果(無地) 90/95

Slide 91

Slide 91 text

© Cygames, Inc. 位置姿勢推定問題を輝度残差の最小化問題とする • 重ね合わせた時に輝度差が0となるよう ヒストグラム平坦化により輝度を調整 • 直前の重ね合わせた状態における パターン不一致領域をノイズとして検出・除去 • 位置姿勢推定の計算は一般的な誤差の最小化 提案手法の技術詳細:まとめ 91/95

Slide 92

Slide 92 text

© Cygames, Inc. より多くの方に手軽にMRを体験してもらうため カメラ画像のみを用いた位置姿勢手法を独自に開発 提案手法の概要と技術詳細を解説 デバイスに依存しない技術研究開発:まとめ - 92/95

Slide 93

Slide 93 text

© Cygames, Inc. まとめ 93/95

Slide 94

Slide 94 text

© Cygames, Inc. 学術国際会議 IEEE ISM2016 において論文として発表 本システムのアーキテクチャを、 Sensing-by-Overlayingとして、 IEEE International Symposium on Multimedia(IEEE ISM)にて発表し ました。ISMは、マルチメディアに関 するメジャーな国際会議の一つです。 94 http://ieeexplore.ieee.org/document/7823703/

Slide 95

Slide 95 text

© Cygames, Inc. まとめ リアルなMixed Reality コンテンツとは? Optical See-Through / Video See-Through 選択基準 同一MRコンテンツの共有 インタラクション 現実空間の光を仮想空間に反映 オクルージョン デバイス非依存MR 既存技術の問題点 弊社開発「位置姿勢推定手法」の紹介 95/95