Upgrade to Pro — share decks privately, control downloads, hide ads and more …

HoloLensでImage-Based Lightingを試してみた話 / Image-Ba...

sotanmochi
October 13, 2017

HoloLensでImage-Based Lightingを試してみた話 / Image-Based Lighting demo for HoloLens application

xRLT vol.1 のLT資料

sotanmochi

October 13, 2017
Tweet

More Decks by sotanmochi

Other Decks in Technology

Transcript

  1. Mixed Realityコンテンツで実在感を表現するために 高い実在感を持たせるために何が必要か? 2017/10/13 6 • 現実空間(物理的空間)との相互作用 • 衝突判定 •

    移動・ナビゲーション • ライティング • キャラクターを生き生きとさせるアニメーション • 空間音響(立体音響) • 音声による対話 • 触覚フィードバック などが考えられる
  2. Mixed Realityコンテンツで実在感を表現するために 高い実在感を持たせるために何が必要か? 2017/10/13 7 • 現実空間(物理的空間)との相互作用 • 衝突判定 •

    移動・ナビゲーション • ライティング • キャラクターを生き生きとさせるアニメーション • 空間音響(立体音響) • 音声による対話 • 触覚フィードバック などが考えられる
  3. システム構成 2017/10/13 9 RICOH THETA S 無線LAN親機 Raspberry Pi 3

    + モバイルバッテリー Microsoft HoloLens HoloLens + THETA S + Raspberry Pi 3 USB接続 Wi-Fi接続 Wi-Fi接続 無線LAN親機 Buffalo WMR-433W-BK
  4. 今後の課題 • ケーブルレス化 • RICOH THETA V と連携して実現したい (Wi-Fiクライアントモード、プラグイン開発) •

    パフォーマンス向上 • HoloLensでは限界があるかもしれない・・・ • HoloLens + Backpack PC ? • HDR画像への変換による写実性の向上 • 画像処理系の最新研究を調査中 2017/10/13 11
  5. Image-Based Lightingするためのツール 2017/10/13 14 Reflection Probe • LDR/HDR画像を利用可能 • 鏡面反射(Specular)のみ

    • Standard Shader https://www.assetstore.unity3d.com/jp/#!/content/8880 Marmoset Skyshop • LDR/HDR画像を利用可能 • 鏡面反射(Specular)と拡散反射(Diffuse) • SkyshopのIBLシェーダー
  6. アプリケーション側の実装詳細 2017/10/13 15 レスポンスからMJPG画像取得 天球モデルの回転を更新 天球モデルに 全天周画像を投影する RenderToCubemap Resources.UnloadUnusedAssets(); (メモリリーク対策)

    Reflection Probe 更新 (realtime via script) Raspberry Piへリクエスト送信 THETA S Liveストリーミングモードで起動 Raspberry Pi 3 MJPG-Streamerを実行 IPアドレス固定 HoloLens側のメイン処理 天球モデルに全天周画像を投影する Sphere100.fbx 全天周画像用の天球モデル(法線内側向き) https://www.dropbox.com/s/u5b2uejauh38lvq/Sphere100.fbx Theta Shader Pack http://stereoarts.jp/ThetaShaderPack_20150926.zip ※ SkyshopでなくReflection Probeの場合 MJPG画像の取得 UnityでTHETA SのWifiストリーミングをする手法メモ http://noshipu.hateblo.jp/entry/2016/04/21/183439 球面調和関数展開(SH展開)の 係数を更新 参考情報・利用したアセットなど MJPG-Streamerで スナップショット画像を返す