Upgrade to Pro — share decks privately, control downloads, hide ads and more …

HoloLensでImage-Based Lightingを試してみた話 / Image-Based Lighting demo for HoloLens application

02c47acb1dcec7e7c7fa1e9f94c14abb?s=47 sotanmochi
October 13, 2017

HoloLensでImage-Based Lightingを試してみた話 / Image-Based Lighting demo for HoloLens application

xRLT vol.1 のLT資料

02c47acb1dcec7e7c7fa1e9f94c14abb?s=128

sotanmochi

October 13, 2017
Tweet

Transcript

  1. HoloLens で Image-Based Lighting を 試してみた話 2017/10/13 Soichiro Sugimoto sotan(@sotanmochi)

  2. 自己紹介 ニックネーム: sotan 平日の仕事 : 業務系のWebアプリケーション開発など 興味あること: Mixed Realityコンテンツに関する研究開発 2017/10/13

    2
  3. HoloLensでImage-Based Lightingを試してみた(デモ動画) 2017/10/13 3 https://www.youtube.com/watch?v=aGi9VFo1JIU

  4. デモ動画について要点解説 アプリ実行時の環境に合わせたライティングを実現できた • 周りの景色が映り込んでいる (鏡面反射成分) • 照明によって物体の色が異なって見える (拡散反射成分) 2017/10/13 4

  5. 一体何のために?なぜ? 物語世界のキャラクターと一緒に遊びたい! ディスプレイの向こう側から現実空間(物理的空間)に来てほしい! 2017/10/13 5 「現実空間との親和性」や「実在感」が足りない…

  6. Mixed Realityコンテンツで実在感を表現するために 高い実在感を持たせるために何が必要か? 2017/10/13 6 • 現実空間(物理的空間)との相互作用 • 衝突判定 •

    移動・ナビゲーション • ライティング • キャラクターを生き生きとさせるアニメーション • 空間音響(立体音響) • 音声による対話 • 触覚フィードバック などが考えられる
  7. Mixed Realityコンテンツで実在感を表現するために 高い実在感を持たせるために何が必要か? 2017/10/13 7 • 現実空間(物理的空間)との相互作用 • 衝突判定 •

    移動・ナビゲーション • ライティング • キャラクターを生き生きとさせるアニメーション • 空間音響(立体音響) • 音声による対話 • 触覚フィードバック などが考えられる
  8. 物理的空間の光をどうやって作用させるか? 2017/10/13 8 天球モデルに 全天周画像を投影する IBL用の環境マップを更新 360度カメラを使って 背景画像を取得 User Object

    https://docs.unity3d.com/jp/560/Manual/ReflectionProbes.html
  9. システム構成 2017/10/13 9 RICOH THETA S 無線LAN親機 Raspberry Pi 3

    + モバイルバッテリー Microsoft HoloLens HoloLens + THETA S + Raspberry Pi 3 USB接続 Wi-Fi接続 Wi-Fi接続 無線LAN親機 Buffalo WMR-433W-BK
  10. アプリケーション側の実装 2017/10/13 10 https://www.assetstore.unity3d.com/jp/#!/content/8880 • 詳しい内容は本資料のAppendixを参考にしてください • サンプルプロジェクト(https://github.com/sotanmochi/IBLHoloDemo) Skyshop +

    環境マップをリアルタイムに更新するスクリプト
  11. 今後の課題 • ケーブルレス化 • RICOH THETA V と連携して実現したい (Wi-Fiクライアントモード、プラグイン開発) •

    パフォーマンス向上 • HoloLensでは限界があるかもしれない・・・ • HoloLens + Backpack PC ? • HDR画像への変換による写実性の向上 • 画像処理系の最新研究を調査中 2017/10/13 11
  12. ありがとうございました

  13. Appendix

  14. Image-Based Lightingするためのツール 2017/10/13 14 Reflection Probe • LDR/HDR画像を利用可能 • 鏡面反射(Specular)のみ

    • Standard Shader https://www.assetstore.unity3d.com/jp/#!/content/8880 Marmoset Skyshop • LDR/HDR画像を利用可能 • 鏡面反射(Specular)と拡散反射(Diffuse) • SkyshopのIBLシェーダー
  15. アプリケーション側の実装詳細 2017/10/13 15 レスポンスからMJPG画像取得 天球モデルの回転を更新 天球モデルに 全天周画像を投影する RenderToCubemap Resources.UnloadUnusedAssets(); (メモリリーク対策)

    Reflection Probe 更新 (realtime via script) Raspberry Piへリクエスト送信 THETA S Liveストリーミングモードで起動 Raspberry Pi 3 MJPG-Streamerを実行 IPアドレス固定 HoloLens側のメイン処理 天球モデルに全天周画像を投影する Sphere100.fbx 全天周画像用の天球モデル(法線内側向き) https://www.dropbox.com/s/u5b2uejauh38lvq/Sphere100.fbx Theta Shader Pack http://stereoarts.jp/ThetaShaderPack_20150926.zip ※ SkyshopでなくReflection Probeの場合 MJPG画像の取得 UnityでTHETA SのWifiストリーミングをする手法メモ http://noshipu.hateblo.jp/entry/2016/04/21/183439 球面調和関数展開(SH展開)の 係数を更新 参考情報・利用したアセットなど MJPG-Streamerで スナップショット画像を返す
  16. Reflection Probeを使う場合のQuality設定 2017/10/13 16 デフォルトのFastest設定だとRealtime Reflection ProbesがOFFになっているのでONに変更

  17. None