Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Diminished Reality 入門 / Introduction to Diminished Reality

02c47acb1dcec7e7c7fa1e9f94c14abb?s=47 sotanmochi
August 18, 2019

Diminished Reality 入門 / Introduction to Diminished Reality

xR Tech Tokyo #17 の登壇資料

02c47acb1dcec7e7c7fa1e9f94c14abb?s=128

sotanmochi

August 18, 2019
Tweet

Transcript

  1. Diminished Reality 入門 2019/08/18 Soichiro Sugimoto sotan (@sotanmochi)

  2. 自己紹介 杉本 宗一郎(Soichiro Sugimoto) sotan (@sotanmochi) xR系Unityエンジニア xRに関する応用研究・プロトタイプ開発 ・Diminished Reality(DR)の研究 ・VR/ARのアプリケーション開発

    2 2019/08/18 Diminished Reality 入門
  3. 本日のテーマ Diminished Reality (DR) ディミニッシュト・リアリティ 3 2019/08/18 Diminished Reality 入門

  4. 最近バズっていたツイート 物体を消すデモ 4 https://twitter.com/otduet/status/1125390364691640321 http://harrischris.com/article/biophillic-vision-experiment-1 https://twitter.com/shekitup/status/1143909807587545088 2019/08/18 Diminished Reality 入門

  5. 最近バズっていたツイート 人物を消すデモ 5 https://twitter.com/kitasenjudesign/status/1146083269252829184 2019/08/18 Diminished Reality 入門 https://twitter.com/zachlieberman/status/1142495123407855617

  6. 目次 1. Diminished Realityとは 2. DRの先行研究の紹介 3. DRの実用化に向けて(研究開発中の技術デモなど) 4. Traditional

    method vs Learning based method(※時間があれば) 5. まとめ 6 2019/08/18 Diminished Reality 入門
  7. Diminished Reality とは

  8. Diminished Realityとは Diminished Reality:隠消現実感(いんしょうげんじつかん) 「視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる技術」 8 (b) AR(拡張現実) (a) 現実

    (c) DR(隠消現実感) 説明文引用元: 隠消現実感の技術的枠組と諸問題(2011年) 図引用元: A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects (2017) 2019/08/18 Diminished Reality 入門
  9. Diminished Realityとは Diminished Realityの和訳として「減損現実」という言葉もあるようですが、 学術論文では使われていません。「隠消現実感」を使うのがオススメです。 9 2019/08/18 Diminished Reality 入門

  10. Diminished Realityとは DRは除去対象物体によって隠される光景(隠背景)を電子的に再現し、 負の情報として加算する処理、つまり減算の処理として捉えることができる。 10 引用元: 隠消現実感とPoTS映像学(FIT2016) 2019/08/18 Diminished Reality

    入門
  11. 期待される応用例 11 引用元: 隠消現実感とPoTS映像学(FIT2016) 2019/08/18 Diminished Reality 入門

  12. ・観光ARにおける不要物の除去 ・撮影した写真や映像から不要人物の除去 ・壁や車体の透視による安全確認 ・美術館やライブ会場などの隠された領域の可視化 ・家具配置シミュレーションのためのARマーカや家具の除去 ・景観シミュレーションのための看板等の除去 12 期待される応用例 2019/08/18 Diminished

    Reality 入門
  13. Diminished Realityに関連する実用例 Adobe Photoshop の「コンテンツに応じた塗りつぶし」機能 13 画像出典:https://helpx.adobe.com/jp/photoshop/using/content-aware-fill.html 参考動画:https://helpx.adobe.com/jp/photoshop/how-to/remove-object-content-aware.html 2019/08/18 Diminished

    Reality 入門
  14. 参考文献 隠消現実感とPoTS映像学(FIT2016) https://www.ipsj.or.jp/event/fit/fit2016/FIT2016program_web/data/html/event/event245.pdf 隠消現実感の技術的枠組と諸問題(2011年) https://www.jstage.jst.go.jp/article/tvrsj/16/2/16_KJ00007408818/_article/-char/ja A survey of diminished reality:

    Techniques for visually concealing, eliminating, and seeing through real objects (2017) https://ipsjcva.springeropen.com/articles/10.1186/s41074-017-0028-1 14 2019/08/18 Diminished Reality 入門
  15. 先行研究の紹介

  16. Diminished Realityとは Diminished Reality:隠消現実感(いんしょうげんじつかん) 「視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる技術」 16 (b) AR(拡張現実) (a) 現実

    (c) DR(隠消現実感) 説明文引用元: 隠消現実感の技術的枠組と諸問題(2011年) 図引用元: A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects (2017) 2019/08/18 Diminished Reality 入門
  17. Diminished Realityを実現する手法の分類 事前観測型DR:Pre-Observation Based DR (POB-DR) • あらかじめ背景を撮影する 実時間観測型DR:Real-time Observation

    Based DR (ROB-DR) • 複数カメラを使って背景を撮影する 画像修復型DR:Image Inpainting Based DR (IB-DR) • 画像修復(インペインティング)によってもっともらしい背景を生成する 17 2019/08/18 Diminished Reality 入門
  18. Diminished Realityを実現する手法の分類 事前観測型DR:Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間

    • 場所が決まっている 実時間観測型DR:Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる(移動物体も可) • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR:Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない(ただし、画像修復の限界がある) • どこでも使える 18 2019/08/18 Diminished Reality 入門
  19. 事前観測型DR(POB-DR)の先行研究 Towards Mobile Diminished Reality (ISMAR 2018) 19 https://www.youtube.com/watch?v=7RUFtUDDhDo 2019/08/18

    Diminished Reality 入門
  20. 事前観測型DR(POB-DR)の先行研究 Towards Mobile Diminished Reality (ISMAR 2018) 20 2019/08/18 Diminished

    Reality 入門 図引用元: Towards Mobile Diminished Reality (ISMAR 2018)
  21. 実時間観測型DR(ROB-DR)の先行研究 Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015) 21

    https://www.youtube.com/watch?v=uPm6AxVNSJQ https://www.youtube.com/watch?v=6_wSJ6UWlww 2019/08/18 Diminished Reality 入門
  22. 実時間観測型DR(ROB-DR)の先行研究 Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015) 22

    https://www.youtube.com/watch?v=uPm6AxVNSJQ 2019/08/18 Diminished Reality 入門 図引用元: Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015)
  23. 画像修復型DR(IB-DR)の先行研究 Diminished Reality Considering Background Structures (ISMAR 2013) 23 2019/08/18

    Diminished Reality 入門 https://www.youtube.com/watch?v=aBf0NGGCMOk
  24. 画像修復型DR(IB-DR)の先行研究 PixMix: A real-time approach to high-quality Diminished Reality (ISMAR

    2012) 24 2019/08/18 Diminished Reality 入門 https://www.youtube.com/watch?v=D1hbrx6R9pA
  25. 画像修復(Image Inpainting) 画像中の他の領域の情報を使って欠損領域内の画像を生成する (画像中のどこかは欠損領域の背景と類似しているはず) 25 2019/08/18 Diminished Reality 入門

  26. 参考文献 Towards Mobile Diminished Reality https://www.researchgate.net/publication/327069800_Towards_Mobile_Diminished_Reality Real-Time Diminished Reality for

    Dynamic Scenes http://www.rm.is.ritsumei.ac.jp/IWDR2015/pdf/IWDR2015_Siim.pdf Diminished Reality Considering Background Structures http://norihi-k.com/research.html http://yokoya.naist.jp/paper/datas/1316/ismar2013_dr_kawai.pdf PixMix: A real-time approach to high-quality Diminished Reality https://ieeexplore.ieee.org/document/6402551 https://www.qualcomm.com/media/documents/files/presentation-by-jan-herling.pdf 26 2019/08/18 Diminished Reality 入門
  27. Diminished Realityの実用化に向けて

  28. Diminished Realityの実用化に向けて AR/MR機能を使える既存デバイス向けにDRを実装したい  → ARKit3対応の最新版iPadなど 28 画像:https://developer.apple.com/augmented-reality/    https://developer.apple.com/videos/play/wwdc2019/604/ 2019/08/18 Diminished

    Reality 入門
  29. Diminished Realityの応用案 現実の人間を消してキャラクターアバターを重ねる  → 現実空間でリアルタイムにバーチャルYouTuberになれる?    (Augmented/Mixed YouTuber?) 29 ©UTJ/UCL

    画像:http://unity-chan.com/download/releaseNote.php?id=UnityChanImagePackVol1 2019/08/18 Diminished Reality 入門 DR AR + DR
  30. Diminished Realityの応用案 ロボットを消してアバターを重ねることで人間・キャラクターのように見せる  → 様々なバリエーションの人型インターフェースを実現? 30 画像:https://www.softbankrobotics.com/jp/product/biz3/spec/    https://www.seqsense.com/product/ ©UTJ/UCL 2019/08/18

    Diminished Reality 入門 画像:http://unity-chan.com/download/releaseNote.php?id=UnityChanImagePackVol1
  31. Diminished Realityを実現する手法の分類 事前観測型DR:Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間

    • 場所が決まっている 実時間観測型DR:Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる(移動物体も可) • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR:Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない(ただし、画像修復の限界がある) • どこでも使える 31 2019/08/18 Diminished Reality 入門
  32. 画像修復型DRの先行研究 静的な物体の除去のみ 動的な物体(移動・変形する)物体の除去をしていない(できない?) 32 2019/08/18 Diminished Reality 入門

  33. 研究開発中の技術デモ GPUによる並列処理を用いた画像修復(Image Inpainting)処理の高速化 33 2019/08/18 Diminished Reality 入門 https://twitter.com/sotanmochi/status/1162139353679720448

  34. 研究開発中の技術デモ GPUによる並列処理を用いた画像修復(Image Inpainting)処理の高速化 34 https://youtu.be/y7ip6sVJ8TI https://youtu.be/U5WCP_cdvDk 2019/08/18 Diminished Reality 入門

  35. 研究開発中の技術デモ ハードウェア構成  ・RGB-Depthカメラ(Realsense D435/D435i)  ・PC(GPU:GTX970/1070Ti) ミドルウェア  ・Nuitrack - 3D Body

    (Skeletal) Tracking Middleware 開発・動作環境  ・Unity 2018.4.6f1(2019/08/18時点)  ・Windows 10 35 2019/08/18 Diminished Reality 入門
  36. 実装したアルゴリズムの概要 1. Image Inpainting (Traditional method) 2. Lanczos法によるアップサンプリング 36 カラー画像(640x360)

    Inpainting出力(320x180) マスク画像(640x360) アップサンプリング出力(640x360) 1 2 ※ 背景部分は入力画像(640x360)を使用、   Inpainting領域のみアップサンプリング ※ マスク領域を拡大する処理あり 2019/08/18 Diminished Reality 入門
  37. リアルタイムデモ(※時間があったら) Surface Pro 4 & Realsense D435 37 2019/08/18 Diminished

    Reality 入門
  38. 今後の課題 Image Inpaintingの精度が低い → アルゴリズムの改良が必要 計算が遅い(GTX970を使って20~40fps程度) → アルゴリズムと実装方法の改良による高速化が必要 38 2019/08/18

    Diminished Reality 入門
  39. Traditional method vs Learning based method

  40. Diminished Realityを実現する手法の分類 事前観測型DR:Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間

    • 場所が決まっている 実時間観測型DR:Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる(移動物体も可) • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR:Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない(ただし、画像修復の限界がある) • どこでも使える 40 2019/08/18 Diminished Reality 入門
  41. 深層学習に基づく画像修復型DR 深層学習による画像修復を用いたデモ 41 https://twitter.com/otduet/status/1125390364691640321 http://harrischris.com/article/biophillic-vision-experiment-1 2019/08/18 Diminished Reality 入門

  42. 深層学習に基づく画像修復・画像補完 Globally and Locally Consistent Image Completion (SIGGRAPH 2017) 42

    2019/08/18 Diminished Reality 入門 Globally and Locally Consistent Image Completion http://iizuka.cs.tsukuba.ac.jp/projects/completion/ja/ http://iizuka.cs.tsukuba.ac.jp/projects/completion/data/completion_sig2017.pdf https://www.youtube.com/watch?v=5Ua4NUKowPU https://www.youtube.com/watch?v=L1pSuqudzO4
  43. 深層学習に基づく画像修復・画像補完 Globally and Locally Consistent Image Completion (SIGGRAPH 2017) TITAN

    Xを使っても100ms以上の処理時間 43 Globally and Locally Consistent Image Completion http://iizuka.cs.tsukuba.ac.jp/projects/completion/data/completion_sig2017.pdf 2019/08/18 Diminished Reality 入門
  44. 深層学習に基づく画像修復・画像補完 DRへの応用には高速化が必要 44 DDR: Deep Diminished Realityの実現に向けた一検討 https://www.slideshare.net/YosukeShinya/ddr-deep-diminished-reality-76972258 2019/08/18 Diminished

    Reality 入門
  45. 45 Traditional method vs Learning based method 伝統的な手法 vs 深層学習に基づく手法

    ≒ 処理速度 vs 精度                         (≒ ラスタライズ vs レイトレ?) 深層学習に基づく画像修復を用いたDR ・高速に推論できるCNNの開発 or DRの実装方法に工夫が必要  (既存のCNNを実装してパフォーマンス検証してみる?) 伝統的な画像修復を用いたDR ・深層学習に基づく手法よりは高速と考えられるが高速化は必要 ・少しでも精度を高めるようなアルゴリズムの改良が必要 2019/08/18 Diminished Reality 入門
  46. まとめ

  47. Diminished Reality入門のまとめ Diminished Reality (DR) とは • 日本語では「隠消現実感(いんしょうげんじつかん)」 • 視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる

    DRを実現する手法の分類 • 事前観測型DR:Pre-Observation Based DR (POB-DR) • 実時間観測型DR:Real-time Observation Based DR (ROB-DR) • 画像修復型DR:Image Inpainting Based DR (IB-DR) DRの実用化に向けて • さらなる高速化が必要(画像修復型DR) 47 2019/08/18 Diminished Reality 入門
  48. ありがとうございました