Diminished Reality 入門 2019/08/18 Soichiro Sugimoto sotan (@sotanmochi)

自己紹介 杉本　宗一郎（Soichiro Sugimoto） sotan (@sotanmochi) xR系Unityエンジニア xRに関する応用研究・プロトタイプ開発 ・Diminished Reality(DR)の研究 ・VR/ARのアプリケーション開発 2 2019/08/18 Diminished Reality 入門

本日のテーマ Diminished Reality (DR) ディミニッシュト・リアリティ 3 2019/08/18 Diminished Reality 入門

最近バズっていたツイート 物体を消すデモ 4 https://twitter.com/otduet/status/1125390364691640321 http://harrischris.com/article/biophillic-vision-experiment-1 https://twitter.com/shekitup/status/1143909807587545088 2019/08/18 Diminished Reality 入門

最近バズっていたツイート 人物を消すデモ 5 https://twitter.com/kitasenjudesign/status/1146083269252829184 2019/08/18 Diminished Reality 入門 https://twitter.com/zachlieberman/status/1142495123407855617

目次 1. Diminished Realityとは 2. DRの先行研究の紹介 3. DRの実用化に向けて（研究開発中の技術デモなど） 4. Traditional method vs Learning based method（※時間があれば） 5. まとめ 6 2019/08/18 Diminished Reality 入門

Diminished Reality とは

Diminished Realityとは Diminished Reality：隠消現実感（いんしょうげんじつかん） 「視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる技術」 8 (b) AR（拡張現実） (a) 現実 (c) DR（隠消現実感） 説明文引用元： 隠消現実感の技術的枠組と諸問題（2011年） 図引用元： A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects (2017) 2019/08/18 Diminished Reality 入門

Diminished Realityとは Diminished Realityの和訳として「減損現実」という言葉もあるようですが、 学術論文では使われていません。「隠消現実感」を使うのがオススメです。 9 2019/08/18 Diminished Reality 入門

Diminished Realityとは DRは除去対象物体によって隠される光景（隠背景）を電子的に再現し、 負の情報として加算する処理、つまり減算の処理として捉えることができる。 10 引用元： 隠消現実感とPoTS映像学（FIT2016） 2019/08/18 Diminished Reality 入門

期待される応用例 11 引用元： 隠消現実感とPoTS映像学（FIT2016） 2019/08/18 Diminished Reality 入門

・観光ARにおける不要物の除去 ・撮影した写真や映像から不要人物の除去 ・壁や車体の透視による安全確認 ・美術館やライブ会場などの隠された領域の可視化 ・家具配置シミュレーションのためのARマーカや家具の除去 ・景観シミュレーションのための看板等の除去 12 期待される応用例 2019/08/18 Diminished Reality 入門

Diminished Realityに関連する実用例 Adobe Photoshop の「コンテンツに応じた塗りつぶし」機能 13 画像出典：https://helpx.adobe.com/jp/photoshop/using/content-aware-fill.html 参考動画：https://helpx.adobe.com/jp/photoshop/how-to/remove-object-content-aware.html 2019/08/18 Diminished Reality 入門

参考文献 隠消現実感とPoTS映像学（FIT2016） https://www.ipsj.or.jp/event/fit/fit2016/FIT2016program_web/data/html/event/event245.pdf 隠消現実感の技術的枠組と諸問題（2011年） https://www.jstage.jst.go.jp/article/tvrsj/16/2/16_KJ00007408818/_article/-char/ja A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects (2017) https://ipsjcva.springeropen.com/articles/10.1186/s41074-017-0028-1 14 2019/08/18 Diminished Reality 入門

先行研究の紹介

Diminished Realityとは Diminished Reality：隠消現実感（いんしょうげんじつかん） 「視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる技術」 16 (b) AR（拡張現実） (a) 現実 (c) DR（隠消現実感） 説明文引用元： 隠消現実感の技術的枠組と諸問題（2011年） 図引用元： A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects (2017) 2019/08/18 Diminished Reality 入門

Diminished Realityを実現する手法の分類 事前観測型DR：Pre-Observation Based DR (POB-DR) • あらかじめ背景を撮影する 実時間観測型DR：Real-time Observation Based DR (ROB-DR) • 複数カメラを使って背景を撮影する 画像修復型DR：Image Inpainting Based DR (IB-DR) • 画像修復（インペインティング）によってもっともらしい背景を生成する 17 2019/08/18 Diminished Reality 入門

Diminished Realityを実現する手法の分類 事前観測型DR：Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間 • 場所が決まっている 実時間観測型DR：Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる（移動物体も可） • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR：Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない（ただし、画像修復の限界がある） • どこでも使える 18 2019/08/18 Diminished Reality 入門

事前観測型DR(POB-DR)の先行研究 Towards Mobile Diminished Reality (ISMAR 2018) 19 https://www.youtube.com/watch?v=7RUFtUDDhDo 2019/08/18 Diminished Reality 入門

事前観測型DR(POB-DR)の先行研究 Towards Mobile Diminished Reality (ISMAR 2018) 20 2019/08/18 Diminished Reality 入門 図引用元： Towards Mobile Diminished Reality (ISMAR 2018)

実時間観測型DR(ROB-DR)の先行研究 Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015) 21 https://www.youtube.com/watch?v=uPm6AxVNSJQ https://www.youtube.com/watch?v=6_wSJ6UWlww 2019/08/18 Diminished Reality 入門

実時間観測型DR(ROB-DR)の先行研究 Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015) 22 https://www.youtube.com/watch?v=uPm6AxVNSJQ 2019/08/18 Diminished Reality 入門 図引用元： Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015)

画像修復型DR(IB-DR)の先行研究 Diminished Reality Considering Background Structures (ISMAR 2013) 23 2019/08/18 Diminished Reality 入門 https://www.youtube.com/watch?v=aBf0NGGCMOk

画像修復型DR(IB-DR)の先行研究 PixMix: A real-time approach to high-quality Diminished Reality (ISMAR 2012) 24 2019/08/18 Diminished Reality 入門 https://www.youtube.com/watch?v=D1hbrx6R9pA

画像修復（Image Inpainting） 画像中の他の領域の情報を使って欠損領域内の画像を生成する （画像中のどこかは欠損領域の背景と類似しているはず） 25 2019/08/18 Diminished Reality 入門

参考文献 Towards Mobile Diminished Reality https://www.researchgate.net/publication/327069800_Towards_Mobile_Diminished_Reality Real-Time Diminished Reality for Dynamic Scenes http://www.rm.is.ritsumei.ac.jp/IWDR2015/pdf/IWDR2015_Siim.pdf Diminished Reality Considering Background Structures http://norihi-k.com/research.html http://yokoya.naist.jp/paper/datas/1316/ismar2013_dr_kawai.pdf PixMix: A real-time approach to high-quality Diminished Reality https://ieeexplore.ieee.org/document/6402551 https://www.qualcomm.com/media/documents/files/presentation-by-jan-herling.pdf 26 2019/08/18 Diminished Reality 入門

Diminished Realityの実用化に向けて

Diminished Realityの実用化に向けて AR/MR機能を使える既存デバイス向けにDRを実装したい 　→ ARKit3対応の最新版iPadなど 28 画像：https://developer.apple.com/augmented-reality/ 　　　https://developer.apple.com/videos/play/wwdc2019/604/ 2019/08/18 Diminished Reality 入門

Diminished Realityの応用案 現実の人間を消してキャラクターアバターを重ねる 　→ 現実空間でリアルタイムにバーチャルYouTuberになれる？ 　　 (Augmented/Mixed YouTuber？) 29 ©UTJ/UCL 画像：http://unity-chan.com/download/releaseNote.php?id=UnityChanImagePackVol1 2019/08/18 Diminished Reality 入門 DR AR + DR

Diminished Realityの応用案 ロボットを消してアバターを重ねることで人間・キャラクターのように見せる 　→ 様々なバリエーションの人型インターフェースを実現？ 30 画像：https://www.softbankrobotics.com/jp/product/biz3/spec/ 　　　https://www.seqsense.com/product/ ©UTJ/UCL 2019/08/18 Diminished Reality 入門 画像：http://unity-chan.com/download/releaseNote.php?id=UnityChanImagePackVol1

Diminished Realityを実現する手法の分類 事前観測型DR：Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間 • 場所が決まっている 実時間観測型DR：Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる（移動物体も可） • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR：Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない（ただし、画像修復の限界がある） • どこでも使える 31 2019/08/18 Diminished Reality 入門

画像修復型DRの先行研究 静的な物体の除去のみ 動的な物体（移動・変形する）物体の除去をしていない（できない？） 32 2019/08/18 Diminished Reality 入門

研究開発中の技術デモ GPUによる並列処理を用いた画像修復（Image Inpainting）処理の高速化 33 2019/08/18 Diminished Reality 入門 https://twitter.com/sotanmochi/status/1162139353679720448

研究開発中の技術デモ GPUによる並列処理を用いた画像修復（Image Inpainting）処理の高速化 34 https://youtu.be/y7ip6sVJ8TI https://youtu.be/U5WCP_cdvDk 2019/08/18 Diminished Reality 入門

研究開発中の技術デモ ハードウェア構成 　・RGB-Depthカメラ（Realsense D435/D435i） 　・PC（GPU：GTX970/1070Ti） ミドルウェア 　・Nuitrack - 3D Body (Skeletal) Tracking Middleware 開発・動作環境 　・Unity 2018.4.6f1（2019/08/18時点） 　・Windows 10 35 2019/08/18 Diminished Reality 入門

実装したアルゴリズムの概要 1. Image Inpainting (Traditional method) 2. Lanczos法によるアップサンプリング 36 カラー画像（640x360） Inpainting出力（320x180） マスク画像（640x360） アップサンプリング出力（640x360） 1 2 ※ 背景部分は入力画像（640x360）を使用、 　 Inpainting領域のみアップサンプリング ※ マスク領域を拡大する処理あり 2019/08/18 Diminished Reality 入門

リアルタイムデモ（※時間があったら） Surface Pro 4 & Realsense D435 37 2019/08/18 Diminished Reality 入門

今後の課題 Image Inpaintingの精度が低い → アルゴリズムの改良が必要 計算が遅い（GTX970を使って20～40fps程度） → アルゴリズムと実装方法の改良による高速化が必要 38 2019/08/18 Diminished Reality 入門

Traditional method vs Learning based method

Diminished Realityを実現する手法の分類 事前観測型DR：Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間 • 場所が決まっている 実時間観測型DR：Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる（移動物体も可） • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR：Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない（ただし、画像修復の限界がある） • どこでも使える 40 2019/08/18 Diminished Reality 入門

深層学習に基づく画像修復型DR 深層学習による画像修復を用いたデモ 41 https://twitter.com/otduet/status/1125390364691640321 http://harrischris.com/article/biophillic-vision-experiment-1 2019/08/18 Diminished Reality 入門

深層学習に基づく画像修復・画像補完 Globally and Locally Consistent Image Completion (SIGGRAPH 2017) 42 2019/08/18 Diminished Reality 入門 Globally and Locally Consistent Image Completion http://iizuka.cs.tsukuba.ac.jp/projects/completion/ja/ http://iizuka.cs.tsukuba.ac.jp/projects/completion/data/completion_sig2017.pdf https://www.youtube.com/watch?v=5Ua4NUKowPU https://www.youtube.com/watch?v=L1pSuqudzO4

深層学習に基づく画像修復・画像補完 Globally and Locally Consistent Image Completion (SIGGRAPH 2017) TITAN Xを使っても100ms以上の処理時間 43 Globally and Locally Consistent Image Completion http://iizuka.cs.tsukuba.ac.jp/projects/completion/data/completion_sig2017.pdf 2019/08/18 Diminished Reality 入門

深層学習に基づく画像修復・画像補完 DRへの応用には高速化が必要 44 DDR: Deep Diminished Realityの実現に向けた一検討 https://www.slideshare.net/YosukeShinya/ddr-deep-diminished-reality-76972258 2019/08/18 Diminished Reality 入門

45 Traditional method vs Learning based method 伝統的な手法 vs 深層学習に基づく手法 ≒ 処理速度 vs 精度 　　　　　　　　　　　　　　　　　　　　　　　　（≒ ラスタライズ vs レイトレ？） 深層学習に基づく画像修復を用いたDR ・高速に推論できるCNNの開発 or DRの実装方法に工夫が必要 　（既存のCNNを実装してパフォーマンス検証してみる？） 伝統的な画像修復を用いたDR ・深層学習に基づく手法よりは高速と考えられるが高速化は必要 ・少しでも精度を高めるようなアルゴリズムの改良が必要 2019/08/18 Diminished Reality 入門

まとめ

Diminished Reality入門のまとめ Diminished Reality (DR) とは • 日本語では「隠消現実感（いんしょうげんじつかん）」 • 視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる DRを実現する手法の分類 • 事前観測型DR：Pre-Observation Based DR (POB-DR) • 実時間観測型DR：Real-time Observation Based DR (ROB-DR) • 画像修復型DR：Image Inpainting Based DR (IB-DR) DRの実用化に向けて • さらなる高速化が必要（画像修復型DR） 47 2019/08/18 Diminished Reality 入門

ありがとうございました