SIGGRAPH 2016 Technical Paper Texture sessionの論文について@SIGGRAPH 2016 勉強会

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

SIGGRAPH 2016 勉強会　https://siggraph.xyz/s2016/
にて発表した SIGGRAPH 2016のTextureセッションにて採択された研究についてまとめたスライドです。

Transcript

1. SIGGRAPH 2016
   Technical Paper
   ~TEXTURE SESSION~
   株式会社ドワンゴ 2016新卒
   古澤 知英(ふるさわ ちえ)
   ドワンゴのCV,CG系関連のサービス開発や
   研究をおこなう部署に所属しています。
   

   View Slide

2. TEXTURE SYNTHESIS TEXTURE MAPPING
   目次
   

   View Slide

3. 目次
   時間変化を伴う
   テクスチャ合成
   テクスチャ合成用の
   ラベルマップの生成
   ニューラル
   ネットワークを用いた
   ベクター画像の近似
   multiway clustering
   による
   多次元データ圧縮
   

   View Slide

4. 時間変化を伴う
   テクスチャ合成
   ニューラル
   ネットワークを用いた
   ベクター画像の近似
   multiway clustering
   による
   多次元データ圧縮
   Multi-Scale Label-Map Extraction for Texture Synthesis
   Yitzchak Lockerman (Yale University), Basile Sauvage, Remi Allegre, Jean-Michel Dischler (ICube -
   University of Strasbourg), Julie Dorsey, Holly Rushmeier (Yale University)
   テクスチャ合成用の
   ラベルマップの生成
   

   View Slide

5. Segmentation
   階層構造を作る２つの条件を取り入れた
   SLIC superpixel(座標と色を考慮したsuperpixel)を求める。
   SLIC単体よりも
   領域がつぶれておらず、
   ブラ―を描けたSLICよりも
   各領域のエッジが鮮明。
   

   View Slide

6. ≈
   F
   G
   Ds
   NMF
   Ds
   n×m
   G
   r×m
   F
   n×r
   =
   各Superpixelを類似度を元にクラスタリングすることでmapを作成
   ◆ Superpixel i から j への
   ランダムウォーク問題へとモデル化
   ◆ 遷移確率をNMFを用いて
   分解することでクラスタ数を求める
   Labeling
   

   View Slide

7. 結果,評価
   ➢ NMFによるクラスタリングを
   解く計算時間が大きい
   ➢ Segmentationが従来手法より向上
   ➢ Labelingがいずれの類似度尺度でも
   従来手法と同等の精度
   

   View Slide

8. テクスチャ合成用の
   ラベルマップの生成
   ニューラル
   ネットワークを用いた
   ベクター画像の近似
   multiway clustering
   による
   多次元データ圧縮
   Time-varying Weathering in Texture Space
   Rachele Bellini, Yanir Kleiman, Daniel Cohen-Or (Tel Aviv University)
   時間変化を伴う
   テクスチャ合成
   

   View Slide

9. 焦げ跡が
   ない状態？
   ひび割れが
   ない状態？
   跡が増えた
   状態？
   割れが増え
   た状態？
   現在
   過去 未来
   Key Idea
   入力画像１枚から
   Patch合成により過去の状態と未来の状態の画像を作成
   

   View Slide

10. Delta Map 作成 未来方向への合成
    タイル抽出
    無傷画像作成
    Age Map 作成
    過去方向への合成
    距離差が閾値を下回る点をマーク
    タイルのメジアンを
    とった画像にImage Quiltingを適応
    入力画像と無傷画像の差を計算
    時間方向に補間
    Multi Labeling
    選出した領域の荒廃
    が進む様なパッチを
    元の画像中から選出
    

    View Slide

11. 結果
    入力画像
    合成結果(過去方向) 合成結果(未来方向)
    無傷画像
    

    View Slide

12. 時間変化を伴う
    テクスチャ合成
    テクスチャ合成用の
    ラベルマップの生成
    multiway clustering
    による
    多次元データ圧縮
    Vector Regression Functions for Texture Compression
    Ying Song (Chinese Academy of Sciences), Jiaping Wang (Aiur),
    Li-Yi Wei (Dragoniac), Wencheng Wang (Chinese Academy of Sciences)
    ニューラル
    ネットワークを用いた
    ベクター画像の近似
    

    View Slide

13. 目的
    ○ランダムアクセスが可能
    ラスタ画像 ベクタ画像
    ○画像の倍率に依存しない
    マッピング画像は、主にラスタ画像が用いられる
    ベクタ画像についてランダムアクセスが可能な構造を構築することで
    テクスチャマッピングにおいてラスタ画像とベクタ画像の双方の長所を取る
    

    View Slide

14. 解きたい問題およびモデル
    Neural network model
    を最小にするノード数および重みを更新することでを求める
    ベクタ画像をランダムアクセス可能な関数として近似
    入力：x, y座標
    出力：RGB値
    中間層：２つ
    

    View Slide

15. 結果および評価
    近似関数の推定は大きいが、
    SizeとRMSを抑えつつ、
    ランダムアクセスにかかる時間は小さい
    

    View Slide

16. 時間変化を伴う
    テクスチャ合成
    テクスチャ合成用の
    ラベルマップの生成
    ニューラル
    ネットワークを用いた
    ベクター画像の近似
    Multiway K-Clustered Tensor Approximation:
    Toward High-Performance Photorealistic Data-Driven Rendering
    Yu-Ting Tsai (Yuan Ze University, Taiwan)
    multiway clustering
    による
    多次元データ圧縮
    

    View Slide

17. 17
    研究アプローチ
    従来手法(K-CTA)：
    単一次元に着目した
    クラスタリング
    提案手法(MK-CTA)：
    全モードを考慮した
    クラスタリング
    を用いてより自然にテンソルを扱う
    

    View Slide

18. 結果および評価
    Time-Varying Light Fields
    Bidirectional Texture Functions
    最初のテンソル分解にかかる時間は大きいが、
    ノイズを抑えつつ、
    毎フレームの再構成の時間は小さい
    

    View Slide

19. View Slide