Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SIGGRAPH 2016 Technical Paper Texture sessionの論文について@SIGGRAPH 2016 勉強会

Chie.F
August 06, 2016

SIGGRAPH 2016 Technical Paper Texture sessionの論文について@SIGGRAPH 2016 勉強会

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

SIGGRAPH 2016 勉強会 https://siggraph.xyz/s2016/
にて発表した SIGGRAPH 2016のTextureセッションにて採択された研究についてまとめたスライドです。

Chie.F

August 06, 2016
Tweet

More Decks by Chie.F

Other Decks in Research

Transcript

  1. SIGGRAPH 2016
    Technical Paper
    ~TEXTURE SESSION~
    株式会社ドワンゴ 2016新卒
    古澤 知英(ふるさわ ちえ)
    ドワンゴのCV,CG系関連のサービス開発や
    研究をおこなう部署に所属しています。

    View full-size slide

  2. TEXTURE SYNTHESIS TEXTURE MAPPING
    目次

    View full-size slide

  3. 目次
    時間変化を伴う
    テクスチャ合成
    テクスチャ合成用の
    ラベルマップの生成
    ニューラル
    ネットワークを用いた
    ベクター画像の近似
    multiway clustering
    による
    多次元データ圧縮

    View full-size slide

  4. 時間変化を伴う
    テクスチャ合成
    ニューラル
    ネットワークを用いた
    ベクター画像の近似
    multiway clustering
    による
    多次元データ圧縮
    Multi-Scale Label-Map Extraction for Texture Synthesis
    Yitzchak Lockerman (Yale University), Basile Sauvage, Remi Allegre, Jean-Michel Dischler (ICube -
    University of Strasbourg), Julie Dorsey, Holly Rushmeier (Yale University)
    テクスチャ合成用の
    ラベルマップの生成

    View full-size slide

  5. Segmentation
    階層構造を作る2つの条件を取り入れた
    SLIC superpixel(座標と色を考慮したsuperpixel)を求める。
    SLIC単体よりも
    領域がつぶれておらず、
    ブラ―を描けたSLICよりも
    各領域のエッジが鮮明。

    View full-size slide


  6. F
    G
    Ds
    NMF
    Ds
    n×m
    G
    r×m
    F
    n×r
    =
    各Superpixelを類似度を元にクラスタリングすることでmapを作成
    ◆ Superpixel i から j への
    ランダムウォーク問題へとモデル化
    ◆ 遷移確率をNMFを用いて
    分解することでクラスタ数を求める
    Labeling

    View full-size slide

  7. 結果,評価
    ➢ NMFによるクラスタリングを
    解く計算時間が大きい
    ➢ Segmentationが従来手法より向上
    ➢ Labelingがいずれの類似度尺度でも
    従来手法と同等の精度

    View full-size slide

  8. テクスチャ合成用の
    ラベルマップの生成
    ニューラル
    ネットワークを用いた
    ベクター画像の近似
    multiway clustering
    による
    多次元データ圧縮
    Time-varying Weathering in Texture Space
    Rachele Bellini, Yanir Kleiman, Daniel Cohen-Or (Tel Aviv University)
    時間変化を伴う
    テクスチャ合成

    View full-size slide

  9. 焦げ跡が
    ない状態?
    ひび割れが
    ない状態?
    跡が増えた
    状態?
    割れが増え
    た状態?
    現在
    過去 未来
    Key Idea
    入力画像1枚から
    Patch合成により過去の状態と未来の状態の画像を作成

    View full-size slide

  10. Delta Map 作成 未来方向への合成
    タイル抽出
    無傷画像作成
    Age Map 作成
    過去方向への合成
    距離差が閾値を下回る点をマーク
    タイルのメジアンを
    とった画像にImage Quiltingを適応
    入力画像と無傷画像の差を計算
    時間方向に補間
    Multi Labeling
    選出した領域の荒廃
    が進む様なパッチを
    元の画像中から選出

    View full-size slide

  11. 結果
    入力画像
    合成結果(過去方向) 合成結果(未来方向)
    無傷画像

    View full-size slide

  12. 時間変化を伴う
    テクスチャ合成
    テクスチャ合成用の
    ラベルマップの生成
    multiway clustering
    による
    多次元データ圧縮
    Vector Regression Functions for Texture Compression
    Ying Song (Chinese Academy of Sciences), Jiaping Wang (Aiur),
    Li-Yi Wei (Dragoniac), Wencheng Wang (Chinese Academy of Sciences)
    ニューラル
    ネットワークを用いた
    ベクター画像の近似

    View full-size slide

  13. 目的
    ○ランダムアクセスが可能
    ラスタ画像 ベクタ画像
    ○画像の倍率に依存しない
    マッピング画像は、主にラスタ画像が用いられる
    ベクタ画像についてランダムアクセスが可能な構造を構築することで
    テクスチャマッピングにおいてラスタ画像とベクタ画像の双方の長所を取る

    View full-size slide

  14. 解きたい問題およびモデル
    Neural network model
    を最小にするノード数および重みを更新することでを求める
    ベクタ画像をランダムアクセス可能な関数として近似
    入力:x, y座標
    出力:RGB値
    中間層:2つ

    View full-size slide

  15. 結果および評価
    近似関数の推定は大きいが、
    SizeとRMSを抑えつつ、
    ランダムアクセスにかかる時間は小さい

    View full-size slide

  16. 時間変化を伴う
    テクスチャ合成
    テクスチャ合成用の
    ラベルマップの生成
    ニューラル
    ネットワークを用いた
    ベクター画像の近似
    Multiway K-Clustered Tensor Approximation:
    Toward High-Performance Photorealistic Data-Driven Rendering
    Yu-Ting Tsai (Yuan Ze University, Taiwan)
    multiway clustering
    による
    多次元データ圧縮

    View full-size slide

  17. 17
    研究アプローチ
    従来手法(K-CTA):
    単一次元に着目した
    クラスタリング
    提案手法(MK-CTA):
    全モードを考慮した
    クラスタリング
    を用いてより自然にテンソルを扱う

    View full-size slide

  18. 結果および評価
    Time-Varying Light Fields
    Bidirectional Texture Functions
    最初のテンソル分解にかかる時間は大きいが、
    ノイズを抑えつつ、
    毎フレームの再構成の時間は小さい

    View full-size slide