SIGGRAPH 2016 Technical Paper Texture sessionの論文について@SIGGRAPH 2016 勉強会

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

SIGGRAPH 2016 勉強会　https://siggraph.xyz/s2016/
にて発表した SIGGRAPH 2016のTextureセッションにて採択された研究についてまとめたスライドです。

Transcript

1. SIGGRAPH 2016 Technical Paper ~TEXTURE SESSION~ 株式会社ドワンゴ 2016新卒 古澤 知英(ふるさわ ちえ) ドワンゴのCV,CG系関連のサービス開発や 研究をおこなう部署に所属しています。
2. TEXTURE SYNTHESIS TEXTURE MAPPING 目次
3. 目次 時間変化を伴う テクスチャ合成 テクスチャ合成用の ラベルマップの生成 ニューラル ネットワークを用いた ベクター画像の近似 multiway clustering による 多次元データ圧縮
4. 時間変化を伴う テクスチャ合成 ニューラル ネットワークを用いた ベクター画像の近似 multiway clustering による 多次元データ圧縮 Multi-Scale Label-Map Extraction for Texture Synthesis Yitzchak Lockerman (Yale University), Basile Sauvage, Remi Allegre, Jean-Michel Dischler (ICube - University of Strasbourg), Julie Dorsey, Holly Rushmeier (Yale University) テクスチャ合成用の ラベルマップの生成
5. Segmentation 階層構造を作る２つの条件を取り入れた SLIC superpixel(座標と色を考慮したsuperpixel)を求める。 SLIC単体よりも 領域がつぶれておらず、 ブラ―を描けたSLICよりも 各領域のエッジが鮮明。
6. ≈ F G Ds NMF Ds n×m G r×m F n×r = 各Superpixelを類似度を元にクラスタリングすることでmapを作成 ◆ Superpixel i から j への ランダムウォーク問題へとモデル化 ◆ 遷移確率をNMFを用いて 分解することでクラスタ数を求める Labeling
7. 結果,評価 ➢ NMFによるクラスタリングを 解く計算時間が大きい ➢ Segmentationが従来手法より向上 ➢ Labelingがいずれの類似度尺度でも 従来手法と同等の精度
8. テクスチャ合成用の ラベルマップの生成 ニューラル ネットワークを用いた ベクター画像の近似 multiway clustering による 多次元データ圧縮 Time-varying Weathering in Texture Space Rachele Bellini, Yanir Kleiman, Daniel Cohen-Or (Tel Aviv University) 時間変化を伴う テクスチャ合成
9. 焦げ跡が ない状態？ ひび割れが ない状態？ 跡が増えた 状態？ 割れが増え た状態？ 現在 過去 未来 Key Idea 入力画像１枚から Patch合成により過去の状態と未来の状態の画像を作成
10. Delta Map 作成 未来方向への合成 タイル抽出 無傷画像作成 Age Map 作成 過去方向への合成 距離差が閾値を下回る点をマーク タイルのメジアンを とった画像にImage Quiltingを適応 入力画像と無傷画像の差を計算 時間方向に補間 Multi Labeling 選出した領域の荒廃 が進む様なパッチを 元の画像中から選出
11. 結果 入力画像 合成結果(過去方向) 合成結果(未来方向) 無傷画像
12. 時間変化を伴う テクスチャ合成 テクスチャ合成用の ラベルマップの生成 multiway clustering による 多次元データ圧縮 Vector Regression Functions for Texture Compression Ying Song (Chinese Academy of Sciences), Jiaping Wang (Aiur), Li-Yi Wei (Dragoniac), Wencheng Wang (Chinese Academy of Sciences) ニューラル ネットワークを用いた ベクター画像の近似
13. 目的 ◦ランダムアクセスが可能 ラスタ画像 ベクタ画像 ◦画像の倍率に依存しない マッピング画像は、主にラスタ画像が用いられる ベクタ画像についてランダムアクセスが可能な構造を構築することで テクスチャマッピングにおいてラスタ画像とベクタ画像の双方の長所を取る
14. 解きたい問題およびモデル Neural network model を最小にするノード数および重みを更新することでを求める ベクタ画像をランダムアクセス可能な関数として近似 入力：x, y座標 出力：RGB値 中間層：２つ
15. 結果および評価 近似関数の推定は大きいが、 SizeとRMSを抑えつつ、 ランダムアクセスにかかる時間は小さい
16. 時間変化を伴う テクスチャ合成 テクスチャ合成用の ラベルマップの生成 ニューラル ネットワークを用いた ベクター画像の近似 Multiway K-Clustered Tensor Approximation: Toward High-Performance Photorealistic Data-Driven Rendering Yu-Ting Tsai (Yuan Ze University, Taiwan) multiway clustering による 多次元データ圧縮
17. 17 研究アプローチ 従来手法(K-CTA)： 単一次元に着目した クラスタリング 提案手法(MK-CTA)： 全モードを考慮した クラスタリング を用いてより自然にテンソルを扱う
18. 結果および評価 Time-Varying Light Fields Bidirectional Texture Functions 最初のテンソル分解にかかる時間は大きいが、 ノイズを抑えつつ、 毎フレームの再構成の時間は小さい