Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[Journal club] GIRAFFE: Representing Scenes As Compositional Generative Neural Feature Fields
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
July 25, 2022
Technology
0
67
[Journal club] GIRAFFE: Representing Scenes As Compositional Generative Neural Feature Fields
Semantic Machine Intelligence Lab., Keio Univ.
PRO
July 25, 2022
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Parallel Vertex Diffusion for Unified Visual Grounding
keio_smilab
PRO
0
67
[NLP24] Polos: Multimodal Metric Learning from Human Feedback for Image Captioning
keio_smilab
PRO
0
34
[Journal club] Accelerating Toeplitz Neural Network with Constant-time Inference Complexity
keio_smilab
PRO
0
34
[Journal club] TIES-Merging: Resolving Interference When Merging Models
keio_smilab
PRO
0
120
[Journal Club]Interfacing Foundation Models’ Embeddings
keio_smilab
PRO
1
110
[Journal club] Toeplitz Neural Network for Sequence Modeling
keio_smilab
PRO
2
350
Visual Explanation Generation for Road Damage Classification by Using Layer-wise Relevance Propagation for Branch Networks
keio_smilab
PRO
0
140
Supervised Automatic Evaluation for Image Captioning Based on Multimodality
keio_smilab
PRO
0
150
[Journal Club] Hyperbolic Image-Text Representations
keio_smilab
PRO
0
290
Other Decks in Technology
See All in Technology
バッチ処理のSLOをどう設計するか
rynsuke
7
550
10分でわかるfreeeのQA
freee
0
230
単回帰分析について数式を追いながら実装してみた
kentaitakura
0
500
現実世界の事象から学ぶSOLID原則
h0r15h0
24
10k
20240321_生成AI時代のDevOps
kzkmaeda
2
610
エンジニア候補者向け資料2024.03.28.pdf
macloud
0
2.9k
業務で使えるかもしれない…!?GitHub Actions の Tips 集 / CI/CD Test Night #7
ponkio_o
PRO
24
6.9k
技術広報経験0のEMがエンジニアブランディングをはじめてみた
coconala_engineer
1
130
.NETの非同期戦略とUnityとの相互運用
neuecc
2
2.4k
中央集権体制からDataOpsへの転換 / centralized-to-dataops-transformation
pei0804
7
1.4k
今さら聞けない!? AWSの生成AIサービス Amazon Bedrock入門!
minorun365
PRO
11
2.2k
Getting started with controlling LEGO using Swift
hcrane
0
130
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
Music & Morning Musume
bryan
39
5.5k
Adopting Sorbet at Scale
ufuk
66
8.5k
Build The Right Thing And Hit Your Dates
maggiecrowley
23
1.9k
jQuery: Nuts, Bolts and Bling
dougneiner
57
7.1k
VelocityConf: Rendering Performance Case Studies
addyosmani
319
23k
Product Roadmaps are Hard
iamctodd
43
9.6k
Designing on Purpose - Digital PM Summit 2013
jponch
109
6.4k
How STYLIGHT went responsive
nonsquared
92
4.7k
For a Future-Friendly Web
brad_frost
170
8.9k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
19
1.9k
Automating Front-end Workflow
addyosmani
1353
200k
Transcript
GIRAFFE: Representing Scenes As Compositional Generative Neural Feature Fields Michael
Niemeyer, Andreas Geiger, Max Planck Institute for Intelligent Systems, Tubingen University of Tubingenin In CVPR, 2021, pp. 11453-11464 杉浦孔明研究室 飯岡 雄偉
概要:GIRAFFE ◼ 教師なしの画像生成モデル ◼ 2次元画像から,物体の3次元のシーン構成をつかむ • オブジェクト単位での移動・回転・形状・外観を操作可能に ◼ モデルの学習可能パラメータ数を削減 •
既存手法と比較して,計算量が大幅に減少 2
背景:3次元オブジェクトの操作可能性が求められる ◼ ゲームや映画において,3D物体をオブジェクト単位での操作は重要 専用のハードウェアや,技術者が求められる -> 高コスト化 3 https://assetstore.unity.com/packages/templates/tutorials/3d-game-kit-115747?locale=ja-JP
関連研究:3Dのシーン構成を教師なしでつかみきれていない 4 model detail GAN [Ian+ NIPS2014] 〇教師なしでの学習 △3Dのシーン構成はブラックボックス化 NeRF
[Ben+ ECCV2020] 〇3Dのシーン構成をつかむ △カメラパラメータが必要 https://qiita.com/shionhonda/items/330c9fdf78e62db3402b
提案手法:GIRAFFEの全体構造 5 1. Positional encoding 2. Generative neural feature fields
3. Compositional encoder 4. Volume rendering 5. 2D neural rendering 6. Discriminator 正規分布
提案手法:GIRAFFEの各構造 6 ◼ Positional encoding ➢ 座標や視点方向を帯域ごとに区分する ➢ 生成の性能に影響 •
バンドパスフィルタのように働く • 性能変化の詳細はAppendixに ➢ 本論文では,回転角に対してより正準な角度をとる
提案手法:GIRAFFEの各構造 7 ◼ Generative neural feature fields ➢ 入力 •
座標𝐱・視点方向𝐝・形状𝐳𝑆 ・外観𝐳𝑎 • 初期値はすべて正規分布に従う ➢ 出力 • 体積密度𝜎(≈不透明度) • 放射輝度𝐟(≈RGB) アフィン変換によるスケール変更・移動・回転の表現 逆変換でオブジェクト固有の空間へ
提案手法:GIRAFFEの各構造 8 ◼ Compositional encoder ➢ 物体が普遍的に持つ特徴量を抽出 ➢ 𝑁個のエントリーの重みづけ平均をとる •
各エントリーはそれぞれ形状・外観・ア フィン変換のパラメータを持つ 不透明度が大きいほど,そのRGB値 の重要度が大きくなる
提案手法:GIRAFFEの各構造 9 ◼ Volume rendering ➢ ボクセル->ピクセルの中間特徴量を出力(𝑀𝑓 次元) ➢ 𝑁𝑠
個のレイについて,それぞれ放射輝度を求める • 𝛼𝑗 は体積密度𝜎𝑗 及び𝑗 + 1番目との距離𝛿𝑗 で決まる 𝑗 − 1番目までの透明度 𝑗番目の不透明度
提案手法:GIRAFFEの各構造 10 ◼ 2D neural rendering ➢ 放射輝度から,2DにおけるRGB値を出力 • Nearest
NeighborとBilinearによる拡大 • Convolutionによって,チャネル数を減らす
提案手法:GIRAFFEの各構造 11 ◼ Discriminator / Generator ➢ Adversarial loss(敵対性損失)により学習 1.
識別性能𝑉を最大化するように識別器𝐷を学習 ✓ 生成画像と実画像を2値で分類 2. その中で𝑉を最小化するように生成器𝐺を学習 ✓ 識別器を騙せる画像の生成が目的 Generator
実験設定:多様なデータセットで有用性を調べる ✓ 実世界の画像データセット ➢ 単一オブジェクト: CelebA, CompCars等 ✓ シミュレーションの画像データセット(Chairs) ➢
複数オブジェクト: CLEVR 12 CelebA : https://mmlab.ie.cuhk.edu.hk/projects/CelebA.html CompCars : http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/ CLEVR : https://cs.stanford.edu/people/jcjohns/clevr/
定量的結果:既存手法と同等以上 ➢ 用いた評価指標はFID(Fréchet Inception Distance) ✓ 実画像と生成画像との分布間の距離を測る -> 小さいほど良いスコア ➢
パラメータ数が減少 13 CelebA Cars Chairs Churches 2D GAN 15 16 59 19 GRAF 25 39 34 38 GIRAFFE 6 16 20 17
定性的結果:オブジェクト単位の操作を可能に ➢ 回転や移動時のゆがみが小さい ➢ 外観や形状についても変更が可能 14 更なる生成結果はプロジェクトページ下部へ https://m-niemeyer.github.io/project-pages/giraffe/index.html
追試及びエラー分析:オブジェクトはゆがみにくいが,背景に難あり ➢ 220 epoch目では車のゆがみが目立たない ➢ 背景が少しぶれやすい -> 物体操作が中心のモデルであるためか 15 10
epoch目 220 epoch目
まとめ:GIRAFFE ◼ 教師なしの画像生成モデル ◼ 2次元画像から,物体の3次元のシーン構成をつかむ • 物体単位での移動・回転・形状・外観を操作可能に ◼ モデルの学習可能パラメータ数を削減 •
既存手法と比較して,計算量が大幅に減少 ◼ 実際に学習をしてみたところ,背景には改善点がありか 16
Appendix:Positional Encodingの有用性 17 ➢ 高周波成分を学習しやすい[Matthew+ 20] • 座標からRGB値を構成するタスクにおいて,以下に示す性能の差がみられる
Appendix:Nearest NeighborとBilinearによる拡大 18 ◼ Nearest Neighbor 元の画素をコピーして拡大していく 素早い補完が可能
拡大しすぎるとドット絵のようになる ◼ Bilinear 両端の画素の平均値で拡大していく ドット絵が改善 ぼやけたような画像になる可能性が高い https://qiita.com/yoya/items/f167b2598fec98679422
Appendix:他手法との回転時のゆがみの違い ➢ HoloGANでは平面のように映る前方からや後方 からが苦手 ⇒ 3Dのシーン構成をつかみ切れていないためか ➢ GRAFは回転自体が不得意 ⇒ 背景とオブジェクトを同じ構成でとらえるため,
回転の難易度が高そう ➢ GIRAFFEはオブジェクトはゆがまないが,実際に背景 はかなりノイズが入った ⇒ epoch数が足りなかったか,背景への表現力も あげるべきか 19