Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[Journal club] GIRAFFE: Representing Scenes As ...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
July 25, 2022
Technology
0
120
[Journal club] GIRAFFE: Representing Scenes As Compositional Generative Neural Feature Fields
Semantic Machine Intelligence Lab., Keio Univ.
PRO
July 25, 2022
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking
keio_smilab
PRO
0
47
[Journal club] Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance
keio_smilab
PRO
0
49
[Journal club] Influence-Balanced Loss for Imbalanced Visual Classification
keio_smilab
PRO
0
15
[Journal club] Learning to Rematch Mismatched Pairs for Robust Cross-Modal Retrieval
keio_smilab
PRO
0
31
[Journal club] AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark
keio_smilab
PRO
0
43
[MIRU25] NaiLIA: Multimodal Retrieval of Nail Designs Based on Dense Intent Descriptions
keio_smilab
PRO
1
210
[MIRU25] An LLM-Hybrid-as-a-Judge Approach for Evaluating Long Image Captions
keio_smilab
PRO
1
210
[MIRU2025]Preference Optimization for Multimodal Large Language Models for Image Captioning Tasks
keio_smilab
PRO
0
180
Semantic Machine Intelligence for Vision, Language, and Actions
keio_smilab
PRO
3
470
Other Decks in Technology
See All in Technology
AIが住民向けコンシェルジュに?Amazon Connectと生成AIで実現する自治体AIエージェント!
yuyeah
0
260
マイクロモビリティシェアサービスを支える プラットフォームアーキテクチャ
grimoh
1
190
制約理論(ToC)入門
recruitengineers
PRO
2
210
Postman MCP 関連機能アップデート / Postman MCP feature updates
yokawasa
0
140
Understanding Go GC #coefl_go_jp
bengo4com
0
1.1k
自治体職員がガバクラの AWS 閉域ネットワークを理解するのにやって良かった個人検証環境
takeda_h
2
380
アジャイルテストで高品質のスプリントレビューを
takesection
0
110
事業価値と Engineering
recruitengineers
PRO
1
170
Yahoo!広告ビジネス基盤におけるバックエンド開発
lycorptech_jp
PRO
1
270
MySQL HeatWave:サービス概要のご紹介
oracle4engineer
PRO
4
1.7k
GCASアップデート(202506-202508)
techniczna
0
250
EKS Pod Identity における推移的な session tags
z63d
1
200
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
Building Adaptive Systems
keathley
43
2.7k
KATA
mclloyd
32
14k
How GitHub (no longer) Works
holman
315
140k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Unsuck your backbone
ammeep
671
58k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Docker and Python
trallard
45
3.5k
Gamification - CAS2011
davidbonilla
81
5.4k
Scaling GitHub
holman
462
140k
Why Our Code Smells
bkeepers
PRO
338
57k
Transcript
GIRAFFE: Representing Scenes As Compositional Generative Neural Feature Fields Michael
Niemeyer, Andreas Geiger, Max Planck Institute for Intelligent Systems, Tubingen University of Tubingenin In CVPR, 2021, pp. 11453-11464 杉浦孔明研究室 飯岡 雄偉
概要:GIRAFFE ◼ 教師なしの画像生成モデル ◼ 2次元画像から,物体の3次元のシーン構成をつかむ • オブジェクト単位での移動・回転・形状・外観を操作可能に ◼ モデルの学習可能パラメータ数を削減 •
既存手法と比較して,計算量が大幅に減少 2
背景:3次元オブジェクトの操作可能性が求められる ◼ ゲームや映画において,3D物体をオブジェクト単位での操作は重要 専用のハードウェアや,技術者が求められる -> 高コスト化 3 https://assetstore.unity.com/packages/templates/tutorials/3d-game-kit-115747?locale=ja-JP
関連研究:3Dのシーン構成を教師なしでつかみきれていない 4 model detail GAN [Ian+ NIPS2014] 〇教師なしでの学習 △3Dのシーン構成はブラックボックス化 NeRF
[Ben+ ECCV2020] 〇3Dのシーン構成をつかむ △カメラパラメータが必要 https://qiita.com/shionhonda/items/330c9fdf78e62db3402b
提案手法:GIRAFFEの全体構造 5 1. Positional encoding 2. Generative neural feature fields
3. Compositional encoder 4. Volume rendering 5. 2D neural rendering 6. Discriminator 正規分布
提案手法:GIRAFFEの各構造 6 ◼ Positional encoding ➢ 座標や視点方向を帯域ごとに区分する ➢ 生成の性能に影響 •
バンドパスフィルタのように働く • 性能変化の詳細はAppendixに ➢ 本論文では,回転角に対してより正準な角度をとる
提案手法:GIRAFFEの各構造 7 ◼ Generative neural feature fields ➢ 入力 •
座標𝐱・視点方向𝐝・形状𝐳𝑆 ・外観𝐳𝑎 • 初期値はすべて正規分布に従う ➢ 出力 • 体積密度𝜎(≈不透明度) • 放射輝度𝐟(≈RGB) アフィン変換によるスケール変更・移動・回転の表現 逆変換でオブジェクト固有の空間へ
提案手法:GIRAFFEの各構造 8 ◼ Compositional encoder ➢ 物体が普遍的に持つ特徴量を抽出 ➢ 𝑁個のエントリーの重みづけ平均をとる •
各エントリーはそれぞれ形状・外観・ア フィン変換のパラメータを持つ 不透明度が大きいほど,そのRGB値 の重要度が大きくなる
提案手法:GIRAFFEの各構造 9 ◼ Volume rendering ➢ ボクセル->ピクセルの中間特徴量を出力(𝑀𝑓 次元) ➢ 𝑁𝑠
個のレイについて,それぞれ放射輝度を求める • 𝛼𝑗 は体積密度𝜎𝑗 及び𝑗 + 1番目との距離𝛿𝑗 で決まる 𝑗 − 1番目までの透明度 𝑗番目の不透明度
提案手法:GIRAFFEの各構造 10 ◼ 2D neural rendering ➢ 放射輝度から,2DにおけるRGB値を出力 • Nearest
NeighborとBilinearによる拡大 • Convolutionによって,チャネル数を減らす
提案手法:GIRAFFEの各構造 11 ◼ Discriminator / Generator ➢ Adversarial loss(敵対性損失)により学習 1.
識別性能𝑉を最大化するように識別器𝐷を学習 ✓ 生成画像と実画像を2値で分類 2. その中で𝑉を最小化するように生成器𝐺を学習 ✓ 識別器を騙せる画像の生成が目的 Generator
実験設定:多様なデータセットで有用性を調べる ✓ 実世界の画像データセット ➢ 単一オブジェクト: CelebA, CompCars等 ✓ シミュレーションの画像データセット(Chairs) ➢
複数オブジェクト: CLEVR 12 CelebA : https://mmlab.ie.cuhk.edu.hk/projects/CelebA.html CompCars : http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/ CLEVR : https://cs.stanford.edu/people/jcjohns/clevr/
定量的結果:既存手法と同等以上 ➢ 用いた評価指標はFID(Fréchet Inception Distance) ✓ 実画像と生成画像との分布間の距離を測る -> 小さいほど良いスコア ➢
パラメータ数が減少 13 CelebA Cars Chairs Churches 2D GAN 15 16 59 19 GRAF 25 39 34 38 GIRAFFE 6 16 20 17
定性的結果:オブジェクト単位の操作を可能に ➢ 回転や移動時のゆがみが小さい ➢ 外観や形状についても変更が可能 14 更なる生成結果はプロジェクトページ下部へ https://m-niemeyer.github.io/project-pages/giraffe/index.html
追試及びエラー分析:オブジェクトはゆがみにくいが,背景に難あり ➢ 220 epoch目では車のゆがみが目立たない ➢ 背景が少しぶれやすい -> 物体操作が中心のモデルであるためか 15 10
epoch目 220 epoch目
まとめ:GIRAFFE ◼ 教師なしの画像生成モデル ◼ 2次元画像から,物体の3次元のシーン構成をつかむ • 物体単位での移動・回転・形状・外観を操作可能に ◼ モデルの学習可能パラメータ数を削減 •
既存手法と比較して,計算量が大幅に減少 ◼ 実際に学習をしてみたところ,背景には改善点がありか 16
Appendix:Positional Encodingの有用性 17 ➢ 高周波成分を学習しやすい[Matthew+ 20] • 座標からRGB値を構成するタスクにおいて,以下に示す性能の差がみられる
Appendix:Nearest NeighborとBilinearによる拡大 18 ◼ Nearest Neighbor 元の画素をコピーして拡大していく 素早い補完が可能
拡大しすぎるとドット絵のようになる ◼ Bilinear 両端の画素の平均値で拡大していく ドット絵が改善 ぼやけたような画像になる可能性が高い https://qiita.com/yoya/items/f167b2598fec98679422
Appendix:他手法との回転時のゆがみの違い ➢ HoloGANでは平面のように映る前方からや後方 からが苦手 ⇒ 3Dのシーン構成をつかみ切れていないためか ➢ GRAFは回転自体が不得意 ⇒ 背景とオブジェクトを同じ構成でとらえるため,
回転の難易度が高そう ➢ GIRAFFEはオブジェクトはゆがまないが,実際に背景 はかなりノイズが入った ⇒ epoch数が足りなかったか,背景への表現力も あげるべきか 19