[Journal club] GIRAFFE: Representing Scenes As Compositional Generative Neural Feature Fields

1. GIRAFFE: Representing Scenes As Compositional Generative Neural Feature Fields Michael Niemeyer, Andreas Geiger, Max Planck Institute for Intelligent Systems, Tubingen University of Tubingenin In CVPR, 2021, pp. 11453-11464 杉浦孔明研究室 飯岡 雄偉
2. 概要：GIRAFFE ◼ 教師なしの画像生成モデル ◼ 2次元画像から，物体の3次元のシーン構成をつかむ • オブジェクト単位での移動・回転・形状・外観を操作可能に ◼ モデルの学習可能パラメータ数を削減 • 既存手法と比較して，計算量が大幅に減少 2
3. 背景：3次元オブジェクトの操作可能性が求められる ◼ ゲームや映画において，3D物体をオブジェクト単位での操作は重要  専用のハードウェアや，技術者が求められる -> 高コスト化 3 https://assetstore.unity.com/packages/templates/tutorials/3d-game-kit-115747?locale=ja-JP
4. 関連研究：3Dのシーン構成を教師なしでつかみきれていない 4 model detail GAN [Ian+ NIPS2014] 〇教師なしでの学習 △3Dのシーン構成はブラックボックス化 NeRF [Ben+ ECCV2020] 〇3Dのシーン構成をつかむ △カメラパラメータが必要 https://qiita.com/shionhonda/items/330c9fdf78e62db3402b
5. 提案手法：GIRAFFEの全体構造 5 1. Positional encoding 2. Generative neural feature fields 3. Compositional encoder 4. Volume rendering 5. 2D neural rendering 6. Discriminator 正規分布
6. 提案手法：GIRAFFEの各構造 6 ◼ Positional encoding ➢ 座標や視点方向を帯域ごとに区分する ➢ 生成の性能に影響 • バンドパスフィルタのように働く • 性能変化の詳細はAppendixに ➢ 本論文では，回転角に対してより正準な角度をとる
7. 提案手法：GIRAFFEの各構造 7 ◼ Generative neural feature fields ➢ 入力 • 座標𝐱・視点方向𝐝・形状𝐳𝑆 ・外観𝐳𝑎 • 初期値はすべて正規分布に従う ➢ 出力 • 体積密度𝜎(≈不透明度) • 放射輝度𝐟(≈RGB) アフィン変換によるスケール変更・移動・回転の表現 逆変換でオブジェクト固有の空間へ
8. 提案手法：GIRAFFEの各構造 8 ◼ Compositional encoder ➢ 物体が普遍的に持つ特徴量を抽出 ➢ 𝑁個のエントリーの重みづけ平均をとる • 各エントリーはそれぞれ形状・外観・ア フィン変換のパラメータを持つ 不透明度が大きいほど，そのRGB値 の重要度が大きくなる
9. 提案手法：GIRAFFEの各構造 9 ◼ Volume rendering ➢ ボクセル->ピクセルの中間特徴量を出力（𝑀𝑓 次元） ➢ 𝑁𝑠 個のレイについて，それぞれ放射輝度を求める • 𝛼𝑗 は体積密度𝜎𝑗 及び𝑗 + 1番目との距離𝛿𝑗 で決まる 𝑗 − 1番目までの透明度 𝑗番目の不透明度
10. 提案手法：GIRAFFEの各構造 10 ◼ 2D neural rendering ➢ 放射輝度から，2DにおけるRGB値を出力 • Nearest NeighborとBilinearによる拡大 • Convolutionによって，チャネル数を減らす
11. 提案手法：GIRAFFEの各構造 11 ◼ Discriminator / Generator ➢ Adversarial loss（敵対性損失）により学習 1. 識別性能𝑉を最大化するように識別器𝐷を学習 ✓ 生成画像と実画像を2値で分類 2. その中で𝑉を最小化するように生成器𝐺を学習 ✓ 識別器を騙せる画像の生成が目的 Generator
12. 実験設定：多様なデータセットで有用性を調べる ✓ 実世界の画像データセット ➢ 単一オブジェクト： CelebA, CompCars等 ✓ シミュレーションの画像データセット（Chairs） ➢ 複数オブジェクト： CLEVR 12 CelebA : https://mmlab.ie.cuhk.edu.hk/projects/CelebA.html CompCars : http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/ CLEVR : https://cs.stanford.edu/people/jcjohns/clevr/
13. 定量的結果：既存手法と同等以上 ➢ 用いた評価指標はFID（Fréchet Inception Distance） ✓ 実画像と生成画像との分布間の距離を測る -> 小さいほど良いスコア ➢ パラメータ数が減少 13 CelebA Cars Chairs Churches 2D GAN 15 16 59 19 GRAF 25 39 34 38 GIRAFFE 6 16 20 17
14. 定性的結果：オブジェクト単位の操作を可能に ➢ 回転や移動時のゆがみが小さい ➢ 外観や形状についても変更が可能 14 更なる生成結果はプロジェクトページ下部へ https://m-niemeyer.github.io/project-pages/giraffe/index.html
15. 追試及びエラー分析：オブジェクトはゆがみにくいが，背景に難あり ➢ 220 epoch目では車のゆがみが目立たない ➢ 背景が少しぶれやすい -> 物体操作が中心のモデルであるためか 15 10 epoch目 220 epoch目
16. まとめ：GIRAFFE ◼ 教師なしの画像生成モデル ◼ 2次元画像から，物体の3次元のシーン構成をつかむ • 物体単位での移動・回転・形状・外観を操作可能に ◼ モデルの学習可能パラメータ数を削減 • 既存手法と比較して，計算量が大幅に減少 ◼ 実際に学習をしてみたところ，背景には改善点がありか 16
17. Appendix：Positional Encodingの有用性 17 ➢ 高周波成分を学習しやすい[Matthew+ 20] • 座標からRGB値を構成するタスクにおいて，以下に示す性能の差がみられる
18. Appendix：Nearest NeighborとBilinearによる拡大 18 ◼ Nearest Neighbor  元の画素をコピーして拡大していく  素早い補完が可能  拡大しすぎるとドット絵のようになる ◼ Bilinear  両端の画素の平均値で拡大していく  ドット絵が改善  ぼやけたような画像になる可能性が高い https://qiita.com/yoya/items/f167b2598fec98679422
19. Appendix：他手法との回転時のゆがみの違い ➢ HoloGANでは平面のように映る前方からや後方 からが苦手 ⇒ 3Dのシーン構成をつかみ切れていないためか ➢ GRAFは回転自体が不得意 ⇒ 背景とオブジェクトを同じ構成でとらえるため， 回転の難易度が高そう ➢ GIRAFFEはオブジェクトはゆがまないが，実際に背景 はかなりノイズが入った ⇒ epoch数が足りなかったか，背景への表現力も あげるべきか 19