SwipeGAN: Preference image generation by latent space exploration using swipe operation

Transcript

1. スワイプ操作を⽤いた潜在空間の 探索による嗜好画像⽣成 jsai 2023 2023/06/07 中島 柚⽃、楊 明哲、⾺場 雪乃（東京⼤学） 1
2. 好きな画像（嗜好画像）を簡単に⽣成したい マッチングアプリのようにスワイプ操作で嗜好画像を⽣成したい 研究⽬的 2
3. GAN を利⽤した嗜好画像⽣成の課題 嗜好画像の⽣成には、GANの⾼次元潜在空間からの適切な潜在変数の探索が 必要で、時間と労⼒がかかる。 ⽣成器 嗜好画像 3
4. 既存研究の課題 4 複数のスライダー調整や画像編集をユーザに問い合わせており、 問い合わせの難易度が⾼く、ユーザの負荷が⼤きい Toby Chong, I-Chao Shen, Issei Sato, Takeo Igarashi． Interactive Optimization of Generative Image Modelling using Sequential Subspace Search and Content-based Guidance．Journal of COMPUTER GRAPHICS forum (2021). 画像編集 （この領域をグレーにしたい） スライダー調整 （画像のブレンド）
5. GANの潜在空間は⾼次元なので、ベイズ最適化による探索を効率化する 提案⼿法 5 探索範囲を絞る 有⽤な次元を選ぶ GANSpace 多腕バンディット アルゴリズム Approach 1 Approach 2 探索の効率化により、問い合わせの負荷削減を実現する
6. ベイズ最適化 6 ユーザからの応答を利⽤して、評価候補点を決定する Step2: 獲得関数を構築する Step3: 獲得関数を最⼤にする 点を評価する Step1: ⽬的関数を不確実性を 含めて推定する
7. GANの潜在空間は⾼次元なので、ベイズ最適化による探索を効率化する 提案⼿法 7 探索範囲を絞る 有⽤な次元を選ぶ GANSpace 多腕バンディット アルゴリズム Approach 1 Approach 2 探索の効率化により、問い合わせの負荷削減を実現する
8. Approach 1︓探索範囲を絞る（StyleGAN） ノイズ ⽣成器 ノイズ 中間潜在変数 ⽣成器 既存のGAN StyleGAN 1. StyleGANはノイズを中間潜在変数に変換する 8 2. 直感的に⽣成画像の制御可能
9. StyleGAN の潜在空間W に対して主成分分析を適⽤する Approach 1︓探索範囲を絞る（GANSpace） 画像の⾒た⽬を⼤きく変える⽅向を特定できる 利点 0.0 - 0.2 - 0.4 - 0.6 - 0.8 第１主成分 第４００主成分 9
10. Approach 1︓探索範囲を絞る（提案⼿法の流れ） z を⼤量にサンプリング Mapping network に⼊⼒しw に変換 ステップ1 ステップ2 主成分分析 ステップ3 z w Mapping network 部分空間を作成 ステップ4 探索空間を⼩さくすることができ、効率的に潜在変数を探索できる 利点 10
11. GANの潜在空間は⾼次元なので、ベイズ最適化による探索を効率化する 提案⼿法 11 探索範囲を絞る 有⽤な次元を選ぶ GANSpace 多腕バンディット アルゴリズム Approach 1 Approach 2 探索の効率化により、問い合わせの負荷削減を実現する
12. 性別や顔の向きなど、属性が絡み合った複雑な変化が起きている。 どの次元が有⽤かは分からない。 Approach 2︓有⽤な次元を選ぶ 12 -4.0 -2.0 0.0. +2.0. +4.0 第３主成分 第１主成分 第２主成分 第４主成分
13. Approach 2︓探索する次元を多腕バンディットで選択 13 Step 4︓モデル更新 多腕バンディットモデル ベイズ最適化モデル 更新 Step 1︓探索次元決定 多腕バンディット ユーザ評価 モデル更新 Step 3︓ユーザ評価 ⼀対⽐較 Step 2︓候補点決定 ベイズ最適化 多様な特性を持った複数の次元から有益な次元を優先して探索する 第３主成分 第１主成分 第２主成分 第４主成分 どの次元を探索するかを１つ決める
14. 実験設定 14 Facenet 埋め込みベクトル （⽬標画像） 埋め込みベクトル （⽣成画像） 類似度スコア ⽬標画像 ⽣成画像 類似度スコア （１つ前のiteration） V S ユーザ実験の前段階として、⼈間の評価を類似度計算で代⽤する ⼀対⽐較結果 ＝
15. • データセット ◦ FFHQ で学習されたStyleGAN の事前学習済みモデル • ⽬標画像︓ ◦ １０枚 • 部分空間の次元数︓ ◦ ４、８、１６次元 実験設定 実験設定 15
16. 16次元の場合、提案⼿法がベースラインと⽐べて有効に働く 実験結果1︓各⽬標画像に対する類似度の移動平均の推移（１６次元） 16
17. 4次元の場合、ベースラインの⽅が有効に働くことが多い 実験結果1︓各⽬標画像に対する類似度の移動平均の推移（４次元） 17
18. 8次元の場合、提案⼿法とベースラインの差は少ない 実験結果1︓各⽬標画像に対する類似度の移動平均の推移（８次元） 18
19. ⾼次元の場合には、提案⼿法が有効に働く 実験結果２︓ベースラインと提案⼿法での画像⽣成の違い 19 4次元 16次元 ベースライン 提案⼿法 ⽬標画像
20. 【提案⼿法】 ⾼次元空間の効率的な探索のアプローチを提案した - 探索範囲を絞る - 有⽤な次元を重点的に探索する 【実験結果】 提案⼿法は⾼次元の場合に嗜好画像を少ないイテレーション数で⽣成できた 【今後の展望】 - 多腕バンディットで選択する次元を複数選択する - さらなるユーザの情報を取り⼊れる まとめ 20
21. Appendix 21
22. 類似度の関係 22
23. 次元削減によるStyleGAN の表現⼒の変化 23
24. ⽬標画像によって、適したパラメータの値は異なる可能性がある Appendix: 探索と活⽤を調整するパラメータによる違い 24
25. Appendix: 主成分分析の累積寄与率 25