SSII2025 [OS3-02] 広告における画像生成技術の実応用の現状

Transcript

1. 広告における画像生成技術 の実応用の現状 下田 和（サイバーエージェント）
2. 2 サイバーエージェント, AI Lab - 広告画像のテキストに関連する研究 - 画像生成技術の広告画像への応用 下田 和（Shimoda Wataru）
3. 3 画像生成技術の躍進 DCGAN [Radford+, ICLR 2016] DALL·E 2, [Ramesh+, arXiv 2022] A photorealistic image of an astronaut riding a horse An infographic explaining newton's prism experiment in great detail GPT-4o Image generation [OpenAI, Blog 2025]
4. 4 画像生成タスクの性能は飛躍的に向上 - GPT-4o image generationの評価論文 - Reason-Edit benchmark - 画像編集タスク - by GPT image generation - 56.1% → 92.9% - WISE benchmark - 複雑な概念を理解した画像生成 - by GPT image generation - 50.0% → 80.0% 画像生成技術の躍進 GPT-ImgEval [Yan+, arXiv 2025]
5. 5 実応用における課題 添付したロゴを使って以下の文言を含んだ横長のバナーを作って "SSII 2025" "The 31st Symposium on Sensing via Image Information" "第31回画像センシングシンポジウム" "日程：025年5月28日 (水) 〜 2025年5月30日 (金)" "会場：東京ビッグサイト レセプションホールA・B"
6. 6 実応用における課題 フォントが味気ない 見切れている文字がある (金)の文字サイズがおかしい 余白が狭すぎる 元のロゴから微妙に変わ っている 漢字が部分的に崩壊
7. 7 ChatGPTのUI上での繰り返しのやり取りでの改善（約10回の生成） 実応用における課題
8. 8 実応用における課題 デザイナー GPT4o image generation
9. 9 多くの場合実応用においては100%に近い精度が求められる - hogehogeな時に失敗します→ 実応用になかなか繋がらない 実応用における課題 添付したロゴを使って以下の文言を含んだ横長のバナーを作って "SSII 2025" "The 31st Symposium on Sensing via Image Information" "第31回画像センシングシンポジウム" "日程：025年5月28日 (水) 〜 2025年5月30日 (金)" "会場：東京ビッグサイト レセプションホールA・B"
10. 10 画像生成技術は大きく躍進したが, 研究と実応用のギャップは依然として大きく 必要とされる品質に達しない場合が多数 画像生成技術の実応用における現状
11. 11 できることから - ピクセル単位のエラーは多少許される傾向 サイバーエージェントにおける画像生成技術の実応用例 https://www.cyberagent.co.jp/news/detail/id=29572 https://www.cyberagent.co.jp/news/detail/id=27041 商品画像の組み合わせを大量に自動生成 画像内の文字を自動除去
12. 12 ギャップを埋めていくために 画像生成技術の実応用に向けて
13. 13 画像生成結果にTypoが含まれてしまったら... 画像生成技術の実応用に向けてどういった研究が行われているのか
14. 14 画像生成技術の実応用に向けてどういった研究が行われているのか [ 下 田 + CVPR 2025 (Highlight)] [下田+ CVPR 2025 (Highlight)] 生成画像のTypoを自動で修正 - Type-R: Automatically Retouching Typos for Text-to-Image Generation
15. 15 画像生成技術の実応用に向けてどういった研究が行われているのか 画像を直接編集し修正を行うパイプラインの提案 - OCR x Optimal transport → Text erasing x layout生成 → Text 編集モデル x OCR [ 下 田 + CVPR 2025 (Highlight)] [下田+ CVPR 2025 (Highlight)]
16. 16 文字崩れが起きてしまった場合... 画像生成技術の実応用に向けてどういった研究が行われているのか
17. 17 画像生成技術の実応用に向けてどういった研究が行われているのか 生成画像のテキストをベ クターFormatに分解 Differentiable renderingによる最適化 [ 下 田 + ICCV 2021] [下田+ ICCV 2021]
18. 18 画像生成技術の実応用に向けてどういった研究が行われているのか Rendering engineで再描画可能 [ 下 田 + ICCV 2021] [下田+ ICCV 2021]
19. 19 ワークフローが実際のグラフィックデザインと違いすぎて既存のワークフローに組み込めない... 画像生成技術の実応用に向けてどういった研究が行われているのか プロンプト デザイン要件 - 商材の画像 - アスペクト比 - テキストのサイズ制限 - フォントの指定 - ブランディング Raster Vector
20. 20 画像生成技術の実応用に向けてどういった研究が行われているのか デザインの要件 → 背景画像生成 x 前景画像生成 x Vectorテキスト生成 実際のワークフローに近いデザイン画像の生成スキーム COLE, 2023
21. 21 画像生成技術の実応用に向けてどういった研究が行われているのか COLE, MSRA, arxiv’2023 OpenCOLE, CyberAgent, CVPRws 2024
22. 22 地道な課題解決の繰り返し - 精度, 操作性, 実行速度が障壁になってい ることが多い - スピード感は大事 基盤モデルの影響 - 目覚ましい進展速度 - 基盤モデルで解決しない部分の取り組みに 焦点を当てることも重要な研究の要素にな っていく 画像生成技術の実応用に向けて 今後の展望
23. 23 画像生成技術の実応用の話をあまり聞かない - 研究と実応用のギャップは依然として大きい 実応用に向けて現在どのような研究が行われているのか紹介 - Typo retouching - Text vectorization - Vector image generation 今後の展望 - 地道な課題解決が実応用に繋がっていくはず - 基盤モデルの影響力は大きい まとめ