[CV勉強会＠関東 CVPR2026] PSDesigner: Automated Graphic Design with a Human-Like Creative Workflow / kantocv 67th CVPR 2026

デザイン素材収集と、Photoshopの操作履歴から学習した Vision and Language Model (VLM) によるツール呼び出しの計画・実行を組み合わせ、Agentic に複雑なレイヤー構造をもつ編集可能なデザインを生成する PSDesigner について紹介します。

■ 第67回 コンピュータビジョン勉強会＠関東（前編）
https://kantocv.connpass.com/event/397919/

■ 登壇概要
タイトル：PSDesigner: Automated Graphic Design with a Human-Like Creative Workflow

Transcript

1. © LY Corporation AI CBU / Visual Generation Dept. Shunsuke Kitada, Ph.D. HP: shunk031.me / 𝕏: @shunk031 ※本発表で紹介する図や数式は 対象の論文およびブログ記事から 引用しております PSDesigner: Automated Graphic Design with a Human-Like Creative Workflow Xincheng Shuai1, Song Tang1, Yutong Huang1, Henghui Ding1, Dacheng Tao2 1Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University 2Generative AI Lab, College of Computing and Data Science, Nanyang Technological University, Singapore Project page: henghuiding.com/PSDesigner/, CVF: openaccess.thecvf.com 第67回 コンピュータビジョン勉強会＠関東（前編）#cvsaisentan
2. © LY Corporation 経歴 • ʻ23/04 LINE ➜ ʻ23/10 LINEヤフー Research Scientist • ʻ23/03 法政⼤学⼤学院 彌冨研 博⼠ (⼯学) / 学振 DC2 研究分野 • ⾃然⾔語処理 (NLP) / 画像処理 (CV) ◦ 摂動に頑健で解釈可能な深層学習 [Kitada+ IEEE Accessʼ21, Appl. Intell.ʼ22] • 計算機広告 (Multi-modal / Vision & Language) ◦ 効果の⾼いデジタル広告の作成⽀援 [Kitada+ KDDʼ19] ◦ 効果の低いデジタル広告の停⽌⽀援 [Kitada+ Appl. Sci.ʼ22] • デザイン⽣成 AI ◦ 離散拡散モデルで⽣成されたレイアウトの再調整 [Iwai+ ECCVʼ24] ◦ LLMによるレイアウトの⽣成に対する⾃⼰修正 [Zhang+ arXivʼ24] ◦ ⽥植えをするように潜在表現を植える画像⽣成 [Nagai+ CVPR-Fʼ26] ⾃⼰紹介: 北⽥俊輔 Shunsuke KITADA 2 🏠: shunk031.me / 𝕏: @shunk031 画像生成AIにおける拡散モデルの理論と実践 リサーチサイエンティスト 北田俊輔 www.youtube.com/watch?v=-IPEUOcPTas Pythonで学ぶ画像生成 北田俊輔 インプレス社 https://book.impress.co.j p/books/1123101104
3. © LY Corporation デザインのズレを思考を経て 修正アクションを予測するモデルの提案 • デザインの⽣成はある程度できてきている ➜ ⽣成結果の修正・編集は依然として弱い デザイン修正を⽅策学習として定式化 • 正常デザインにズレ・重なり・スタイル崩れを 加え問題要素と修正操作の教師データを作成 • 修正は⼀意ではないため、制約改善と最⼩編集を 報酬として強化学習の GRPO を応⽤ ➜ 今回紹介する PSDesigner も関連研究！ 【宣伝】MIRUʼ26 でポスター発表します！ 3
4. © LY Corporation プロのデザイナーレベルの情報を扱う VLM モデルの学習⽅法に興味あり • プロは基本 Photoshop 等のプロ⽤ソフトウェアを使⽤ ◦ 既存研究はもう少しシンプルな設定 ◦ こうしたクリエイティブデザインソフトを LLM/VLM は扱えるか？ 実際の PSD ファイルをベースとしたデータセットの構築 • どうやってデータを収集したか？どのようにデータを処理して構築したか？ ◦ 実際に modelscope.cn/song322/CreativePSD として公開されているのも好印象 Photoshop を扱えるような VLM モデルの学習⽅法の模索 • どういうモデルをベースにどのような学習⽅法を採⽤しているか気になる ◦ 昨今よくある SFT + GRPO の枠組みを採⽤しているらしいが、詳細は？ 本論⽂の選定理由 4
5. © LY Corporation グラフィックデザイン: 広告・ブランディング・マーケティングの中核 • 視覚情報と⾔語情報を同時に伝達 • Photoshop などの専⾨ツール操作が前提 • ⾮専⾨家には専⾨知識・作業コストが障壁 ⼈間デザイナーの典型的ワークフロー • テーマ関連アセットの収集 • アセットを段階的に PSD ファイル統合 • 現在の⾒た⽬に基づくレイヤー修正 Photoshop の PSD ファイルの特徴 • 同⼀視覚概念ごとのレイヤーグループ • エフェクト・マスクなど複雑な属性設定 • 製品レベルデザインでは深い階層構造 導⼊ 1/3 | グラフィックデザイン⾃動化の課題 5
6. © LY Corporation ラスタ表現：Text-to-Image (T2I) ベースのデザイン画像⽣成 • ⽂字⼊り画像⽣成 [Chen+ NeurIPS'23; Chen+ ECCV'24] ➜ ⽂字⽋落・余分な⽂字・編集困難性が課題 ベクタ表現：MLLM ベースの編集可能デザイン⽣成 • JSON などのレイヤー属性を直接⽣成・位置・サイズなどをまとめて予測 • 画像レイヤー後にテキストレイヤー属性を推定 [Lin+ CVPR'25] 主要な課題 導⼊ 2/3 | 既存⼿法の限界 ラスタ表現 vs. ベクタ表現 6 • ⼈間がデザインするときの、素材を置いて⾒ながら直す流れに近くない • 既存⼿法では実際の Photoshop デザインほど複雑な編集構造を扱えない
7. © LY Corporation PSDesigner: ⼈間らしい創造的なデザインシステム • 3つのモジュールから構成 関連アセット収集 / ツール呼び出し計画 / PSD ファイル直接操作 • Photoshop を操作するために必要なアクション列 JSON を⽣成 ◦ 画像の挿⼊、画像のサイズ・位置調整、テキストのドロップシャドウ反映、… CreativePSD: 操作履歴付き PSD データセット • ⾼品質 PSD ファイルと操作履歴・幅広いデザインシナリオ・芸術スタイル • PSD 形式に基づく初のデザインデータセットと主張 導⼊ 3/3 | 提案⼿法 PSDesigner / CreativePSD 概要 7
8. © LY Corporation T2I モデルの⽂字描画能⼒向上 • ⽂字レベルエンコーダによる 正確な visual text rendering Glyph-ByT5 [Liu+ ECCV'24] • 多⾔語テキストエンコーダによる ⽂字表現強化 Seedream [Gao+ arXiv'25] • Glyph 画像条件付けによる未知⽂字⽣成 AnyText / GlyphDraw [Tuo+ arXiv'23; Ma+ arXiv'23] 残る課題 • ⽂字⽋落・余分な⽂字の混⼊ • 編集不能なラスター画像 • カスタムアセット追加 ・細かな修正が困難 関連研究 1/3 | ⽂字描画 T2I (ラスタ表現) の限界 8 From [Chen+ ECCV'24] From [Tuo+ arXiv'23]
9. © LY Corporation Multi-modal Large Language Model (MLLM) によるデザイン⽀援 • Qwen2-VL [Wang+ arXiv'24] / InternVL [Chen+ CVPR'24] などのMLLM ベースのデザイン⽣成 ◦ ロゴ・テキストなどのレイアウト推定が中⼼ ◦ 包括的な制作ワークフローとしては不⼗分 ユーザー意図から最終デザインへの直接⽣成 • 複数タスク特化モデルによる 多層・編集可能デザイン⽣成 COLE / OpenCOLE [Jia+ arXiv'23, Inoue+ CVPRWʼ24] • 統⼀モデルによるマルチモーダル アセットと属性⽣成 IGD [Qu+ ICCV'25] 単純なデザインシナリオに限定 • 浅いレイヤー階層・限定的な属性タイプ • ⼈間デザイナーの創造的ワークフローとの乖離 関連研究 2/3 | ベクタ表現ベースのグラフィックデザインシステム 9 From [Qu+ ICCV'25]
10. © LY Corporation RLHF: ⼈間選好に沿ったモデル出⼒の最適化 • 下流タスク性能の改善に有効 • DPO 系: 選好ペアから勝ちサンプルへ近づける学習 [Rafailov+ NeurIPS'23; Wallace+ CVPR'24] • 安定だが汎化に課題が出る場合あり PPO 系の強化学習 • PPO: 価値推定に基づく ⽅策勾配最適化 [Schulman+ arXiv'17] • Flow-GRPO などの PPO 系発展 [Liu+ arXiv'25] GRPO [Guo+ arXiv'25] の位置づけ • Reward モデルを不要化 • 計算量と性能のバランス 関連研究 3/3 | RLHF によるツール利⽤能⼒の強化 10 From [Guo+ arXiv'25]
11. © LY Corporation データセットの構築 | PSD操作履歴を学習データ化 11 CreativePSD の 3 段階データ構築パイプライン
12. © LY Corporation データセットの構築 | PSD操作履歴を学習データ化 12 CreativePSD の 3 段階データ構築パイプライン PSD ファイルを集める PSD ファイルを パースする パースした PSD ↓ 訓練データへ
13. © LY Corporation データセットの構築 | PSD操作履歴を学習データ化 13 CreativePSD の 3 段階データ構築パイプライン PSD ファイルを集める PSD ファイルを パースする パースした PSD ↓ 訓練データへ
14. © LY Corporation Stage I: PSD ファイル収集 • インターネット・有償データから PSD ファイルを収集 • アノテータが視覚的概念ごとにレイヤーをグループ化 • レイヤー種別ではなく、⾒た⽬上のまとまりで整理 Stage II: PSD ファイル解析 • 各レイヤーの raw asset を抽出 • レイヤー階層・属性メタデータを抽出 • 段階的な中間レンダリング結果を記録 Stage III: Tool-use training data 構築 • X gen ：アセットセット追加の教師データ • X edt ：レイヤー修正の教師データ • メタデータからルールベースで tool call を構築 データセットの構築 1/3 | PSD操作履歴を学習データ化 14
15. © LY Corporation Stage I: PSD ファイル収集 • インターネット・有償データから PSD ファイルを収集 • アノテータが視覚的概念ごとにレイヤーをグループ化 • レイヤー種別ではなく、⾒た⽬上のまとまりで整理 Stage II: PSD ファイル解析 • 各レイヤーの raw asset を抽出 • レイヤー階層・属性メタデータを抽出 • 段階的な中間レンダリング結果を記録 Stage III: Tool-use training data 構築 • X gen ：アセットセット追加の教師データ • X edt ：レイヤー修正の教師データ • メタデータからルールベースで tool call を構築 データセットの構築 1/3 | PSD操作履歴を学習データ化 15
16. © LY Corporation データセットの構築 1/3 | PSD操作履歴を学習データ化 16 Stage I: PSD ファイル収集 • インターネット・有償データから PSD フ • アノテータが視覚的概念ごとにレイヤーを • レイヤー種別ではなく、⾒た⽬上のまとま Stage II: PSD ファイル解析 • 各レイヤーの raw asset を抽出 • レイヤー階層・属性メタデータを抽出 • 段階的な中間レンダリング結果を記録 Stage III: Tool-use training data 構築 • X gen ：アセットセット追加の教師データ • X edt ：レイヤー修正の教師データ • メタデータからルールベースで tool call を構築
17. © LY Corporation データセットの構築 2/3 | Tool-use training data の作り⽅ 17 Asset Integration X gen • ⼊⼒: アセット a、先⾏レイヤー情報 M、 現在レンダリング R • 出⼒: 統合⽤ツール呼び出し x gen Layer Refinement X edt • ⼊⼒: 歪ませたメタデータ M、 現在レンダリング R、適⽤前レンダリング G • 出⼒: 復元⽤ツール呼び出し x edt 不要な修正を避ける正例 • 元のメタデータ・レンダリングを使⽤; x edt は空 • 最適状態では「何もしない」ことも学習
18. © LY Corporation データセットの構築 3/3 | 既存データセットより複雑な PSD 表現 18 既存データセットの主な制約 • 既存データセットは主に image・text レイヤー中⼼・平均レイヤー数は約 4 〜 5 層 • 属性タイプも bbox・position・font などに限定 CreativePSD の規模・表現⼒ • 10,454 PSD サンプル・平均 48.35 レイヤー / サンプル・5 種類のレイヤータイプ • effects・opacity など 60 超の属性タイプ • ブレンドモード・レイヤーエフェクト・クリッピングマスクを含む
19. © LY Corporation 3コンポーネント構成 • AssetCollector: ユーザー指⽰からアセットを収集 • GraphicPlanner: 現在のデザインからツール呼び出しを予測 • ToolExecutor: Photoshop 上で PSD を直接操作 bottom-up な階層⾛査 • まずグループ単位・次にアセット単位 / 視覚的概念ごとにまとまった PSD 構成 PSDesiner 1/4 | 「集める・置く・直す」を反復 19 各反復の流れ • X gen : 新規アセットの統合 • X edt : 不⼗分なレイヤーの修正 • 全アセット統合まで繰り返し
20. © LY Corporation 視覚的概念の抽出 • ユーザー指⽰を学習済み LLM に⼊⼒ • デザインに必要な視覚的概念 / Visual Concepts を特定 例: 背景、商品、タイトル、装飾要素など 概念ごとのアセット収集 • 画像アセット: インターネット / データベース / 画像⽣成モデル から取得 • テキストアセット: LLM から⽣成 PSDesiner 2/4 | AssetCollector によるアセット収集 20
21. © LY Corporation SFT Phase • 事前学習済み VLM をベースに [Wang+ arXiv'24] • X gen / X edt ごとの LoRA を訓練 • CreativePSD のツール呼び出し履歴を教師化 学習対象 • ⼊⼒: アセット a、観測 C • 出⼒: ツール呼び出し列 x • ⾃⼰回帰的に正解ツール列を予測 GRPO Phase • ツール名・パラメータ名・値の正確性に報酬 • グループ内報酬で利得 A i を正規化 • KL 正則化で SFT モデルからの逸脱を抑制 PSDesigner 3/4 | GraphicPlanner は SFT + GRPO でツール使⽤を学習 21
22. © LY Corporation Photoshop 連携による PSD 直接操作 • ToolExecutor とか⾔ってるけど GraphicPlanner が出⼒する JSON アクションを Adobe UXP (Unified Extensibility Platform) に対して JavaScript API を叩いて実⾏させる君 70種類以上のツール利⽤ • 画像・テキスト・調整レイヤーの挿⼊ • inner glow / drop shadow などのエフェクト適⽤ • 複雑なレイヤー属性を Photoshop 操作へ変換 画像⽣成ではなく操作アクション列を含む JSON ⽣成 • ベースモデル: Qwen2.5-VL-7B • SFT + GRPO によるツール使⽤学習 • PSD 操作履歴から⼈間的ワークフローを学習 PSDesigner 4/4 | ToolExecutor が 70+ Photoshop 操作を実⾏ 22
23. © LY Corporation 評価⽅法・観点 • VLM-as-a-judge (Qwen2.5-VL) で⾃動採点 / Human study で⼈⼿採点 の 10 点満点 ◦ Qua.: aesthetic quality、視覚的完成度 / Lay.: design layout、要素配置の⾃然さ / Rel.: content relevance、指⽰との⼀致 / Har.: color harmony、⾊彩調和 / Inn.: innovation、創造性 評価1: ユーザー指⽰ → 最終デザイン • ⼊⼒: 英語・中国語のユーザー指⽰ 250 件 / 出⼒: 完成デザイン ◦ ⽐較: OpenCOLE [Inoue+ CVPRWʼ24], Bagel [Deng+ arXivʼ25], FLUX.1*, PosterCraft [Chen+ ICLRʼ26], CanvaGPT** 評価2: アセット → デザイン構成 • ⼊⼒: 与えられた画像・テキストアセット / 出⼒: アセットを配置したデザイン ◦ ⽐較: レイアウト⽣成 SoTA の LaDeCo [Lin+ CVPRʼ25] on Crello-v5 [Yamaguchi ICCVʼ23] test set 評価3: 複雑 PSD での追加評価 • ⼊⼒: 著作権フリー PSD 200 件 / 出⼒: 複雑なレイヤー階層を持つ PSD デザイン ◦ ⽐較: PSDesigner のアブレーション 実験設定 | 評価⽅法と評価観点 23
24. © LY Corporation ユーザー指⽰ → 最終デザイン⽣成 • 提案⼿法と既存⼿法の出⼒を⽐較 • 英語・中国語のデザイン例を提⽰ ⽐較⼿法の傾向 • 多くは⾮編集可能なラスター画像 • OpenCOLE は編集可能だが 単純なレイヤー構成 • 複雑な⽂字では⽂字崩れ・⽋落が発⽣ PSDesigner の主張 • 複雑な PSD レイヤー階層を⽣成 • テキストレイヤーにより ⽂字精度を確保 • 編集可能性と視覚品質を両⽴ 結果 1/6 | 定性⽐較 24
25. © LY Corporation ユーザー指⽰ → 最終デザイン⽣成 • VLM 評価 + Human 評価 / Qua., Lay., Rel., Har., Inn. を 1〜10 点で採点 主要な結果 • Layout: PSDesigner が最良 ➜ VLM 8.68 / Human 9.12 Harmony も⾼⽔準 ➜VLM 8.02 / Human 7.72 • 画質だけでなく、配置・調和・編集可能性が差分 PSDesigner は総合的に競争⼒のあるデザイン品質 結果 2/6 | 定量⽐較 25
26. © LY Corporation 結果 3/6 | Crello データセットにおける定性⽐較 26 アセット → デザイン構成 • ⼊⼒アセットを与えてレイアウトを構成。Crello データセットで LaDeCo と⽐較 LaDeCo の傾向 • 主要被写体の遮蔽 • 要素配置の不⾃然さ • レイアウト破綻が⼀部発⽣ GraphicPlanner の傾向 • ⼀貫した要素配置 • 視覚的に⾃然な構成 • 影などのエフェクト 追加で調和を改善 レイヤーデザインデータセット [Yamaguchi ICCVʼ23] レイアウト⽣成の SoTA [Lin+ CVPRʼ25]
27. © LY Corporation 評価対象 • Crello のデザイン構成タスク • ⽐較: LaDeCo, Ground Truth / 指標: Qua., Lay., Har., Inn. ◦ Rel. は対象外;ユーザー指⽰との⼀致ではなく、 固定アセットの構成品質を⾒るタスク PSDesigner vs. LaDeCo • Qua.: 7.85 vs 5.95 • Lay.: 7.43 vs 6.03 • Inn.: 6.94 vs 5.75 結果の解釈 • PSDesigner は視覚的完成度・レイアウト (Lay.)・創造性 (Inn.) で LaDeCo を上回る ◦ 特に Layout の差から、アセット配置能⼒の改善を確認 • ⼀⽅で Color Harmony は LaDeCo が上回り、全指標で優位ではない 結果 4/6 | Crello データセットにおける定量⽐較 27
28. © LY Corporation 複雑 PSD アセット → PSD デザイン • 著作権フリー PSD を使⽤ • Crello より複雑なレイヤー階層 ◦ 提案⼿法の適⽤範囲を確認 PSD 固有の編集構造を保持 • 複数アセットを階層的に配置 • エフェクト・不透明度 ・ブレンドなどの属性を操作 結果の解釈 • 単純なポスター構成を超えた PSD 操作を実現 • 複数アセット・階層構造を持つ デザイン⽣成が可能 結果 5/6 | 複雑な PSD 定性結果 28
29. © LY Corporation ⽐較設定 • w/o X edt : 修正モードなし • w/o M: レイヤー情報なし • w/o RL: GRPO による後段最適化なし Crello-v5 での低下 • Ours: Qua. 7.85 / Lay. 7.43 • w/o X edt : Qua. 6.05 / Lay. 5.88 • w/o RL: Qua. 6.38 / Lay. 6.00 結果の解釈 • X edt : 「直す」⼯程に必要 • M: グループ内⽂脈の把握に必要 • RL: ツールパラメータ精度に寄与 結果 6/6 | アブレーションスタディ 29
30. © LY Corporation CreativePSD: PSD 操作履歴を含むツール使⽤学習データセット PSDesigner: 編集可能な PSD を⽣成する⾃動デザインシステム 気になったところ • PSD 収集・アノテーションコストや、商⽤利⽤時のアセット権利管理 • 70 以上のツールを本当に使いこなせてるのか？多数のレイヤーを正しく扱えているのか？ • 評価は VLM / Human による主観スコアが中⼼で、実際の編集しやすさの評価は限定的 まとめ | 編集可能な PSD ⽣成による⾮専⾨家⽀援 30