2026_09_15_WebDB_LY研究.pdf

Transcript

1. 3B-2 WebDB夏のワークショップ2026 相対的に固有な変換特徴の言語化による 自然言語クエリからの画風変換LoRAモデル検索 金田 悠路（静岡大学） 杉田 大知（静岡大学） 大江 優真（静岡大学） ファム フーロン（筑波大学） 加藤 誠 （筑波大学） 大島 裕明 （兵庫県立大学） 藤田 澄男 （LINEヤフー株式会社） 莊司 慶行 （静岡大学）
2. 大量のLoRAモデルの効率的な管理が必要！ 1 生成AIの実利用ではLoRAが必須 ブランドロゴ製作 ロゴLoRA 独自の 画像生成AI 各業務用の LoRA を 大量に管理する必要 マニュアル製作 図解LoRA 今使いたいLoRAを検索したい！ メタデータの ないLoRAが 検索できない… LoRAデータベース 建物写真を 設計スケッチ風に 変換したい メタデータ 一致検索 メタデータ #図解 #マニュアル メタデータ … なし メタデータなしでもユーザの要望を満たすLoRAモデルを検索したい！
3. アプローチ：LoRAの重みからテキストの要望に合ったLoRAを検索 2 入力 出力 視覚的な変換要望 入力の変換が可能なLoRA 建物写真を設計 スケッチ風に変換したい 提案手法 テキストに合ったLoRAを LoRAの持つ重みから検索 変換例 こういう変換ができるLoRAが欲しい！ その変換が可能なLoRAを検索可能に というキーワードから
4. テキストとLoRAモデルを同一ベクトル空間に埋め込む対照学習 3 LoRA重み 画風変換 紐づけが必要 荒い筆づかいの油絵風に変換 ❶データセット構築 ❷Two-Towerアーキテクチャ構築 変換特徴テキスト 荒い筆づかい の油絵風に LoRA重み テキストベクトル Text Encoder 同一ベクトル空間になるように学習 LoRA Weight Encoder Loss LoRAベクトル
5. 提案手法の概要 データセット構築 ➀LoRA固有の変換特徴の言語化 モデルアーキテクチャ構築 ➁変換特徴テキストのベクトル化 ③モデルの重みからLoRAのベクトル化 ④テキストとLoRAを対応付ける対照学習 4
6. 提案手法の概要 データセット構築 ➀LoRA固有の変換特徴の言語化 モデルアーキテクチャ構築 ➁変換特徴テキストのベクトル化 ③モデルの重みからLoRAのベクトル化 ④テキストとLoRAを対応付ける対照学習 5
7. データセット構築：➀LoRA固有の変換特徴の言語化 6 LoRAに紐づける変換特徴を言語化したテキスト うねる筆致の油絵風 淡い色彩の印象画風 顔や形を大胆に崩した絵画風 ゴッホLoRA モネLoRA ピカソLoRA そのLoRA固有の変換特徴を言語化したテキストが必要！ VLMでのキャプショニングではLoRA固有な特徴の言語化が不可！ ゴッホLoRA による変換画像 変換特徴テキスト VLM 色を派手に した油絵風 VLMのみでの相対的に固有な特徴の言語化は困難 LoRA固有の変換特徴の言語化のための工夫 ❶複数のLoRAによる変換例 ❷VLMとLLMを用いた 段階的なキャプショニング
8. データセット構築：VLMとLLMの役割を明確にした三段階の特徴抽出とクエリ化 対象LoRA固有特徴 元画像ID：1 LoRA ID：00231 対象LoRAの特徴：[warm, …], 負例と比較した特徴：[pallet, …], LoRA ID：00231 対象LoRA固有特徴：[warm, …], 負例と比較した特徴：[pallet, …], 複数元画像に 対する特徴から 共通特徴を抽出 8つのシナリオに 沿ったLoRA検索 クエリを考えて LLM VLM … 対象LoRAの特徴：[warm, …], 他LoRAと比較した特徴：[pallet, …], VLMには最低限の推論で言語化 対象LoRA固有特徴 LoRA ID：00231 対象LoRA固有特徴：[warm, …], 負例と比較した特徴：[pallet, …], … 他LoRAの変換画像 … 対象LoRA の変換画像 元画像ごとの変換特徴集合 LLM 対象LoRAとクエリ群 LoRA ID：00231 use_case_query：Transform photo into an abstract … 元画像 2段階目 LoRA固有特徴抽出 3段階目 多様な検索クエリ化 … 1段階目 相対的な視覚特徴抽出 7 LLMでのクエリ化のための整理 検索シナリオに沿ったクエリ化
9. 実際に言語化されたLoRAの変換特徴とクエリを想定した言い換え ゴッホLoRAで画風変換 変換特徴テキスト 厚塗りの油彩表現に変換する。うねるような力強い 筆致と鮮やかな色彩を加え、情熱的で躍動感のある 雰囲気に仕上げる。 ゴッホLoRAに付与される様々な検索クエリを想定した言い換え 用途から検索するクエリ 写真を力強い油絵風にしたい 印象から検索するクエリ 情熱的で躍動感の ある雰囲気にしたい 実際にクエリとして入力されそうな8種類の説明文を生成 8
10. 提案手法の概要 データセット構築 ➀LoRA固有の変換特徴の言語化 モデルアーキテクチャ構築 ➁変換特徴テキストのベクトル化 ③モデルの重みからLoRAのベクトル化 ④テキストとLoRAを対応付ける対照学習 9
11. ➀変換要望を抽出したテキストのベクトル化 10 目的 変換特徴に含まれる画像関連単語に強いベクトル化 入力 LoRAの 変換特徴テキスト 設計 スケッチ風に 事前学習済み Open CLIP ViT-32/B 仮定：画像に関する単語が変換特徴に Stable Diffusionの学習などに使用される LAION-2Bで画像-テキストの事前学習 LoRAの変換特徴 テキストベクトル Projection層 テキストとLoRAの 共通埋め込み空間の調整 LoRAの変換特徴を表すテキストを 画像関連用語に強いエンコーダでベクトル化
12. ➁LoRAの重みからレイヤ構造に注目したLoRAのベクトル化 11 目的 LoRAの重みやレイヤ間の持つ特徴から変換能力を抽出 LoRA重み Unet 1層 Unet 2層 … Flat化 & 次元圧縮 Layer-wise LoRA Encoder （Kanada et al., ICMR2026） Transformer Encoder MLP層 LoRA重みの持つ各レイヤを 系列データとして特徴抽出 Projection Layer LoRA ベクトル LoRAとテキストの 共通埋め込み空間の調整 LoRAの重みから抽出した特徴をprojection層で テキストと同一に扱えるように調整
13. ③双方向Multi-Positive対照学習による最適化 入力 LoRAの変換特徴 設計 スケッチ風に 12 提案手法 テキストの ベクトル化 同一ベクトル空間に なるように学習 LoRA重み LoRAの ベクトル化 テキスト ベクトル Loss 双方向Multi-Positive 対照損失 テキストと ・紐づいた 全てのLoRAを近くに ・紐づいていない 全てのLoRAを遠くに ベクトル空間 × ・ × × × × × CLIPで用いられる双方向学習 画像→LoRAからのLoss 目的 共通ベクトル空間内の整列 LoRAベクトル LoRA→画像からのLoss テキスト→LoRA 双方のロスを最小化し 片側の特徴空間の LoRA→テキスト 偏りを回避
14. テキストとLoRAを共通ベクトル空間に埋め込む Two-Tower アーキテクチャ 入力ペア LoRAの変換特徴 設計 スケッチ風に テキストのベクトル化 事前学習済み Open CLIP Text Encoder Projection Layer Multi-Positive 対照損失 LoRAのベクトル化 … Flatten & PCA LoRA重み パラメータ 13 Layer-Wise Projection LoRA Encoder Layer フィードバック
15. 実際に検索されたLoRAのケーススタディ 14 Create an opaque gouache painting with simplified shapes and velvety color fields. Create a graphic comic-book rendering with heavy inks, halftone shading, and punchy colors. 単純化された形とベルベットのような 色面を持つ、不透明なガッシュ画に。 1位のLoRAによる変換画像 太いインク線、網点の陰影、鮮烈な色を 持つ、グラフィックなコミック調に。 元画像❶ 元画像❷ 1位のLoRAによる変換画像 元画像❶ 元画像❷
16. 評価実験 15 アーティスト作品から作成した画家LoRAを対象 ➀データセットの品質評価 得られたテキストが LoRA固有な変換特徴を 言語化できているか 識別性 多様性 の観点で評価 ➁LoRAモデル検索SoTA手法との性能評価 正解のないオープンエンドクエリに対する評価
17. データセット構築方法の妥当性を明らかにする比較手法 16 提案手法：VLMとLLMの組み合わせキャプショニング 変換特徴 テキスト ゴッホLoRA変換 元画像 無し 他LoRAの 変換例無し 1段階目 VLM 相対的な 視覚特徴抽出 2段階目 LLM 3段階目 LLM LLMによる 多様な LoRA固有の 固有特徴抽出無し 検索クエリ化 特徴抽出 うねる筆致の 油絵風 その他のLoRA変換 VLMへの画像の与え方を変えた比較手法 ➀元画像と変換画像 負例LoRAによる変換画像 ➁元画像と 変換画像のペア ③単一変換画像のみ VLMへの画像の与え方・提案手法のLLMによる固有特徴抽出の有効性等を評価
18. ➀変換特徴テキストの品質：データセットの作り方で識別性が変わるか 知見 LLMによるLoRA固有表現の抽出が識別性を向上 変換特徴の 同一LoRA内でのまとまりと 他LoRAとの紛れやすさの差分 手法名 提案手法 Gap↑ クラスタ観点から 見る同じLoRA内の 意味的なまとまり度合 Silhouette↑ -0.030 -0.086 元画像と正例・負例の変換画像 ***-0.057 ***-0.320 元画像と正例変換画像 ***-0.081 ***-0.258 変換画像のみ ***-0.053 ***-0.284 ・提案するデータセットが相対的に識別性が高いテキストに ・VLMからの直接的な変換特徴の言語化は識別性を低下 17
19. ➀データセットの品質：提案手法のテキスト様式の違いを考慮した補助評価 知見 18 LoRAの識別に有効な変換特徴の言語化を実現 同一LoRAにつく変換特徴テキストが 他LoRAテキストよりも類似か ゴッホLoRA 抽象的に画風変化 変化内容形式 形式の違いをそろえ 提案手法の識別性を評価 ゴッホLoRA 抽象画 手法名 AUC 提案手法 0.857 Pairwise Acc 0.892 タグ形式 モネLoRA 印象派 タグ形式 形式上の多様性を保持し LoRAの識別に有効な変換特徴を言語化
20. ➀変換特徴テキストの品質：同一LoRA内で多様な変換特徴テキストが付与 知見 19 簡潔性を保ちつつ語彙的に多様な検索クエリを生成 手法名 一つのLoRAにつく 変換特徴の重複度 一つのLoRAにつく 変換特徴の語彙多様性 Self-BLEU-2↓ Distinct-2↑ 平均単語数 0.779 ± 0.000 8.500 元画像と 正例・負例の変換画像 元画像と正例変換画像 ∗∗∗(0.534 ± 0.001) ∗∗∗(0.655 ± 0.001) 20.920 ∗∗∗(0.599 ± 0.001) ∗∗∗(0.636 ± 0.001) 30.990 変換画像のみ ∗∗∗(0.606 ± 0.001) ∗∗∗(0.614 ± 0.001) 32.270 提案手法 0.440±0.000 提案手法が簡潔な検索クエリの中で多様な表現を生成可能！
21. ➁SoTA手法との評価：正解のないオープンエンドクエリに対する評価 20 検索性能の手法間比較を被験者・VLM-as-a-Judgeで評価 テキストに忠実な変換はどっち？ 陰影を特徴とする より洗練された外観を 適用するLoRA 元画像 VLM（Qwen3）が 全ペアワイズを判定 被験者3人が 一部のペアワイズを判定 AutoLoRA 提案手法 VLMと被験者の回答の一致度をもとに信頼性の担保する自動評価を実施
22. ➁先行研究AutoLoRAとの評価：オープンエンドクエリに対する検索性能 知見 21 SoTA手法よりも検索クエリに近い変換機能を持つLoRAを上位に 100クエリに対するVLMのペアワイズ評価 手法名 Top-1 Wins nDCG@5 提案手法 27 0.530 19 0.504 AutoLoRA ・VLMと被験者の回答の優劣が一致 ・VLMが勝敗を付けた150件のペア に対する被験者の回答の一致率が73.7% LoRA固有の変換特徴とレイヤ構造に注目した LoRAベクトルの関係性学習が有効
23. 実験結果まとめ ➀データセットの品質評価 提案手法により得られたLoRAの変換特徴を表すテキストが LoRAの識別に有効・簡潔性を保ちつつ語彙的に多様 ➁LoRAモデル検索SoTA手法との性能評価 提案手法がSoTA手法を上回り 検索クエリに近い変換機能を持つLoRAを上位に 22
24. 本発表のまとめ 23 相対的に固有な変換特徴の言語化による自然言語クエリからのLoRAモデル検索 テキストと類似するLoRAモデルを同一ベクトル空間に埋め込む対照学習 データセットの構築 ➀LoRA固有の変換特徴の言語化 アーキテクチャの構築 ➁変換特徴テキストのベクトル化 ③重みからレイヤ構造に注目したLoRAのベクトル化 ④テキストとLoRAを対応付ける対照学習 得られた知見 LoRA固有の変換特徴と レイヤ構造に注目したLoRAベクトルの関係性学習が有効
25. 補足資料 24 p.25～28 Layer-wise LoRA Encoderについて p.29 8種類の検索シナリオに沿った言い換え p.30 正解のないクエリの生成 p.31 オープンエンドクエリに対する検索結果詳細 p.32～33 評価指標の説明 p.34～35 正解のある検索評価 p.36 VLMの判定割れ
26. ➀LoRAのパラメータをレイヤ単位でflat化・PCAによる次元圧縮 25 目的 複数のレイヤからなるLoRAのもつ特徴を保持しながらNNで扱える形に変換 LoRAのパラメータ Text_encoder 1層目 LoRAのパラメータ （Flat後） Text_encoder 1層目 LoRAの パラメータ 低ランク 低ランク 圧縮行列 復元行列 Text_encoder 2層目 Text_encoder 2層目 Text_encoder 3層目 Text_encoder 3層目 ・ ・ ・ レイヤごとの処理でLoRAを… ・ ・ ・ レイヤ内の 特徴量を抽出 Incremental PCA LoRAのパラメータ （次元圧縮後） Text_encoder 1層目 Text_encoder 2層目 Text_encoder 3層目 ・ ・ ・ LoRAのもつパラメータ特徴や構造的特徴を保持 NNで計算可能な圧縮ベクトル系列に
27. ③Triplet Networkによる距離学習 26 目的 モデルパラメータが持つ特徴を相対的な類似性から学習 仮定 人間に判断可能なLoRA同士の類似性は絶対的ではなく相対的 学習時の入力 LoRA1 アンカー例 提案エンコーダ MLP層 Transformer Encoder LoRA2 重みの共有 提案エンコーダ 正例 負例 学習時の出力 LoRA1 LoRA2 重みの共有 LoRA3 提案エンコーダ Triplet Loss LoRA3 Triplet Lossによる相対的類似性の学習 Triplet Lossで学習後の潜在空間 アンカー例 正例 負例 似ているペアを近くに 似ていないペアを 遠くに学習 より人間の直感に近い形で モデルの類似関係を学習
28. 提案エンコーダの詳細構成：Transformerによる相互関係の学習 27 エンコーダの目標： LoRAのレイヤ間の相互関係と構造的重要度を考慮した表現学習 系列間の相互関係学習が得意なTransformer Encoderを採用 仮定 LoRAレイヤのもつ変換機能がレイヤをまたいで相互に依存 LoRAの LoRAの レイヤ意味ベクトル列 圧縮ベクトル系列 … Text_encoder 2層目 Unet_up_blocks 4層目 Transformer Encoder 絶対 位置 encoding 絶対位置encoding で レイヤ構造情報を付与 Multi Head Attention Text_encoder 1層目 Text_encoder 2層目 FFN ×N … Text_encoder 1層目 Unet_up_blocks 4層目 Attentionでレイヤ間の 相互関係を学習 LoRAを系列データとしてレイヤ間の相互関係を学習
29. 提案エンコーダの詳細構成：MLPによるLoRA識別に対するレイヤの重要度学習 28 エンコーダの目標： LoRAのレイヤ間の相互関係と構造的重要度を考慮した表現学習 レイヤごとのMLPでLoRA識別に対する重要度を考慮 仮定 LoRAのもつレイヤごとでLoRA識別時に重要度が異なる レイヤ意味ベクトル列 Text_encoder 1層目 MLP層 MLP LoRAの特徴を 反映したベクトル 重みの共有 MLP … … Text_encoder 2層目 Unet_up_blocks 4層目 全 全 結 結 GeLU 合 合 層 層 Soft max あるレイヤがLoRA識別タスクに どれくらい寄与するかを重みとして算出 重みの共有 重み ベクトル 0.3 0.2 重みベクトル × レイヤ意味ベクトル 0.5 MLP 各レイヤのLoRA識別に対する 重要度を考慮したLoRAベクトルを獲得 LoRA識別タスクに対する各レイヤがもつ構造的な重要度を学習
30. 最終的に得られる一つLoRAに対する8つの検索クエリシナリオにあったテキスト 29 ゴッホLoRA 見た目の特徴から検索 自然な要望文から検索 柔らかく落ち着いた色調、絵画的な 見た目、抽象寄りの印象派風 スタイル、大胆な筆致、鮮やかな色彩 この画像を、大胆な筆致を持つ 抽象印象派風の絵画のようにして 短いキーワードで検索 用途から検索 抽象印象派風、 柔らかく落ち着いた雰囲気 写真を、大胆な筆致のある 抽象印象派風アート作品に変換する 変化内容から検索 印象から検索 大胆な筆致のある抽象 印象派風の絵画表現に変える タグで検索 抽象印象派, 絵画調, 大胆な筆致, 落ち着いた色, 鮮やかさ 柔らかく落ち着いた絵画が、 抽象印象派風の名作のような 表現に変化したもの 入力画像によらない変換能力から検索 画像を、大胆な筆致を持つ 抽象印象派風スタイルに変える
31. 評価時に使用する正解を定義しない検索クエリの作成 30 作成方法：8つの検索クエリパターンに沿った生成 Qwen2.53B-instruct text a {person} in … text a {man} under… … visual_attribute_query short_search_query before_after_query tag_query natural_language_request use_case_query impression_query input_independent_capability_query 上記8つの検索クエリパターンに倣い 各パターンで20個づつ LoRAの検索クエリを考えて 合計100個の評価用プロンプトを作成 クエリの偏りを抑えつつ多様な検索クエリの生成を可能に
32. ➁先行研究AutoLoRAとの評価：オープンエンドクエリに対する検索性能 知見 31 簡潔性を保ちつつ語彙的に多様な検索クエリを生成 100クエリに対するVLMのペアワイズ評価 手法名 Top-1 Wins nDCG@5 提案手法 27 0.530 AutoLoRA 19 0.504 100クエリ中10クエリに対する 被験者三人によるペアワイズ評価結果 残り53件はTieと判定 1件は同じLoRAが上位に 100クエリ中10クエリに対する 被験者三人によるペアワイズ評価結果 提案手法が簡潔な検索クエリの中で多様な表現を生成可能！
33. ➀変換特徴テキストの品質評価：識別性の観点 32 評価観点 LoRAの識別を可能にする固有なテキストか VLMへのデータの与え方・固有表現抽出の有無によるテキスト品質比較 LoRA➀ 暖色系の色彩 を強めに LoRA➁ … 粗めの筆致 画風に Sentence BERT ・ ×・ ・・× ・ ・ ・・ Intra 同じLoRAのテキストの 意味的なまとまり度合 Inter 他LoRAのテキストに 紛れやすい度合 識別可能度合 Gap = Intra - Inter Silhouette クラスタ観点から見る 同じLoRAのテキスト Score まとまり度合
34. ➀変換特徴テキストの品質評価：多様性の観点 評価観点 同一LoRAにつく変換特徴が冗長なテキストでないか Self-BLEU-2 LoRA➀ 暖色系の色彩 を強めに 同じLoRAにつくテキストが どれくらい重複しているか Bigramの一致から文字面の重複度を算出 LoRA➁ … 粗めの筆致 画風に Distinct-2 同じLoRAにつくテキストが 語彙的に多様か Bigramの種類の豊富さから多様な表現か 単語数の影響を受けるため平均単語数と併せて評価 33
35. ➀変換特徴テキストの品質：評価用ペアデータに対するLoRA検索 34 評価観点 学習に有効なテキストデータか検索精度から間接的に評価 出力 入力 クエリを実現しそうLoRAランキング ゴッホLoRAの変換特徴クエリ 順位 "a LoRA that applies a more polished appearance characterized by texture, contrast, shading" 1 比較手法 LoRA ゴッホLoRA 2 モネLoRA LoRAプール 3 … … … 合計800個のLoRAから検索 ピカソLoRA 検索対象のLoRA群から 正解LoRAをどれだけ 上位に持ってこれるか
36. ➀変換特徴テキストの品質：評価用ペアデータに対するLoRA検索性能 知見 35 生成された変換特徴テキストが教師データとして有効 手法名 提案手法 元画像と正例・負例の変換画像 元画像と正例変換画像 変換画像のみ MRR↑ Hit@1↑ Hit@5↑ 0.490 0.737 0.737 ∗∗∗0.043 ∗∗∗0.018 ∗∗∗0.014 ∗∗∗0.002 ∗∗∗0.017 ∗∗∗0.004 ∗∗∗0.049 ∗∗∗0.014 ∗∗∗0.016 ∗∗∗0.075 ∗∗∗0.024 ∗∗∗0.030 0.602 Hit@10↑ 提案手法によって生成された変換特徴テキストが学習に有効 評価用テキストが提案手法と多様な検索クエリ化以外 同じ過程で作成されているため平等な実験になっていない可能性
37. ➁先行研究AutoLoRAとの評価：オープンエンドクエリに対する検索性能 知見 36 SoTA手法よりも検索クエリに近い変換機能を持つLoRAを上位に 100クエリに対するVLMのペアワイズ評価 手法名 Top-1 Wins 提案手法 27 0.530 ・VLMが勝敗を付けた150件のペア 19 0.504 AutoLoRA nDCG@5 ・VLMと被験者の回答の優劣が一致 に対する被験者の回答の一致率が73.7% 残り53件は引き分けと判定 1件は同じLoRAが上位に LoRA固有の変換特徴とレイヤ構造に注目した LoRAベクトルの関係性学習が有効
38. VLMの判定が難しい画家LoRAの検索についてのケーススタディ Create an opaque gouache painting with simplified shapes and velvety color fields. 単純化された形とベルベットのような色面を持つ、 不透明なガッシュ画にしてください。 元画像 被験者 & VLM の判定が一致 Win 提案手法 AutoLoRA VLM の判定が tie 提案手法 AutoLoRA
39. VLMの判定が難しい画家LoRAの検索についてのケーススタディ Create a graphic comic-book rendering with heavy inks, halftone shading, and punchy colors. 太いインク線、網点の陰影、鮮烈な色を持つ、 グラフィックなコミック調にしてください。 元画像 被験者 & VLM の判定が一致 Win 提案手法 AutoLoRA VLM の判定が tie 提案手法 AutoLoRA