2026_09_15_WebDB2026個人研究.pdf

Transcript

1. 3B-3 WebDB夏のワークショップ2026 画風変換LoRAの内部パラメータによる 著作権保護支援のための学習画像由来LoRA検索 金田 悠路 （静岡大学） 莊司 慶行 （静岡大学）
2. クリエイターはAIモデルに自分の作品が学習されているか不安 1 様々な作品を学習したLoRAモデルが共有 数十万件の LoRAが共有 ガンダムLoRA ポケモンLoRA 印象派LoRA 水墨画LoRA 抽象画LoRA クリエイターは自分の作品を学習されていないか不安 自分の作品がLoRAモデルに 学習されているかも… 生成画像例 … 検索 八大山人LoRA 自分の作品を学習したモデルを探す術がない！ LoRAモデルの普及でクリエイターが安心して創作活動できない！
3. アプローチ：入力した画像を学習に使用している可能性の高いモデルをランキング 入力 出力 一枚の画像 入力画像を学習データに 含んでいそうなLoRAランキング 順位 LoRA 提案手法 ベクトル空間 × ×× LoRAモデルと × × 画像を × × ×× 同じ空間で検索 ・ ・ ・ 2 1 … 2 学習データ 3 入力画像を学習している可能性のあるLoRAの絞り込みで クリエイターが安心して創作活動を可能に
4. 本研究の立ち位置：クエリ画像を学習データに含む候補LoRAを絞り込む一次検索 3 既存研究：一つの疑わしいLoRAを専用の分類器で高精度に判別 西洋画LoRA 画像 生成 分類器 1 無数にあるLoRAモデル 全ての分類器は作成不可！ 検証画像 提案手法：高精度な分類を行うための候補モデルの絞り込み 西洋画 中世画 印象派 LoRA LoRA LoRA … 提案 検索器 大量のLoRAモデルから 検証画像を学習データに 含みそうなLoRAを絞り込み 検証画像 既存の高コストな分類を実施するために… 疑わしいLoRAモデルの絞り込み
5. 本研究の工夫：LoRA共有環境を想定した実験のためのLoRAの自作 4 画家作品「WikiArt」を用いてLoRAを自作 ゴッホ作品群 ゴッホLoRA … LoRAとその学習データの ペアを作成 学習 画家作品群を混ぜてLoRAを作成 学習データ 1枚の画像から LoRAの学習は不可 ゴッホ作品群 … 学習データ に追加 ゴッホLoRA (ダヴィンチ混入) 複数コンセプトが 混在する LoRA共有環境を想定 ダヴィンチ作品群 学習データ … … 画家作品を混在させ実際に共有されているLoRAを再現
6. LoRAモデルと学習画像を同一ベクトル空間に埋め込む対照学習 5 学習画像とLoRA重みを同じ空間で検索可能に ❶LoRAの重みから学習データ特徴抽出 LoRAの重み LoRAの重み ベースエンコーダ LoRAの学習データ ❷画像全体の特徴抽出 LoRAベクトル Loss 学習画像 … 画像エンコーダ 画像ベクトル
7. ➀LoRAの重みからレイヤ構造に注目したLoRAのベクトル化 6 仮定 学習データの情報が数値としてLoRAの重みに反映 LoRAの重みを直接見て学習データ情報を抽出 LoRA重み Unet 1層 Unet 2層 … Flat化 & 次元圧縮 Layer-wise LoRA Encoder （Kanada et al., ICMR2026） Transformer Encoder MLP層 LoRA重みの持つ各レイヤの 相互関係から学習データ情報を抽出 Projection Layer LoRAベクトル LoRAと画像の 共通埋め込み空間の調整 LoRAの重みから抽出した学習情報をprojection層で画像と同一に扱えるように調整
8. ➁ LoRAの生成に使用した画像のベクトル化 7 工夫 軽量でかつ画像を単一のベクトルで表すのが得意なエンコーダを選定 事前学習済み Open CLIP ViT-32/B 学習画像 画像全体の特徴を 単一の埋め込みとして 捉えるよう事前学習 画像ベクトル Projection Layer LoRAベクトルとの 次元数調整 LoRAと同一空間に整列するための 軽量でtwo-tower学習に向いた画像のベクトル化
9. 画像とLoRAを共通ベクトル空間に埋め込む Two-Tower アーキテクチャ 入力ペア 画像のベクトル化 事前学習済み Open CLIP Image Encoder LoRAの学習に 使用された画像 Projection Layer Multi-Positive 対照損失 LoRAのベクトル化 … Flatten & PCA LoRA重み パラメータ 8 Layer-Wise Projection LoRA Encoder Layer フィードバック
10. メイン評価タスク：一枚の入力画像を学習データに含んでいるLoRAを検索できるか 9 100枚の作品から学習されたLoRAを検索対象として評価 学習データ 入力 出力 一枚の画像 LoRAランキング 順位 LoRA 提案手法 1枚の画像から LoRAの学習は不可 学習データ 1 2 3 100枚の画家作品から 学習したLoRAを検索対象に … 学習データ構成 … … ・二人の画家作品が混在 ・一人の画家作品のみ 混ざり度合の調整で 学習データを含んだLoRAの検索をしているか 100枚の画像群に入力画像を含むLoRAを正解として検索精度を評価
11. 評価実験 10 ➀検索精度評価 入力の一枚画像を学習データに含んでいる画家LoRAの検索精度を評価 LoRAの 学習データが 二人の画家作品が混在 一人の画家作品のみ のシナリオで検索精度を比較 ➁提案手法の妥当性評価 提案手法がLoRAの重みに基づき 入力画像を学習データに含みそうなLoRAを検索しているか
12. 比較手法：既存手法を検索タスクに拡張した生成画像からのLoRA検索 11 生成画像ベースのLoRAモデル検索 入力 画像のベクトル化 出力 画像ベクトル Pre-Trained Open CLIP Sim 算出 クエリ画像 生成画像で代替するLoRAのベクトル化 LoRAベクトル 1 2 3 Pre-Trained Open CLIP 画像 生成 検証したいLoRA 順位 LoRA 生成画像群 生成画像ベクトル群 既存の侵害検出研究を代表する生成ベース手法を検索タスクに拡張し比較
13. 評価実験➀：二人の画家作品が混在するLoRAの検索 入力 12 出力 順位 比較手法 ゴッホLoRAの 生成に使用した画像 1 LoRA 検索対象から入力画像を 学習データに含む モネLoRA 複数の混在LoRAを （ゴッホ混入） 上位に持ってこられるか 2 検索対象のLoRA 作品単位ではなく画家単位で未知なLoRA … 一人の画家 作品のみ … 学習 二人の画家 データ 作品が混在 3 … ピカソLoRA （ゴッホ混入）
14. 実験結果：二人の画家作品が混在するLoRAの検索精度 13 知見➀ 提案手法が正解となる学習データ混在LoRAを上位に 手法名 MRR Recall@5 Recall@10 Recall@20 提案手法 0.287 0.194 0.322 0.488 生成（1枚） *0.160 *0.141 *0.072 *0.062 *0.112 *0.135 **0.181 *0.231 *0.150 0.194 *0.077 0.105 *0.136 0.180 *0.255 *0.304 生成（3枚） 生成（5枚） 生成（10枚） ・提案手法が 生成ベース手法に比べて 全指標で高精度 ・生成ベースの比較手法では 生成枚数に比例して 検索精度小さく向上 アーティストLoRAごとに有意差検定を実施 提案手法は実シナリオに近い学習データ混在LoRA検索で高精度
15. 実験結果：提案手法における混入条件と検索精度 14 知見➁ その画家作品の学習使用率に比例してLoRA重みのもつ情報量が増加 混入画家の学習使用率が 高くなることで検索精度が向上 検 索 精 度 混入画家作品の学習使用 枚数の増減がLoRAの重みに反映 混入画家作品の学習使用率 LoRA重みから学習データの情報を抽出することが可能
16. 評価実験②：一人の画家作品のみから学習されたLoRAの検索 入力 出力 順位 比較手法 ゴッホLoRA 検索対象のLoRA モネLoRA 3 ピカソLoRA 学習 一人の画家 データ 作品のみ 合計95個 … 100個の新規LoRAを 検索対象に追加する までにかかる時間も計測 LoRA 2 スケーラビリティ評価 目 新規LoRA増加への 適用能力評価 的 検索精度評価 1 … ゴッホLoRAの 生成に使用した画像 15 検索対象のLoRAから 正解の一個を どれだけ上位に 持ってこられるか
17. 実験結果：単一アーティスト画像で学習されたLoRAの検索 16 知見③ 提案手法が高精度かつ高速に追加LoRAの検索を可能に 手法名 LoRA 追加 登録時間(s) Hit@1 Hit@5 Hit@10 Hit@20 0.171 0.471 0.648 0.820 496 生成（1枚） ***0.179 ***0.085 ***0.246 ***0.354 ***0.518 281 生成（3枚） **0.234 *0.121 ***0.334 ***0.477 ***0.659 813 生成（5枚） 0.259 0.145 **0.356 ***0.510 ***0.684 1345 生成（10枚） 0.315 0.185 0.447 0.595 0.760 2675 提案手法 MRR 0.317 GPU：NVIDIA GeForce RTX 4060 Ti 16GB ・提案手法がHit@1以外の検索指標で最高精度 ・生成ベース手法の生成画像が 3枚以上よりも高速で追加可能 高い検索性能を持ちつつ 高いスケーラビリティも保持
18. 評価実験③：提案手法の妥当性評価 17 知見④ 入力画像を実際に学習データに含むLoRAを相対的に上位に 学習データに注目した検索を行えているか 学習データ 学習データに 含むLoRA検索 … ゴッホLoRA クエリ画像 クエリ画像と似た画像を 学習したLoRAを 検索しているだけ？ 相対的に入力画像を学習データに含むLoRAを上位に 順位 クエリ画像 3 4 … 学習データに 含むLoRA検索 2 ゴッホLoRA (学習データに含む) ゴッホLoRA (学習データに含まれない) モネ(ゴッホ混入)LoRA (学習データに含む) モネ(ゴッホ混入)LoRA (学習データに含まれない) … 1 LoRA 似た画像ではなく クエリ画像と同じ 画像を学習した LoRAを相対的に上位に 学習データに注目した LoRA検索を可能に
19. 実験結果のまとめ 入力画像を学習データに含むLoRAモデルの検索 ・実シナリオに近い学習データの混在した LoRAモデル検索で安定して高精度 ・一人の画家作品群のみから学習されたLoRAモデル検索で 生成ベース手法を上回る高精度とスケーラビリティを保持 提案手法の妥当性評価 入力画像と類似した画像を学習しているLoRAよりも 実際に学習しているLoRAを相対的に上位に検索 18
20. 本発表のまとめ 19 LoRAの内部パラメータによる入力画像を学習データに含むモデルのランキング ❶データセット構築 複数コンセプトが混在するLoRA共有環境を想定したLoRAの自作 ❷アーキテクチャ構築 Two-tower型のLoRA重みと学習画像の紐づけ 得られた知見 提案手法が入力画像一枚からその画像を 学習データに含むLoRAを高精度かつ高速で検索可能に
21. 補足資料 20 p.22 Lossについて p.23 本研究の核となる仮定 p.24～25 データセット詳細 p.26 LoRAの追加登録時間の定義 p.27～ 実験補足 p.32 生成ベースが弱い考察
22. ③双方向Multi-Positive対照損失による学習 入力 21 提案手法 双方向Multi-Positive 対照損失 学習画像 画像の ベクトル化 同一ベクトル空間に なるように学習 LoRA重み LoRAの ベクトル化 画像ベクトル Loss 画像とその画像を学習 ・使用した 全てのLoRAを近くに ・未使用の 全てのLoRAを遠くに ベクトル空間 × ・ × × × × × CLIPで用いられる双方向学習 画像→LoRAからのLoss 目的 共通ベクトル空間内の整列 LoRAベクトル LoRA→画像からのLoss 画像→LoRA 双方のロスを最小化し LoRA→画像 片側の特徴空間の偏りを回避
23. 本研究の核となる仮定：LoRAの学習データの情報を内部パラメータが保持 22 画像生成 LoRAの学習時 学習データ … 画像生成AI Loss パラメータ による副産物 学習データをもとに更新 学習データの情報が数値として落とし込まれた内部パラメータを利用
24. 学習・評価に使用する単一・混入アーティストLoRAの作成 学習用LoRA 100名のアーティストを対象 単一LoRA 400個 混入LoRA 90個 合計 490個 23 評価用LoRA 既学習アーティスト 未学習アーティスト 学習用と同じ100名から 学習で使用していない95名から 単一 100個 混入 60個 合計 160個 単一 95個 混入 60個 合計 155個 LoRAの作成 単一アーティストLoRA ある対象アーティストの作品 100枚からLoRAを生成 混入アーティストLoRA 25,50,75%の三つの 対象アーティスト群の中から 10名の画風が異なるアーティストを 混入アーティストとして ベースとなる混入対象はランダムに選定 混入条件で検証
25. 学習・評価用のペアデータと実験設定 24 LoRAとそのLoRAの生成に 使用した画像のペアデータ その他実験設定 パラメータ ゴッホLoRA ゴッホLoRAの 学習に使用した作品 ラベル 件数 学習 49,000 評価 （混入） 評価 （単一） 825 件数 Epoch 50 バッチ サイズ 学習率 128 𝟏. 𝟎 × 𝟏𝟎−𝟒 最終次元数 9,500 推論を三回独立に試行 → 平均性能を評価 128
26. 評価に使用する二種類の指標 25 検索精度を測る指標 Mean Recipical Rank（MRR） Hit@k Recall@k どれくらい早く 正解に到達できるか Top k件以内に 正解があるか Top k件以内に正解群を 取りこぼしなく入れられたか 検索までにかかるコストを測る指標 新規LoRA100個の入力→ベクトル化までにかかるLoRA追加登録時間 追加PCA の補正 … 提案手法 Flat化 & 追加PCA Layer-Wise Projection LoRA Encoder Layer LoRAベクトル 比較手法（GBR） 検証したい 新規LoRA100個 Pre-Trained Open CLIP 生成画像群 生成画像ベクトル群 LoRAが日々増える現実的なシナリオを想定した比較
27. 既使用・未使用画家LoRAでの検索精度比較 26 学習時未使用画家の 作品から作成したLoRA 学習時に使用した画家の 未使用作品から作成したLoRA どちらも検索精度の大小関係は同じ傾向 既に学習した画家の 未使用作品であれば 提案手法が過学習気味の高精度
28. 実験結果：混入条件と検索精度 27 知見➁ 混入率に比例してLoRA重みのもつ情報量が増加 混入率条件に対する提案手法の検索精度の推移 混入率 MRR 25% 50% 0.048 0.104 0.031 0.105 0.092 0.193 0.223 0.304 75% 0.216 0.244 0.345 0.475 Recall@5 Recall@10 Recall@20 ・混入率が高くなることで検索精度が向上 ・混入率25%LoRAへの検索精度は今後の課題 ・LoRAの学習データ情報がLoRAの重みに反映 LoRA重みから学習データの 情報を抽出することが可能
29. 評価実験：単一アーティスト/混入LoRA検索におけるアブレーションスタディ 入力 提案手法 出力 画像の特徴量化 Pre-Trained Open CLIP 著作権 侵害画像 侵害 画像特徴 Layer-Wise Projection LoRA Encoder Layer 順位 LoRA 1 Sim 算出 … 検証したい 新規LoRA群 Projection Layer LoRAの特徴量化 Flat化 追加PCA & 追加 の補正 PCA 28 LoRA特徴群 2 3
30. 実験結果：混入アーティストLoRA検索におけるアブレーションスタディ 29 知見④ 混入LoRA検索では補正によって検索精度が向上 学習時に未使用のアーティストLoRAに対するアブレーションスタディ 混入LoRA検索 単一LoRA検索 補正 Proj層 Enc ・LoRA Encoderの追加で精度が大きく改善 ・補正によって精度が有意に改善 ・Projection層によるベクトル空間内の調整が有効 提案手法を構成する各要素が完全未知なLoRAへの学習データ推定に有効
31. 評価実験③：同一アーティストLoRAの学習データ制御による分析 30 知見④ 画家共通の特徴を超えた弱い学習画像固有の信号が存在 混入アーティスト作品群 クエリ画像 … ゴッホ混入LoRA➀ … … 50枚 固定 50枚 対象アーティスト作品群 ゴッホ混入LoRA➁ … … 50枚 … 同一アーティストLoRA同士で 実際にクエリ画像を学習した LoRAのほうが類似度が高いか 50枚 固定 ・3,000クエリ中53.6%で学習画像を含むLoRAの方が高スコア ・30ペアすべてで平均スコア差が正 画家ベースの識別だけでなく 学習画像からの識別を提案手法が実施
32. ケーススタディからみる生成ベース手法での混入アーティストLoRA検索の難しさ 31 混入率 0% 25% 50% 75% 100% 写実的な風景画風 アーティスト 色鮮やかな花の 装飾画風アーティスト 落ち着いた写実 肖像画風 アーティスト 幻想的で装飾的な 肖像画風アーティスト 混入率が上昇しても生成画像への反映度が小さい 既存生成ベース手法での混入LoRA検索が難しい