マ。 ―画像生成モデルマージの活用について / 生成AIなんでも展示会 Vol.4 2025/09/06(土)

生成AIなんでも展示会 Vol.4での使用スライド

Transcript

1. マ。 ―画像生成モデルマージの 活用について 生成AIなんでも展示会 Vol.4 2025/09/06 へむろっく(MixoLogy) / @Hemlok_SD
2. 自己紹介
3. 自己紹介 画像生成AIが好きな一般人。 音ゲーが趣味です！ へむろっく ↑担当です。かわいいね @Hemlok_SD hemlok-ai Hemlok
4. 目次 1. モデルマージとは 2. モデルマージのメリット/デメリット 3. モデルマージの実例 4. 実際の活用方法
5. 目次 1. モデルマージとは 2. モデルマージのメリット/デメリット 3. モデルマージの実例 4. 実際の活用方法
6. モデルマージとは？
7. ずばり、料理です。
8. • マージとは、学習済みの既存モデルを掛け合わせて 様々なタスク処理の向上を図る手法のこと。 • 追加学習とは異なり、既存モデルを使用するため 比較的始めやすい。 • LoRA等fine tuningモデルを組み合わせると より表現の幅が広がる。 • 底なし沼。感覚でやってる。 詳しい解説
9. 簡単に言うと • いいとこどりをしよう • モデルを混ぜて調整しよう ってことです。
10. 目次 1. モデルマージとは 2. モデルマージのメリット/デメリット 3. モデルマージの実例 4. 実際の活用方法
11. • やり方が簡単 • カスタマイズが自由自在 • 自分好みのモデルが作れる モデルマージのメリット
12. • 試行錯誤が必要 • モデルごとにやる必要がある • ライセンスの理解が必要 モデルマージのデメリット
13. 目次 1. モデルマージとは 2. モデルマージのメリット/デメリット 3. モデルマージの実例 4. 実際の活用方法
14. 例えばこの生成画像…
15. とはいえ 1. プロンプトの効きが良い！！ 2. 全体的にまとまってて惜しい！！ なんか絵柄が濃い…
16. そこで モデルマージです!!
17. • 通常マージ ◦ 一般的なA+Bで行うマージ。 ◦ A+(B-C)のような差分マージもここに入る。 • 階層マージ ◦ U-Netの階層ごとにマージする手法。 ◦ 細かい調整ができるが慣れが必要。 マージの種類について
18. 今回は 「階層マージ」で やります。
19. 今回のベースモデルは 「One obsession」
20. マージするモデルは 「Hassaku XL」
21. NoobとIllustriousについて ◇Noob系 • NoobAI-XLから派生するモデル • 全体的に色が濃くなりがち。 • プロンプトの効き目が良い。 ◇Illustrious系 • Illustrious-XLから派生するモデル • 色が薄く絵画的な表現が得意。 • 線が細く、昔のパステルMixっぽい。
22. 使用ツールについて
23. ComfyUI GitHub: https://github.com/comfyanonymous/ComfyUI • 現在主流のStableDiffusionのオープンソースコードツール。 • ノードベースで自由度が非常に高いのが特徴。 • WebUIよりも複雑だが、なれると戻れない使用感。 • Forgeが開発終了したため、まだの方は移行推奨。
24. ワークフロー全体図
25. プロンプト関係 生成するプロンプトを入力するノード マージレシピを入力するノード 19個の数値でレシピを記入していく。 マージレシピ
26. マージ処理 マージ処理を行う今回のメインのノードたち。 階層マージの他、別途LoRAマージやモデル保存なしマージにも対応。
27. 画像生成処理 マージしたモデルから画像を生成するノード。 マージのレシピ分画像生成を行いxy画像に出力する。
28. それではマージ実行！！
29. マージレシピ比較 • レシピを複数入れて、画像生成をしてレシピごとに生成比較を実施。 • 「これだ！！」と思うものができるまで繰り返す。
30. マージ結果の生成比較 • いいレシピが見つかったら モデルを保存 →元モデルとの生成画像を 比較して見極めます。 • ここでいい感じになればOK。 • ならなければLoRA等を 追加でマージしていきます。
31. 完成したモデルの生成結果がこちら。 結構変わってるのがわかるかと思います！
32. このようにモデルマージを使用することで • 生成の幅がぐんと広がる • モチベが上がる • 生成で表現する『楽しみ』が増える と、いいことがたくさん。
33. 目次 1. モデルマージとは 2. モデルマージのメリット/デメリット 3. モデルマージの実例 4. 実際の活用方法
34. 活用例① 制作モデル　「LizMix」 • SDXL画像生成モデル。 • 累計DL1万突破(Civitai) • 1年半の継続更新を実施 • 個人的なマージモデル 代表シリーズ。
35. 活用例② 制作モデル　「HinanoMix」 • SDXL画像生成モデル。 • LizMixの姉妹モデルとして制作。 • 使いやすさとプロンプトの 効きを重視したモデル。 • Noobベースで汎用性が高いと 好評。
36. モデルマージ 楽しいのでぜひやってみましょう！