画像生成AIを応用して 作画補助ツールを作成した話

Transcript

1. 画像生成AIを応用して 作画補助ツールを作成した話 発表者: 抹茶もなか
2. 自己紹介 経歴 • 自然言語処理関係の研究室出身 • 機械学習エンジニア歴 約5年 • お絵描き歴 約3年 • 個人開発歴 約7年 最近の活動 • 画像生成ブームに乗じてOSS活動を開始 • お絵描き×AIでサービス作り 抹茶もなか @GianMattya mattyamonaca
3. 本題に入る前に… 　　　
4. 皆さん、こんなことを考えたことはありませんか 生成AIって人気だけど 結局のところ社会で 何の役に立つの？
5. 生成AI全般に言える事ですが 　　技術的には素晴らしいが、社会実装が困難 　　…という問題を抱えがちな技術群だという肌感があります
6. 今日はこの社会実装が難しいという課題に対し 画像生成AIを使ってイラスト/グラフィック分野の 既存ワークフローを改善することで社会実装を目指した 挑戦について、お話をしていければと思っています
7. イラスト/グラフィック分野における画像生成AIの強み 速い！×安い！×上手い！
8. イラスト/グラフィック分野における画像生成AIの弱み 結果のコントロールがしづらい
9. 圧倒的な生産性の向上をもたらすが、使用できる場面が限定的 画像生成AIの社会実装に向けた課題 既存 下書き 線画 下塗り レイヤー 分け 仕上げ 完成 AI プロンプト 入力 完成 イラスト素材の作成（修正なし） 修正を必要としない場面では圧倒的な生産性を誇るが…
10. 圧倒的な生産性の向上をもたらすが、使用できる場面が限定的 画像生成AIの社会実装に向けた課題 既存 下書き 線画 下塗り レイヤー 分け 仕上げ 完成 AI プロンプト 入力 画像 生成 細かい要望に沿おうとすると生成AIの強みが失われる イラスト素材の作成（修正あり） レイヤー 分け 不要部位の 削除 完成 …
11. 圧倒的な生産性の向上をもたらすが、使用できる場面が限定的 画像生成AIの社会実装に向けた課題 既存 下書き 線画 下塗り レイヤー 分け 仕上げ 完成 AI プロンプト 入力 細かい要望に沿おうとすると生成AIの強みが失われる イラスト素材の作成（修正あり） レイヤー 分け 不要部位の 削除 完成 … 各フローで修正が容易に可能 大規模な修正作業が 発生 画像 生成
12. 画像生成AI単体で既存ワークフローの代替は難しい では、AIで既存ワークフローの改善はできないか？
13. 既存ワークフローの下塗り・レイヤー分け部分の自動化 誰がやっても同じ結果になるような単純作業部分を自動化し作業効率を上昇 既存 下書き 線画 下塗り レイヤー 分け 仕上げ 完成 改善 下書き 線画 下塗り レイヤー 分け 仕上げ 完成 画像生成AIを 使って自動化 属人性が少ない作業の ため自動化ニーズが高い
14. 下塗りって何？ 線画に対してパーツごとに仕上げを施す際のベースとなる色を塗る作業の事
15. レイヤー分けって何？ パーツ/色毎に複数の層に分け、重ね合わせる事で一枚の絵を作成する作業の事
16. 下塗り＆レイヤー分けツール(auto_undercoat)の紹介 何ができるの？ • 線画を入力すると下塗りをしてくれる • パーツ毎にレイヤー分けされて出力 • プロンプトで下塗りの色を制御可能 • PSD形式でDLすることが可能 どうやって使うの？ • OSSとして公開中 • Colab上で利用可能 (https://github.com/mattyamonaca/auto_undercoat)
17. 技術紹介
18. StableDiffusion×ControlNet Diffusionモデルの追加学習機構であり文章以外の入力を生成に使えるようになる Canny Anime Lineart • 画像と検出したエッジをペアで訓練 • エッジを入力するとエッジに沿った画像を生 成してくれる • イラストと線画をペアで訓練 • 線画を入力すると線画に沿った画像を生成 してくれる 今回はこの二つのモデルを主に使用
19. StableDiffusion×ControlNet 非常に便利だがいくつかのデメリットがある デメリット • 入力した線をそのまま使ってくれない • 影や光など、下塗り以外の効果も付ける • 一枚絵として生成されるため線画と塗りが 分離できなくなる そのまま下塗りの自動化に 使う事は困難
20. SegmentAnythingとControlNetのかけ合わせ 生成結果をセグメンテーションの補助材料として利用する ControlNetを使って 画像生成 生成結果に基づいて SAMで領域分け 領域ごとに最頻色で塗りつぶし 入力した線画と合成
21. SegmentAnythingって何？ 画像を入力するといい感じに意味のある塊毎に領域分けをしてくれる技術
22. SegmentAnythingとControlNetのかけ合わせ 生成結果をセグメンテーションの補助材料として利用する ControlNetを使って 画像生成 生成結果に基づいて SAMで領域分け 領域ごとに最頻色で塗りつぶし 入力した線画と合成
23. 画像生成を挟まずにSAMによる領域分けをした場合 生成画像の補助がないと、上手く領域分けができない
24. 画像生成AIの強みを失わずに 既存ワークフローの改善に成功！
25. ツールに対する反応 AI利用者だけでなく絵描きさんからもポジティブな反応が多かった
26. 今後の展望と残課題 アニメ制作など大量かつ正確な画像作成が必要な業務向けのツールを目指す 今後の展望 解決すべき課題 • 複雑な線画に対応しきれていない • 塗り残し/はみ出し部分がある • 影や光等を一部検出してしまう • セグメント精度の向上 • 生成モデルの切り替え機能の追加 • reference onlyへの対応
27. 宣伝 他にもAI×画像で色々挑戦中なので、ご興味ある方はTwitterとGithubのフォローをお願 いします！ 抹茶もなか @GianMattya mattyamonaca AIアニメーション作成 高精度な背景切り抜き 一枚絵の自動レイヤー分け
28. ご清聴ありがとうございました！！