3D生成AIのための画像生成

2025/04/24に開催した「マルチモーダル・LLM・VLM・RAGの実践」 (https://stockmark.connpass.com/event/350420/) で登壇した際の資料です。3D生成AI利用時にネックとなる現象とその解消法について説明しています。

Transcript

1. マルチモーダル‧LLM‧VLM‧RAGの実践 2025.04.24 1
2. ⾃⼰紹介 2 データサイエンティストとして位置情 報分析に従事。その後、⽣成AIプロダ クト開発を担当。 AIを活⽤した業務変⾰⽀援‧⾃社のAI プロダクト開発を担当。 AI Transformation(AX) 伊藤 光祐/ Kosuke Ito
3. 3 本⽇のテーマ 3D⽣成AIのための画像⽣成
4. 4 3D⽣成AIとは 3D⽣成AIはテキストや画像などを⼊⼒として3Dモデルを⽣成するAI。OSSモデルや商⽤サービスの公開が 盛んになっており、エンタメやマーケティング領域での活⽤が期待される。 3D⽣成AIモデル‧サービスの例 活⽤例 Tripo Meshy AI Hunyuan 3D Rodin ゲーム 3Dプリント マーケティング⽤キャラクター
5. 5 3Dモデルの⽣成例 最近の3D⽣成AIの進化は驚異的で、場合によっては⼈間の3Dデザイナーの⼿直しがほぼ不要なことも。
6. 6 ただし、3D⽣成AIも完璧ではない
7. 7 アニメ‧イラスト⾵画像を⼊⼒した際の造形くずれ アニメ‧イラスト⾵の画像など、インプット画像によっては造形が崩れてしまうことがあり、実⽤上の ネックになる。
8. 8 なぜこんなことになるのか 多くの3D⽣成AIは3Dモデルとそれをあらゆる⾓度からレンダリングした画像をセットにして学習を⾏う。 アニメ‧イラスト⾵画像は⽴体的にあり得ないデフォルメも多いため、造形が崩れてしまう。 3D⽣成AIの学習過程 ⽴体的にあり得ない画像がインプットの場合 3D⽣成AI 3Dモデル 画像 レンダリング 再現 ⼊⼒ ス〇夫 3D⽣成AI 3Dモデル ⼊⼒画像と異なる 画⾓では崩壊 ！？！？？ ？？
9. 9 解決策 画像⽣成によってイラストを3D⾵にスタイル変換して⽴体的な⽭盾を減らすことでアニメ‧イラスト⾵の 画像でも⾼クオリティの3Dモデルが作成できる。 ChatGPTの画像⽣成機能などでスタイル変換
10. 10 まとめ • 3D⽣成AIは急速に進化中で、エンタメ‧マーケ領域での活⽤が期待さ れる • 3D⽣成AIはアニメ‧イラスト⾵の画像⼊⼒が苦⼿ • アニメ‧イラスト⾵の画像を3D⾵の画像にスタイル変換してから3D ⽣成AIに⼊⼒することで、⽣成3Dモデルのクオリティを改善できる
11. 11 ⼀緒に働いてみませんか？ Algomaticでは⼀緒にはたらいてくれるメンバーを⼤募集中です！！！興味がある⽅は採⽤ページをご覧 ください！！！ https://recruiting.algomatic.jp/