Unityでレベルデザイン用AIモデリングツールを作ってみたかった

TOPPAN GENERATIVE TRIALミニイベントのLTで使用した発表資料です

Transcript

1. Unityでレベルデザイン用 AIモデリングツールを 作ってみたかった
2. 自己紹介 41h0(シホ) VtuberとXRとゲームとお酒を愛するUnityエンジニア 去年くらいから本業、副業ともにちょいちょいAIがらみの開発が増えてきたので、 今年はAIを活用した開発、AIを使うための環境構築周りを ちゃんと勉強しようと思っている 最近作ったもの
3. 今回の実験のきっかけ Unityには開発支援用のAIツール「Unity Muse」があるが 有料 かつ メッシュそのものを生成する機能はまだない ↓ ユーザーのアイデアがまだ固まっていない時に AIがアイデアから仮のレベルデザインをして ゲームのステージ、コース、ワールドを作ってくれるツールがあれば便利かも？
4. 実験の前提条件 Unityで3Dでローポリなシンプルな車のレースゲームを作るため レースコースのレベルデザインがしたい前提とする こういうコースが作りたい→​ (画像はDALL-Eで生成)​
5. Meshyでやってみる Unityから3Dモデル生成AIサービスのMeshyのAPI(Text to 3D)で テキストプロンプトを元に3Dモデルを生成する Githubで公開されているcom.rest.meshyパッケージを利用させていただきました。
6. Meshy用に作ったプロンプト A minimalist low-poly racing track model designed for a stylized game environment. The track consists of simple geometric shapes with clean edges, limited color palettes, and flat shading. The layout includes sweeping turns and a few hairpin bends, surrounded by blocky grass areas and simplified barriers. The overall look should be uncluttered, with a focus on clear silhouettes and efficient geometry for game level design. Prompt NegativePrompt photo-realistic textures, excessive detail, high-poly meshes, overly intricate patterns, realistic shading ※ArtStylyはLowPolyを指定 スタイル化されたゲーム環境のためにデザインされた、 ミニマルなローポリレーシングトラックモデル。 トラックは、きれいなエッジ、限られたカラーパレット、 フラットなシェーディングを持つシンプルな 幾何学的形状で構成されています。 レイアウトにはスイープターンといくつかの ヘアピンカーブがあり、ブロック状の芝生エリアと 簡素化されたバリアに囲まれています。 全体的な外観はすっきりしたもので、 ゲームレベルのデザインとしては、 明確なシルエットと効率的なジオメトリに 重点を置いています。 フォトリアリスティックなテクスチャ、 過剰なディテール、ハイポリメッシュ、 複雑すぎるパターン、リアルなシェーディング ChatGPTと相談しながら作りました
7. Meshyでの結果(1/2)
8. Meshyでの結果(2/2) それっぽいものはできた ただコースとしてはシンプルすぎるので ちょっとユーザーの手でコースの形状を 変えたくなる ↓ 修正するにはプロンプトをこねくり回す 必要があるが、 それで自分の望むコースができるのは かなり難しい それをやっているうちにクレジットが 尽きてしまう…
9. ClaudeでCubeの集合体を生成させてみる AIのレベルデザイン生成後にユーザーが自ら修正できるように Cubeの集合体でレベルデザインのモデリングをさせてみる。 ↓ ユーザーからの指示(指定された形状+参考画像+実寸サイズ)から Claude 3.5 Sonnet (Amazon Bedrock API)にその形状を実現するための Cube(生成位置、サイズ、色)群の情報をJsonで出力させ、 Jsonを元にUnityでCubeを自動生成する
10. Claude用に作ったシステムプロンプト あなたはUnity用の3Dシェイプ生成エキスパートです。ユーザーからの依頼に基づき、以下の条件に従い、 コンパクトなJSON形式で形状を再現するためのJSONを出力してください。 【絶対条件】 • 応答全体を指定の最大トークン数（maxTokens）以内に収めること。 • Cubeの数は50個以内に収めること。 【その他条件】 • JSON形式は、各Cubeの"position"、"scale"、"color"を含む下記の形式とする。 • 出力は完全なJSONのみとし、余分な説明や改行、空白は含めずコンパクトに出力すること。 • ユーザーの依頼する形状「{SHAPE}」を、実寸{SIZE}メートルで再現する。 • 参考画像がある場合、その特徴（形状、色、質感など）を反映すること。 • 可能な範囲でディテールを表現しつつも、上記の絶対条件を優先してください。 【JSON形式例】 [ { "position":{"x":0,"y":0,"z":0}, "scale":{"x":1,"y":1,"z":1}, "color":{"r":1,"g":1,"b":1,"a":1} }, … ] この条件に沿って、ユーザー依頼に基づく形状を再現するためのJSONのみを出力してください。 ChatGPTと相談しながら作りました
11. Claude用に作ったコースを生成するための ユーザープロンプト ミニチュア風のレースゲームコース。 大きくカーブが連続するサーキットが2つのループ状になっており、 道路はアスファルト調で周囲に縁石やガードレールを少し配置する。 道路の外側は芝生や砂地があり、コースの形状を際立たせるようにレイアウトしてほしい。 色は大まかで問題ないが、道路は灰色、芝生は緑系、砂地は薄い茶色などで分かりやすくしてほしい。 全体的に見下ろし視点でコンパクトなジオラマ風の形状を優先し、 レベルデザイン用のコースとして機能するようにしてください。 ChatGPTと相談しながら作りました 参考画像として→を連携
12. Claude Cube Generator 結果(1/2)
13. Claude Cube Generator 結果(2/2) 正直微妙... ただ要望に近づけようとする努力は感じる プロンプト、ならびにロジックを改良すれば 使えるツールになるかも？ ↓ トークン数を削減かつ モデル品質を上げる情報の 追加ができれば...
14. おまけ：Claude Cube Generatorで遊んでみた(1/3) 本棚 ヤシの木 作業デスク
15. おまけ：Claude Cube Generatorで遊んでみた(2/3) かごに入ったフランスパン
16. おまけ：Claude Cube Generatorで遊んでみた(3/3) ニューヨーク
17. 感想 • 自作ツールよりMeshy APIの方がモデル品質は上 ただ自作ツールであれば生成後に自分の手で 形状の手直しができる • 自作ツールも指示に沿う努力は感じるので 品質向上の可能性はありそう 暇なときに少しづつ改造したい 東京スカイツリー(？)と記念写真