（初学者向け）Unity開発における生成AI活用の現状

東大の建築系の学生さんを主な対象としたUnity講座である
『インタースペース研究センター基礎・応用講座（Unity & C#）』
https://www.commonground.iis.u-tokyo.ac.jp/learning
にゲスト講師として呼んでいただいて、
AIコーディングについてご紹介したスライドです。
（実務者の方には当たり前の話をしております）

2025年11月時点の状況がどうだったのかという記録としても残しておきます。

Transcript

1. Unity開発における 生成AI活用の現状 2025/11/19 ＠豊田研Unityレクチャー 清木 昌
2. 生成AIの基礎知識
3. 生成AIとは？ 生成AIをクリエイターに 分かりやすいように説明 してください テキスト テキスト ChatGPT GPT-5.1 で生成 人間が与えた入力に対して、知的に見える 出力を生成する人工知能（AI）のこと。
4. 生成AIの2つのフェイズ：「学習」 – 人間が産み出した様々な事物を大量に分析し、そこからパターンを学習する。 • 元データを丸暗記しているわけではなく、様々な抽象度でのパターンを見つけだす。 – ChatGPTくらい賢いAIの学習を行うためには、膨大な量のデータを入力して スーパーコンピュータを何ヶ月も動かし続けるくらいの大量の計算が必要。 • 人も時間もお金もかかる！ これができる企業は世界でも一握り。 – 学習した結果は「（基盤）モデル」というデータになる。 • 大規模なテキストデータから学んだモデルを「大規模言語モデル(LLM)」という。 モデル 学習 パターンに分解して 学習する（重要！）
5. 生成AIの2つのフェイズ：「推論」 – 人間からもらった一つ一つの指示に対して、学習したパターンを当てはめて 知的に見えるアウトプットを生成（推論）する。 • 絵を描いたり、文章で回答したり。 – 学習に比べれば、必要な計算量は少ない。 • 「モデル」を持っている企業は、サービスとして提供して元が取れる。 モデル 生成AIをクリエイター に分かりやすいように 説明してください テキスト テキスト 推論
6. （水墨画の猫） 余談：ファインチューニング／LoRA技術 • 大規模なモデルを1から学習できるだけの計算リソースを持っている企業は一握りである。そ のため、既存のモデルを、自分がやりたいことのためにカスタマイズするという手法があり、 これをファインチューニングと呼ぶ。 • ファインチューニングを軽量に行うための技術がLoRA。 • 生成AIでは、汎用のモデルに対して、好きな味付けをする後付けオプションのような文脈で LoRAの名前を見ることが多い。 – 自分の絵柄をLoRAとして学習させて、自分の絵柄のような絵をAIに生成させることも簡単にできる。 画像生成 モデル 猫のイラスト テキスト 水墨画 LoRA データ 画像
7. 生成AIは、人をサポートする道具 ハンマーを持つと人は釘を打ちたくなるが、 その前に、自分の動機を問い直すことが重要。 ChatGPT GPT-5.1 で生成
8. 日進月歩のコンテンツ生成AI
9. 少し前までは、プロンプトを工夫しないと良い絵は生成できなかった ((masterpiece, best quality)), super fine art, a cat playing a video game, extremely detailed, professional lighting, unreal engine テキスト 画像 Stable Diffusion v2-1で生成 プロンプトとは、生成AIに対して 人間が行う指示のこと。 効果的なプロンプトを工夫することを プロンプトエンジニアリングと呼ぶ。
10. あるとき、急にこうなった ビデオゲームを遊んでいる猫の絵画 テキスト 画像 Bing Image Creator で生成
11. さらには、まるでイラストレータさんと対話しているかのように テレビゲームを遊んでいる猫の絵画を 描いてください。 チャット 全体的にかわいくお願いします！ チャット 追加指示 ChatGPT GPT-4 DALL-E 3 Plugin で生成
12. 生成AIは急速な発展途上にある • 今日できないことが、明日にはできるようになる世界 – 今、表出している制限は、誰かが改善しようとしている – 現在の利用ノウハウを追い続けても、将来も役に立つとは限らない – 本質を理解した上で、情報収集を怠らず、未来予測をし続けていくしかない • 今日は、2025年11月現在、こんな感じのことができますよ、という ご紹介だと思って聞いてください。
13. 余談：生成AI技術がもたらす変化の本質とは何か？ • これまで人間しかできないと思われていたジャンルのタスクが 機械でもできるようになること – アイデアを出す／柔軟に分析する／絵を描く／動画を作る／コードを書く・・・ • 機械なので・・・ – たくさんやらせても疲れない – だれでもいつでもタスクを依頼できる – 技術が進めばどんどん高性能になり、安くなる • 産業革命の知的労働版といえる？ – コストが下がる変化なので、大局的には不可逆であろう – 一方で、手作りの良さを追求することに価値を感じる層は当然居る • 人類未到達の領域にたどり着けるようになる？ – 何が起こるのかの予測が非常に困難
14. デジタルコンテンツ制作時に 生成AIが果たす役割と注意点
15. デジタルコンテンツで生成AI技術を活用可能なシーン 1. コンテンツ内のインタラクティブ要素に生成AIを活用 – NPCと会話できる – AI制御の自律移動 2. インタラクティブの仕組み自体の制作サポート – ゲームエンジンのシーンの構築 – プログラムの生成 – 質問に答える 3. 素材データを生成する – 画像、3Dモデル、アニメーション、サウンドなどの生成 （あと、テスティングもAIの得意な分野）
16. デジタルコンテンツで生成AI技術を活用可能なシーン 1. コンテンツ内のインタラクティブ要素に生成AIを活用 – NPCと会話できる – AI制御の自律移動 2. インタラクティブの仕組み自体の制作サポート – ゲームエンジンのシーンの構築 – プログラムの生成 – 質問に答える 3. 素材データを生成する – 画像、3Dモデル、アニメーション、サウンドなどの生成 今日はここのデモ
17. Unity AI
18. 1. コンテンツ内のインタラクティブ要素に生成AIを活用 – NPCと会話できる – AI制御の自律移動 2. インタラクティブの仕組み自体の制作サポート – ゲームエンジンのシーンの構築 – プログラムの生成 – 質問に答える 3. 素材データを生成する – 画像、3Dモデル、アニメーション、サウンドなどの生成 Unity AI の構成要素 Inference Engine Generator 今日はここのデモ Assistant
19. Unity AI の使い方 https://unity.com/ja/products/ai#ai-get-started 最新の6.2はAIボタンがデフォルトで 非表示なのでSettings > General > Hide AI Menu をOFFに
20. Unity AI のデモ • BETA である現時点では決して使いやすくはないし、性能も高くない – 日本語入力も微妙 • ですので、デモとしてお見せはしますが、使わなくて大丈夫です • しかし、先に述べたとおり、機能が足りない点は、時間が解決するので、 どのようなサポートが目指されているのかのイメージとして見てください
21. 生成AIによるコーディング支援の種類 • コード生成に関して、現在は主に４つの方向性のものがある – リアルタイムコード補完 • エディタ上でリアルタイムで編集候補を出してサポートするもの – チャット • チャット窓の中で、一問一答で答えてくれたり、編集提案してくれるもの – エージェント（ユーザー管理下） • チャット窓で指示をしたら、自分で計画を立て、目的完遂まで突き進んでいくもの • 見当違いへ突っ走られると困るので、最初に Plan モードで対話的に計画するUIも多い – エージェント（サーバ上で自律動作） • 完全にサーバに住んでいて、コミットなどのトリガーで勝手に動いてくれるもの • slack に入っていて、メンションで受けた指示で動くようなエージェント AI もある – 下に行くほど自律性が高く、大規模言語モデルの賢さが上がるにつれて 下の実用性が急激に上がってきている
22. コード生成用生成AIに何を使えばいいのか • さまざまな性能のモデルがある – 性能が低いものはその代わり速い – 性能が低いといっても、用途によっては問題ないことも多い • 性能が低いが速くて安価なもの（GitHub Copilot の Free プランで提供） – GPT-4.1, GPT-5 mini, Claude Haiku 4.5, Grok Code Fast 1, Raptor mini • 性能が高いが遅くて高価なもの（エージェントとして自走可能） – GPT-5.1-Codex, Claude Sonnet 4.5, Gemini 2.5 Pro • 基盤モデルを作れる会社は少なく、トップクラス性能となると更に少ない – GPT(OpenAI) , Claude(Anthropic) を押さえておけばまちがいはない • xAIのGrokが新興勢力 ― 豊富な資金力と人材・Xから学習できる強み • GoogleのGeminiは常にポテンシャルはあり、企業体力的に安価に提供されやすい – 自社インフラ・自社設計AIチップの強みもある 評判良さそう？ 本日、Gemini3.0リリース！！！
23. コード生成にはお金がかかる！ • 生成AIを動かす＝高性能のGPUで電力をたくさん消費する＝お金がかかる – 特に、エージェントは、トップクラスの生成AIを繰り返し呼び出し続ける • コード補完程度であれば、Freeプランで提供されていることも多い • チャット以上になると、無料だと、モデルの賢さと回数に制限が付く • エージェントを活用した開発は、有償前提 – サブスクで一定の制約の中で定額利用できるケースがいくつかある • GitHub Copilot Pro でチャット無制限＋プレミアムリクエストのクレジットの付与 • Claude の有償プランでの Claude Code の利用（プランに応じた回数制限） • ChatGPT の有償プランでの Codex CLI の利用（プランに応じた回数制限） – 定額の回数制限に当たった時に追加課金して解除できるかはプラン次第 • ぜひ、有償モデルを有効にして、エージェントを使えるように！ – GitHub Copilot Pro は、$10/月（学生無料） – Claude Pro, ChatGPT Plus は、$20/月
24. 今、導入容易で実用性の高い組み合わせ（賞味期限が短いノウハウ） • VS Code + GitHub Copilot Chat + MCP for Unity (Coplay) – VS Code 上で制御されている GitHub Copilot のエージェントが、 MCP for Unity という橋渡し役を介して、Unity を読み書きする、という構成 – VS Code はユーザーが触るインターフェイスとなるエディタ • Rider や Cursor などで置き換えても良い – GitHub Copilot Chat はエージェントタイプの生成AIの実行主体 • Claude Code や Codex CLI で置き換えても良いし、むしろ性能は上がるかも – MCP for Unity は橋渡し役で、セットアップにちょっとだけ知識が必要 • python と uv のセットアップさえできるなら…… https://github.com/CoplayDev/unity-mcp
25. AIエージェントによるコーディング支援Tips① • AIモデルのコンテキストウィンドウ制限とコンパクション – AIはモデルに内包される知識に、現タスクの会話やコード（＝コンテキスト）を 組み合わせて動くが、同時に保持可能な情報をコンテキストウィンドウと呼ぶ • 一般的なエージェントは200K～1Mトークン（1トークンは頻出英単語1単語分程度） – 上限が来ると、それまでの会話の流れを要約して覚え直す（＝コンパクション） – 上限が来てなくても、余計なコンテキストが溜まると、精度が落ちる場合がある • 余計な情報に惑わされないように、適度にコンテキストを初期化するのもテクニック • AI が生成したコードはできれば自分でも理解しよう – その場で質問したら答えてくれるはず – どこまで理解するかは、あなたのキャリアプラン次第
26. AIエージェントによるコーディング支援Tips② • 大前提：AIは間違える – 人間が間違えるように、AIも間違える • 指示者に誤解 / 指示が曖昧 / AIが思い込みで突っ走った / AIがサボった / ただ愚かだった – 「やたら馬力はあるが、事情を分かってない新人が、あなたのPCを操作します」 • ͜Θ͍ • 新人に仕事をお願いするときにどうするか？ – 細かく指示を出して、都度結果を確認する – 最初に指示書を丁寧に作り、常にそれを見ながら仕事してもらう – 壊されては困る私のPCでは作業させない！（当たり前） • 壊されてもいい新人用PCを渡す
27. AIエージェントによるコーディング支援Tips③ • アプローチ１：細かく確認を入れる – 基本は git 管理し、AI が何をやったのか、差分で確認し、ダメなものは差し戻す – Agent + MCP の構成は、自律して外部サービスを呼び出すので特にリスクが高い • 安全に倒して作られたシステムは、毎回人間にやっていいか確認を取る → 確認疲れが発生 → やがていい加減に → rm -rf / に同意してしまい悲劇が発生 • アプローチ２：指示書をつくる – 最初に仕様書をAIと対話的に作成する (Markdown形式で作成が一般的) – それからブレずにエージェントに作りきってもらう • コンテキストが初期化されても、仕様書を最初に読んでもらえば一貫した作業が可能 • アプローチ３：AI専用の環境を作る – git は一種の壊されたときの保険 • だが、AI が git 管理を破壊することもある / AI に git 操作を許可するかはポリシー次第 – AIをサンドボックス環境に閉じ込められると安心 • PC内に仮想環境を作ってAIはその中だけで活動 / サーバ上で実行させる
28. 一番、整っているのは、専用に作られた有償環境 Bezi https://www.bezi.com/
29. アセットのAI生成 • 画像の生成は、スタイルを維持したバリエーショ ンの作成など、実用性に興味が移ってきている – 画像の生成に関して特に生成AIの学習データに関する 議論が盛んなので注意 • 3Dモデルの生成は、Meshy, Tripo, Rodin あたり – テキストや写真から3Dモデルを生成可能 – 最近はリギング（人型や犬型にアニメーションするた めの骨を設定すること）もできるように
30. 最新トピック：360度写真１枚で3D空間を生成 • 3D Gaussian Splatting (3DGS) を使った3D空間生成が普及を始めている • 例: marble.worldlabs.ai 360度写真１枚を与えるだけで 3D空間が生成
31. 最後に、生成AI利用上の注意点：①入力データの取り扱い • 自分が入力したデータの取り扱いの確認 – 生成AIの多くのサービスは、生成AIの本体がクラウド上にあるため、 PCの中にある必要なデータを全て一度インターネットに送信します。 • 業務利用の場合は、その時点でNGのケースも。 – また、その送信したデータを、サービス提供元がAIの学習に使えるという 規約になっているケースがけっこうあります。 • 特に、個人向けのサービスや、無償利用できるサービスで注意。 – よく規約を読み、また、設定に「モデルの学習に使用」ON/OFFがないか確認。
32. 費用がかかるのに、無料なことには理由がある • 宣伝に使われる（無料版は必ず公開、など） • 生のデータをさらなる学習に使われる – お金を払っていても、そういう設定に なっていることがある
33. 最後に、生成AI利用上の注意点：②生成データの権利処理 • 生成したデータの利用条件がどうなっているか – 商用利用可能かなど、利用規約を確認しましょう – ポン出しのAI生成物に著作権は発生しない / 制作過程の独創性次第で発生する • AIが生成した成果物が他者の権利を侵害していないか – 生成コードがものすごい偶然で学習元のコードと完全一致していたら？ • ビジネス用のプランであれば、裁判時の補償が付いているケースがあります。 – 画像や動画などは、ここでは扱いきれない話題があります。 • 学習元データとして、人間の創作物からの「ただ乗り」議論 • Adobe Firefly は同意の取れているデータからのみ学習していると主張し、差別化 – 少なくとも現行法上も問題になるケースは、 「生成AI」を「人を雇って」に置き換えても駄目なやつです。 • 「生成AIに版権キャラの絵を描いてもらってグッズを作って売った」→ただの海賊版
34. まとめ 生成AIは人と思って使え ただし、24時間365日好きなタイミングでこき使える