AI の暴走という新たな課題 チャットベースで AI に開発を任せると、【軽度】 その場しのぎのパッチコードの埋め込みから、【中 度】 文脈を読み違えた無関係な箇所の書き換え、【重度】 ソフトウェアアーキテクチャに反するコー ドの混入まで、様々な問題が発生します。 「プロンプトによる制御」の限界と挫折 AI を思い通りに動かすため、プロンプトに大量のルールや制約を書くのは 破綻 します。 どんなに細かく指示しても、長いチャットの会話履歴(文脈)に埋もれると、AI は次第にルールを忘れ、 自己解釈で都合よく歪めてしまいます。 実際、ルールファイルに書き足しても、効果があるかどうかは分かりませんでした。ルールは増える一 方で、ファイルだけがどんどん肥大化していきました。 → 少なくとも私は、プロンプトをこねくり回すアプローチで制御できている実感を持てませんでした ※参考: Anthropic 公式ドキュメント「Best practices for Claude Code」 (“Bloated CLAUDE.md files cause Claude to ignore your actual instructions!”) https://code.claude.com/docs/en/best-practices 7
AI 同士の「共犯関係」の歯止めだから 生成 AI と評価 AI をどちらも AI に任せると、モデルが違っても学習データや設計の系譜が近く、似たバ イアスや死角を共有しやすくなります。 異なる次元の常識を持つ「人間」という異物を間に挟むのが、現状ではベターだと思います。 3. 「テキスト化されていないコンテキスト」の防衛線だから 現場の「明文化されていない過去の経緯」や「顧客の微妙なニュアンス」は、AI 同士のテキストのルー プでは徐々に削ぎ落とされます。 人間がレビューすることで、そのズレを検知できます。 【補足】組み込み開発ならではの事情 これは私の専門領域(センサ機器などの組み込みソフトウェア)に限った話ですが、実機での動作確認 は今の AI には任せづらく、コスト面でも大きな壁があります。これも、人間を介在させたい理由の一つ です。 16