AI駆動開発の品質保証のポイント

Transcript

1. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. AI駆動開発の品質保証の ポイント 1 実際のプロジェクトから見た 「品質保証のための手段」の紹介
2. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. 2 総務省が生成AIの信頼性を評価する基盤システムを開発 引用：https://www.yomiuri.co.jp/economy/20251114-OYT1T50212/ AI 評価 AI 評価 AI 評価 AI 質問 回答 ちゃんと動いて いるか？
3. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. 3 • AIが生成するデータはAIが評価する • ただその評価するAIは「人」がチェックしている • 現時点だと、やっぱり最後は「人」がどれだけ品質保 証に寄与できる知識や視点があるか？が重要なのでは ないか
4. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. 4 システム開発における品質保証とは？ バグがない 保守性 可読性 パフォーマ ンス セキュリ ティ 仕様通り？
5. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. 品質保証に寄与する単体テスト 5 バグを発生させたくない 単体テスト 単体テスト 保守性 可読性 パフォーマンス
6. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. 実際にプロジェクトで発生したこと 6 このissue通りに実 装して バグがないか確認 するためにテスト 作って テストを実行して 落ちたら修正戦略 を立てて • バグ検知はしてくれているが、不要なテストケースを作られすぎたり、可読性を無視し て、1つのテストコードが肥大化することで「結局何をテストしたいのか？」がわからな い... => 保守性・可読性でOUT • テストケースごとでテスト実行に必要な依存モジュールを初期化してしまっており、モ ジュールの共有がテスト間でできておらず重い処理になってしまっている => パフォーマ ンスでOUT
7. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. 何が原因か？ 7 • 「テスト作って」だけでは指示内容としてあまりにも足らない。指示する側の単体テ ストに関する知識不足。AIは足りない情報の中でベストを尽くそうとしている • 生成された単体テストに対してレビューする知識や視点が実装者に足らない • そもそも良い単体テストを作るためのプロジェクト全体の設計がよろしくない • 良い単体テストを生成してもらうためのrulesを定義しようにも知識がないので作れ ない • 別のLLMで単体テストをレビューしてもらっても、そのレビュー内容が正しい保証は なく、結局単体テストの知識がないと良い悪いの判断ができない
8. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. AI駆動開発の品質保証 • 人と共同でAIが良い単体テストや結合テストなどが作れれば、AI駆動開 発の品質保証に大きく貢献するのではないか • CodexやOpusといったソフトウェア開発特化のAIモデルが出てきてお り、AIが生成するコードの精度が非常に高くなっているが「単体テス ト」や「設計」に関しては人が介入しないといけない余地大いにあり • 知識があれば、例えばrulesの定義やフォーマットの作成など「良い単 体テストをAIに作ってもらうためのアプローチ」を実行できるのでは！ 8
9. Copyright © 2025 CREATIONLINE, INC. All Rights Reserved. 9