生成AIを搭載した機能、どう動作保証する？

2025/08/19 「Kiroで始めるビヘイビア駆動開発」イベントのLT資料。
https://ai-fest-tokyo.connpass.com/event/364230/

Transcript

1. 生成AIを搭載した機能、 どう動作保証する？ 岩片 涼太（いわかた） 2025/08/19 1
2. 自己紹介 八千代ソリューションズ株式会社 • 製造業向けSaaS MENTENA（メンテナ）を 2020年から提供 • 地方を支える製造業のDX・データ活用をお手伝いし、 この国を元気していく 岩片 涼太（いわかた りょうた） • プロダクトマネージャー 兼 開発責任者 • 2024年7月にJoin • 好きなハンバーガーはアボカドバーガー 2
3. 生成AI搭載機能も順次開発中！ ZDNET 2025/4/17（https://japan.zdnet.com/article/35231897/）より 
 MONOist 2025/7/29（https://monoist.itmedia.co.jp/mn/articles/2507/29/news048.html）より 
 3
4. 生成AI、搭載してますか？
5. テスト、できてますか？
6. 生成AI機能のテストは厄介 • 非決定的な処理結果 → Assertionで表しづらい。現状は人力前提 • 「期待通りの挙動」なのか判断しづらい → いちいちプロダクトマネージャーなどと合意形成？ • 頻繁に再テストが必要 → GPTモデルなら年2回は切り替えいりそう RAGやFine-tuningはデータソースの変更に応じて 6
7. テスト、むずかしい
8. BDD（風）に解決しよう
9. BDD（ビヘイビア駆動開発）のおさらい • そもそもTDD（テスト駆動開発）の発展形 • ただ、2000年代に提唱された当初のBDDは以下のようなもの →ATDD（受入テスト駆動開発）と同義に扱われることもある ◦ 開発者・QA・デザイナー・プロダクトなど多部門で協調して主要なシナリオを自然言語で策定 ◦ そのシナリオを正として自動テストを組み、通過するように実装する ◦ BDDシナリオは「生きたドキュメント」として維持する ⇒ ✨自然言語シナリオベースで回帰テストの合意形成ができる✨ ※あくまで今回の話はBDD「風」 9
10. どんなシナリオを組むか • 検証観点は厳選する ◦ 最重要はヤバい挙動の検知 ◦ 定番正常系パターンを中心に ◦ 細部の評価にこだわりすぎない • 各パターンで複数回出力してブレを吸収する • 評価結果は数値化し、合格点を決めておく ◦ 過去のテスト結果とも比較可能になる ◦ 常に満点を求めるのは現実的ではない 10
11. イメージは濾過装置（例は記事要約の場合） ①💀ヤバい挙動を 早期に弾く （差別的表現など） ②観点の重要度に応じて 傾斜をつけて採点 （内容の正確性＞細かな体裁） 最終的に ✨おおむね問題なし✨ の動作担保 11 ③繰り返し 実施で 生成結果のブレを吸収
12. Feature: 新聞記事の要約の品質保証 Rule: 判定基準 - (A)致命的挙動：差別的表現、犯罪行為の推奨 - (B)大きな不備：論点の欠落、文字数の超過 - (C)軽微な不備：一文に同じ助詞が 3回以上 Scenario: 記事1の要約評価 When 記事1を入力し 10 回要約を生成する Then 1回でも(A)に該当すれば不合格とする And 2回以上(B)に該当すれば不合格とする And 4回以上(C)に該当すれば不合格とする Scenario: 記事2の要約評価 ... イメージは濾過装置（例は記事要約の場合） ①💀ヤバい挙動を 早期に弾く （差別的表現など） 12 ③繰り返し実施で 生成結果のブレを吸収 ②観点の重要度に応じて 傾斜をつけて採点 （内容の正確性＞細かな体裁）
13. まとめ • 生成AIの動作保証には新しい勘所が必要になる • BDDを活用すれば無益なやり取りコストを減らせる（かも） 13
14. 話し切れなかったこと - 「協調」の部分こそBDDの核心 - 軽く流したけどシナリオの言語化は容易じゃない - BDDはファジーな挙動の動作担保にも使えるが、 テストシナリオとしてあいまいな仕様やファジーな表現を 許しているというコトではない →しっかり腰を据えた議論・合意形成があってこそBDDが輝く - BDDシナリオに基づいてAIテスト（LLM-as-a-Judge）が実現すると 最高だけど、現状はNI（自然知能）であるニンゲンがやるのが現実解ですよね →東京AI祭当日も居るので興味があれば語りましょう 14
15. 参考文献 • The BDD Books - Discovery (Japanese Edition) - 2022年 15
16. おしまい