AIはオールグリーンの夢を見るか

Transcript

1. スマレジ × KDDIアジャイル開発センター Meetup／2026.8.27 AIはオールグリーンの夢を見るか ~AIの作った900テストケースを読んだ結果~ KDDIアジャイル開発センター BI4部テストセンター 前川蒼
2. 社外秘X 今日来れてよかった... KDDI Agile Development Center Corporation 2
3. 自己紹介 CAREER 2017年4月〜 福井高専に収容 収容されてからは主にコンテストに出場して遊んでた 研究はドローン関連を主にしていてWeb開発なんてからっきしだった 2025年4月〜 KAG入社 入社してからWeb開発をバリバリに勉強 アジャイル開発もGithubもこの時初体験 氏名 前川 蒼 入社年 2025年度 2025年7月〜 テストセンター 7月の2週目からテストセンターに配属 所属部署 開発BI4部 現在は主にテストの自動化を行っている 担当業務 エンジニア 2026年8月 ClaudeCode本出版！ 趣味 ものづくり、サバゲー、 ねこ ClaudeCodeについての本を執筆 KDDI Agile Development Center Corporation 3
4. 所属チームの説明 テストセンター内のプラットフォームチーム（PF） KAGテストセンター プラットフォームチーム 受け入れ試験チーム 運用 / サービスデスク / クラウド 構成管理 / テスト自動化 案件ごとの試験 計画〜実施〜報告 自分はここ！ KDDI Agile Development Center Corporation 4
5. 作ったもの 試験項目書を渡すと、画面を調べ、コードを書き、実行まで終わる 入力 Excel の試験項目書 出力 ▶ 何をテストしたいか、だけ 動作するテストコード 手順書・Page Object・実行結果つき アプリのソースコードも内部仕様書も使わない。 AI が実際にブラウザを操作して画面の構造を調べ、要素の指定方法と期待結果を自分で確定させる。人が用意するのは試験項目書だ け。900 ケース分、これで作りました。 KDDI Agile Development Center Corporation 5
6. 大前提 私たちは、AI が書いたものを信じていません 9 工程のうち 5 工程 検証に使っている 判定も AI にやらせない 一度やらせて、やめた 検証役の AI も疑う 報告の改ざんを機械で検知 手順書レビュー・突合・コードレビュー・品質検証・静的解析。作らせる工程より多い。 生成物と項目書の照合をAI にさせたが、判定そのものを信用できず、同じ日にプログラム判定 へ切り替えた。 テストの検証結果を出すAI を別に立てたうえで、その報告が書き換えられていないかを機械で 確かめている。 疑うための工程を積み上げたうえで、 900 ケースを生成している。 KDDI Agile Development Center Corporation 6
7. 期待結果が、静かに書き換わる 増える。 緩む。 どちらも、テストは緑のまま。 KDDI Agile Development Center Corporation 7
8. それでも漏れていた ① Excel に 1 行しかない期待値が、4 行になっていた 試験項目書（Excel）の期待値 ・TOP画面に遷移すること ┗設置URL:https://example.com/ AI が生成した手順書の期待結果 ▶ - TOP画面に遷移すること - URLが example.com/ のままであること - ページタイトル「サービス名」が表示される - 「ログイン」リンクが表示される 赤の 2 行は Excel のどこにも書かれていない。 AI が画面を見て足した。 つまりこの 2 行の正解は、仕様書ではなく「今そう表示されているから」。いま画面が間違っていたら、間違いを正解として固定する。 KDDI Agile Development Center Corporation 8
9. それでも漏れていた ② こちらは逆に、検証が消えていた 試験項目書（Excel）の期待値 ・公式サイトの 第3階層ページへ遷移すること AI が生成した検証コード ▶ expect(page) .toHaveURL(/.*example\.com.*/) // 最も堅牢な検証方法 「第3階層」がどこにも残っていない。 第 1 階層に飛んでも通る。トップページに飛んでも通る。ドメインさえ合っていれば永久に通る。しかも AI 本人が「最も堅牢な検証方法」と 書き添えている。堅牢＝落ちにくい、であって、正しく検証している、ではない。 KDDI Agile Development Center Corporation 9
10. それでも漏れていた ② AI が「正解」を決め直していた 増える 緩む Excel にない検証が足される 要求が、通りやすい条件に変わる 仕様 → 正解 第3階層 ではなく ↓ 今の画面 → 正解 ドメインが合えば OK コードは書けている。 「何を正解とするか」がズレている。 KDDI Agile Development Center Corporation 10
11. 試してみたこと まず、機械で止めることにした 試験項目書 ≠ 生成物 → STOP 項目が落ちていないか 対応関係が崩れていないか ズレたら後続処理を止める 判定も AI にはやらせない。 KDDI Agile Development Center Corporation 11
12. それでも、止まらない 「増えた」は、間違いとは限らない 人が気づかなかった観点かもしれない。 「緩んだ」は、意味が分からないと判定できない 文字の一致だけでは分からない。 そして、どちらもテストは落ちない。 KDDI Agile Development Center Corporation 12
13. テストが通ることと、 検証していることは別物。 落ちるテストは教えてくれる。 落ちないテストは、何も教えてくれない。 KDDI Agile Development Center Corporation 13
14. AI は楽な方法で空白を埋める。 空白の量が、テストが嘘をつける量。 KDDI Agile Development Center Corporation 14
15. これ、AI の問題じゃなくない？ 人間も、同じことをする。 昔からあった問題が、 900 ケース分いっぺんに起きただけ。 KDDI Agile Development Center Corporation 15
16. で、まだ答えが出ていない。 期待結果は、 どこまで人が書く？ AI が足した検証は、 通す？ 落とす？ 全部書けば自動化の 意味が薄れる。 書かなければ AI が決める。 余計な検証なのか、 人間が見落とした 観点なのか。 KDDI Agile Development Center Corporation 「落ちないテスト」を、 どう見つける？ 通り続けているテストほど、 誰も見に行かない。 16
17. 個人的には やはりQAが開発と喋りながらやるべきか？ KDDI Agile Development Center Corporation 17
18. Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る