Share
Embed
Transcript
18 slides
-
自己紹介 CAREER 2017年4月〜 福井高専に収容 収容されてからは主にコンテストに出場して遊んでた 研究はドローン関連を主にしていてWeb開発なんてからっきしだった 2025年4月〜 KAG入社 入社してからWeb開発をバリバリに勉強 アジャイル開発もGithubもこの時初体験
氏名 前川 蒼 入社年 2025年度 2025年7月〜 テストセンター 7月の2週目からテストセンターに配属 所属部署 開発BI4部 現在は主にテストの自動化を行っている 担当業務 エンジニア 2026年8月 ClaudeCode本出版! 趣味 ものづくり、サバゲー、 ねこ ClaudeCodeについての本を執筆 KDDI Agile Development Center Corporation 3 -
所属チームの説明 テストセンター内のプラットフォームチーム(PF) KAGテストセンター プラットフォームチーム 受け入れ試験チーム 運用 / サービスデスク / クラウド
構成管理 / テスト自動化 案件ごとの試験 計画〜実施〜報告 自分はここ! KDDI Agile Development Center Corporation 4 -
作ったもの 試験項目書を渡すと、画面を調べ、コードを書き、実行まで終わる 入力 Excel の試験項目書 出力 ▶ 何をテストしたいか、だけ 動作するテストコード 手順書・Page
Object・実行結果つき アプリのソースコードも内部仕様書も使わない。 AI が実際にブラウザを操作して画面の構造を調べ、要素の指定方法と期待結果を自分で確定させる。人が用意するのは試験項目書だ け。900 ケース分、これで作りました。 KDDI Agile Development Center Corporation 5 -
大前提 私たちは、AI が書いたものを信じていません 9 工程のうち 5 工程 検証に使っている 判定も AI
にやらせない 一度やらせて、やめた 検証役の AI も疑う 報告の改ざんを機械で検知 手順書レビュー・突合・コードレビュー・品質検証・静的解析。作らせる工程より多い。 生成物と項目書の照合をAI にさせたが、判定そのものを信用できず、同じ日にプログラム判定 へ切り替えた。 テストの検証結果を出すAI を別に立てたうえで、その報告が書き換えられていないかを機械で 確かめている。 疑うための工程を積み上げたうえで、 900 ケースを生成している。 KDDI Agile Development Center Corporation 6 -
それでも漏れていた ① Excel に 1 行しかない期待値が、4 行になっていた 試験項目書(Excel)の期待値 ・TOP画面に遷移すること ┗設置URL:https://example.com/
AI が生成した手順書の期待結果 ▶ - TOP画面に遷移すること - URLが example.com/ のままであること - ページタイトル「サービス名」が表示される - 「ログイン」リンクが表示される 赤の 2 行は Excel のどこにも書かれていない。 AI が画面を見て足した。 つまりこの 2 行の正解は、仕様書ではなく「今そう表示されているから」。いま画面が間違っていたら、間違いを正解として固定する。 KDDI Agile Development Center Corporation 8 -
それでも漏れていた ② こちらは逆に、検証が消えていた 試験項目書(Excel)の期待値 ・公式サイトの 第3階層ページへ遷移すること AI が生成した検証コード ▶ expect(page)
.toHaveURL(/.*example\.com.*/) // 最も堅牢な検証方法 「第3階層」がどこにも残っていない。 第 1 階層に飛んでも通る。トップページに飛んでも通る。ドメインさえ合っていれば永久に通る。しかも AI 本人が「最も堅牢な検証方法」と 書き添えている。堅牢=落ちにくい、であって、正しく検証している、ではない。 KDDI Agile Development Center Corporation 9 -
それでも漏れていた ② AI が「正解」を決め直していた 増える 緩む Excel にない検証が足される 要求が、通りやすい条件に変わる 仕様
→ 正解 第3階層 ではなく ↓ 今の画面 → 正解 ドメインが合えば OK コードは書けている。 「何を正解とするか」がズレている。 KDDI Agile Development Center Corporation 10 -
試してみたこと まず、機械で止めることにした 試験項目書 ≠ 生成物 → STOP 項目が落ちていないか 対応関係が崩れていないか ズレたら後続処理を止める
判定も AI にはやらせない。 KDDI Agile Development Center Corporation 11 -
で、まだ答えが出ていない。 期待結果は、 どこまで人が書く? AI が足した検証は、 通す? 落とす? 全部書けば自動化の 意味が薄れる。 書かなければ
AI が決める。 余計な検証なのか、 人間が見落とした 観点なのか。 KDDI Agile Development Center Corporation 「落ちないテスト」を、 どう見つける? 通り続けているテストほど、 誰も見に行かない。 16