AIでテストプロセス自動化に挑戦する
by
K_SAK
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
AIでテストプロセス自動化に挑 戦するなの AI x Playwrightでテスト観点に沿った自動テストをループさせ てチェックの仕事から自分を解放する JaSST nano vol,50 〜2025/0715〜
Slide 2
Slide 2 text
自己紹介 坂田 一徳 (SAKATA KAZUORI) https://x.com/Test_K_SAK 業務委託、フリーランス4年目 社会人デビュー:2002年 QA約12年(ファーム、ミドル、在庫管理…etc, 50以上のプロダクト を担当) その他の職歴:製造業品証 / 金属加工 / 塾の室長/ 食品製造…etc, 長野県上田市 出身&在住(フルリモートで渋谷 3年半) 住宅ローン35年 (残り14年) 特技:フォークリフトの運転 上田市消防団 第15分団 元部長 PTA 元支部長 公民館役員
Slide 3
Slide 3 text
QA現場の課題感 アジャイル開発の負担 QAの守備範囲が広く深くなっている 自動テストにかかる手間 「実装」「修正」「運用」がめちゃくちゃ手間がかかる リソース配分の問題 "チェック"に時間を奪われて、予防的QAやバグを探索するテスト 業務に集中できない 開発速度との乖離 機能追加のサイクルが速いので、自動テストのスクリプト作成・ 修正が間に合わない
Slide 4
Slide 4 text
目指したい理想の世界 「やりたいテストを言えば、あとは AIがチェック を全部回してくれる世界」 自動生成と実行 AIがケースを自動生成して、Playwrightで実行する 自動修復 失敗時はAIが自動で原因分析(スクリプトの要因)と修正を行う カンタンな入力 自然文で指示するだけでOKにしたい(任せるのはカンタンなチェック) 網羅性向上 いろんなテストシナリオもAIが提案して網羅性を高める 人間は"AIが拾えない部分 "に集中できる
Slide 5
Slide 5 text
作ってみた(デモ動画) 1.観点生成〜自然言語ケース生成 2.テスト実行中 3.失敗分析〜シナリオ発見 4.結果レポート
Slide 6
Slide 6 text
システム全体フロー 入力する情報 画面URL、テスト観点リスト、やりたいこ と、仕様書(任意) AIの処理 観点生成→ケース生成→コード化 実行&改善 テスト実行→失敗テストはAIが修復&再 実行 継続的改善 AIが「未テストシナリオ」を発見し追加テス ト このループで "自走"する自動テストを実現
Slide 7
Slide 7 text
技術的な工夫ポイント 1 観点リストで AIの発想をコントロール 生成AIの"思考の暴走"やトンチンカンなケース生成を抑制する▶「観 点リスト」を投入することで「やりたいテスト」だけを生成させる 2 DOM解析で「実行できるテスト」に限定 AIは対象画面のことが分からない状態でテストを生成する ▶ハルシネーション対策として、対象画面をDOM解析し、"本当に操 作できる要素だけ"でケース生成する。 ※ツール側でDOM解析してAIに渡す。夢から醒ます 3 失敗テストの自己修復 失敗時のDOMを再解析し、AIがPlaywrightコードを自動修正。▶"観 点"はキープしつつ操作手順だけを柔軟に修正する。動的要素にも 対応 4 未到シナリオの自動探索 生成されるテストは一期一会。カバレッジを確保できない ▶テスト履歴をAIが解析し、カバレッジ不足や"未踏パターン"を洗い 出して提案。テストの「漏れ」をAIが自動で発見・追加する ハルシネーションと、冪等性の低さへの対策
Slide 8
Slide 8 text
おまけ:リアルなコスト(開発はじめて 1ヶ月) 項目 費用目安 OpenAI $20(約3,000円) API利用 $25(約3,750円) Cursor(claude-4) $100(約14,500円) 合計 $145(約21,250円) ● "ノースキル開発 "だとコーディングエージェント代がかさむ ● AI活用ノウハウでコスト最適化していく ● (ファインチューニング課金も考え始めた)
Slide 9
Slide 9 text
まとめ・今日の Takeaway 「誰もが自分で問題解決に向けて走れる!」 ノースキルでも可能 アイデア&情熱があれば"ノースキル"でも問題 解決手段を手にできる オープンソース 本ツールはMITライセンスで提供。ご自由に利用 ください。 ※ローカルで駆動 車輪の再発明 AIを組み込んだテスト自動化製品は時を同じくし て同じような進化を遂げていた…が!! ループさせるような新たなイノベーションは生み 出せた気がする ※API契約は別途ご自身でお願いします
Slide 10
Slide 10 text
GitHub X (旧Twitter): https://x.com/Test_K_SAK GitHub: https://github.com/k-sakQA/autoplaywright ご質問・フォーク・コントリビュート大歓迎!! Dockerでも動きます
Slide 11
Slide 11 text
JaSST nano Forever 登壇された方々のお話を伺うことで 「自分ももっと QAのこと勉強したい」と 思うキッカケの場でした。 ありがとうございました!!!