Slide 1

Slide 1 text

AIでテストプロセス自動化に挑 戦するなの AI x Playwrightでテスト観点に沿った自動テストをループさせ てチェックの仕事から自分を解放する JaSST nano vol,50 〜2025/0715〜

Slide 2

Slide 2 text

自己紹介 坂田 一徳 (SAKATA KAZUORI) https://x.com/Test_K_SAK 業務委託、フリーランス4年目 社会人デビュー:2002年 QA約12年(ファーム、ミドル、在庫管理…etc, 50以上のプロダクト を担当) その他の職歴:製造業品証 / 金属加工 / 塾の室長/ 食品製造…etc, 長野県上田市 出身&在住(フルリモートで渋谷 3年半) 住宅ローン35年 (残り14年) 特技:フォークリフトの運転 上田市消防団 第15分団 元部長 PTA 元支部長 公民館役員

Slide 3

Slide 3 text

QA現場の課題感 アジャイル開発の負担 QAの守備範囲が広く深くなっている 自動テストにかかる手間 「実装」「修正」「運用」がめちゃくちゃ手間がかかる リソース配分の問題 "チェック"に時間を奪われて、予防的QAやバグを探索するテスト 業務に集中できない 開発速度との乖離 機能追加のサイクルが速いので、自動テストのスクリプト作成・ 修正が間に合わない

Slide 4

Slide 4 text

目指したい理想の世界 「やりたいテストを言えば、あとは AIがチェック を全部回してくれる世界」 自動生成と実行 AIがケースを自動生成して、Playwrightで実行する 自動修復 失敗時はAIが自動で原因分析(スクリプトの要因)と修正を行う カンタンな入力 自然文で指示するだけでOKにしたい(任せるのはカンタンなチェック) 網羅性向上 いろんなテストシナリオもAIが提案して網羅性を高める 人間は"AIが拾えない部分 "に集中できる

Slide 5

Slide 5 text

作ってみた(デモ動画) 1.観点生成〜自然言語ケース生成 2.テスト実行中 3.失敗分析〜シナリオ発見 4.結果レポート

Slide 6

Slide 6 text

システム全体フロー 入力する情報 画面URL、テスト観点リスト、やりたいこ と、仕様書(任意) AIの処理 観点生成→ケース生成→コード化 実行&改善 テスト実行→失敗テストはAIが修復&再 実行 継続的改善 AIが「未テストシナリオ」を発見し追加テス ト このループで "自走"する自動テストを実現

Slide 7

Slide 7 text

技術的な工夫ポイント 1 観点リストで AIの発想をコントロール 生成AIの"思考の暴走"やトンチンカンなケース生成を抑制する▶「観 点リスト」を投入することで「やりたいテスト」だけを生成させる 2 DOM解析で「実行できるテスト」に限定 AIは対象画面のことが分からない状態でテストを生成する ▶ハルシネーション対策として、対象画面をDOM解析し、"本当に操 作できる要素だけ"でケース生成する。 ※ツール側でDOM解析してAIに渡す。夢から醒ます 3 失敗テストの自己修復 失敗時のDOMを再解析し、AIがPlaywrightコードを自動修正。▶"観 点"はキープしつつ操作手順だけを柔軟に修正する。動的要素にも 対応 4 未到シナリオの自動探索 生成されるテストは一期一会。カバレッジを確保できない ▶テスト履歴をAIが解析し、カバレッジ不足や"未踏パターン"を洗い 出して提案。テストの「漏れ」をAIが自動で発見・追加する ハルシネーションと、冪等性の低さへの対策

Slide 8

Slide 8 text

おまけ:リアルなコスト(開発はじめて 1ヶ月) 項目 費用目安 OpenAI $20(約3,000円) API利用 $25(約3,750円) Cursor(claude-4) $100(約14,500円) 合計 $145(約21,250円) ● "ノースキル開発 "だとコーディングエージェント代がかさむ ● AI活用ノウハウでコスト最適化していく ● (ファインチューニング課金も考え始めた)

Slide 9

Slide 9 text

まとめ・今日の Takeaway 「誰もが自分で問題解決に向けて走れる!」 ノースキルでも可能 アイデア&情熱があれば"ノースキル"でも問題 解決手段を手にできる オープンソース 本ツールはMITライセンスで提供。ご自由に利用 ください。 ※ローカルで駆動 車輪の再発明 AIを組み込んだテスト自動化製品は時を同じくし て同じような進化を遂げていた…が!! ループさせるような新たなイノベーションは生み 出せた気がする ※API契約は別途ご自身でお願いします

Slide 10

Slide 10 text

GitHub X (旧Twitter): https://x.com/Test_K_SAK GitHub: https://github.com/k-sakQA/autoplaywright ご質問・フォーク・コントリビュート大歓迎!! Dockerでも動きます

Slide 11

Slide 11 text

JaSST nano Forever 登壇された方々のお話を伺うことで 「自分ももっと QAのこと勉強したい」と 思うキッカケの場でした。 ありがとうございました!!!