QA業務効率化 / 自動テスト &AI活用リアル

Transcript

1. QA業務効率化 / 自動テスト &AI活用のリアル 2025.5.21 Tech-QA Meetup ～品質で未来を拓く最前線～ / SEKI Ryoma @ivryqa

2. • 2017年
 ◦ 建設業の建具工として独立 
 同年にパーソナルトレーナーとしても独立し、二足のわらじで活動 
 • 2021年
 ◦ キャリアチェンジをし、学習塾事業の事業責任者を務める 
 • 2022年1月
 ◦ IVRyに入社し、 QAエンジニアとしてのキャリアをスタート 
 ◦ 現在はIVRyのプロダクト全般の QAを担当しています 
 
 • 趣味
 ◦ 筋トレやフットサル、スパルタンレースなど、運動全般 

3. プロダクト紹介
4. 対話型音声 AI Saas IVRy 
 
 最短5分・月2,980円から電話業務を自動化・効率化することができるサービスで、 
 ボタンプッシュによる自動応答 /SMS返/電話転送に加えて、 AI音声対話など様々な機能が利用可能 

5. 業態に合わせた自由な応答設定 
 
 
 ダイヤルプッシュと AIの対話をハイブリッドで設定し、 
 受けたい電話と自動化したい電話を分類。電話業務を効率化できる 

6. 今日話すこと ▪自動テスト & AI 活用の取り組み
 ▪ハマったこと（うまくいかなかったこと）
 ▪導入して得られた効果
 ▪これからやっていくこと

7. 自動テスト・ AI活用でQAの業務効率化してますか？
8. 自動テスト 
 自動テストのこれまでの歩み
 様々な領域の自動テストを徐々に広げていってます 

9. 全社で積極的に活用していて、 AIハッカソンやセールスや OPSなども業務に活用して情報交換が行われ ている
 AI活用
 AIハッカソンの様子
 エンジニアが社内で使ってるAIツール

10. 自動テストの取り組み
11. 概要
 ▪電話をかけた時のダイヤル操作や発話を行い、音声案内や電話転送、 AI対話などのケースの検証を行っている 
 ▪Twilioが提供する Twimlというサービスを利用して、音声を発話したりダイヤル操作をして電話をかける部分を自動化しています。実行結 果と想定しているシナリオを比較して、実現しています。 
 
 効果
 ▪プッシュ型のテストに約 60分ほど掛かっていたが、ワンポチで出来るようになったので、 60分の削減 
 ▪音声認識のテストに、 100~120分ほど掛かっていたが、ワンポチで出来るように 100~120分の削減 
 ▪GitHub Actions で誰でも（開発者）実行できるようになった 
 電話・AI対話 E2Eテスト

12. 概要
 ▪モバイルアプリと合わせて端末の 電話 UI を含む着信／発信フローを自動化 
 ▪いくつかのライブラリやサービスを検証した結果、端末がもつ電話機能を操作できたのは Airtest（画像認識方式）のみだったため採用 
 
 効果
 ▪手動で行っていた着信・発信テスト 約10分/回を削減。 
 ▪今後はテストケースを拡張し、機能・端末・ OSバージョンの網羅性をさらに向上予定 
 モバイルアプリの着信・発信 E2Eテスト

13. 電話・AI対話 E2Eテスト
 ▪メンテが重い 
 　→ 電話 E2Eテスト は 開発メンバーも巻き込み、メンテナンスを分散 
 
 モバイルアプリの着信・発信 E2Eテスト
 ▪モバイル UI のばらつき 
 　→ 端末／OS バージョンで画面が変わり Airtest が失敗する → 対象端末・主要 OS にスコープを絞っ て対応している 
 自動テストでハマったこと（うまくいかなかったこと） 

14. ▪開発者だけで回せる体制を確立 
 　QA への依頼なしでリグレッションテストを実行・確認できる 
 ▪毎日定期実行 
 　日々変更が入るので、 “気付けていなかったバグ ” を早期に検知 
 ▪リグレッションテストの工数を 約 8 割削減
 　手動テスト 1 日 → 自動化で数十分に短縮 
 導入して得られた効果 

15. 電話 E2Eテスト の “AI 対話” の進化
 AI が発信・応答までこなす シナリオなしで動かすテストに挑戦 
 検証してわかっているのは、感情などを加えることで、実際の発話内容が変わったりする 
 これからやっていくこと 

16. AI活用の取り組み
17. ※積極的に活用中で、主に 3つ注力しています 
 1. LLMによるテストコード生成 
 2. LLM ✖Playwright MCP を活用したテスト実行 
 3. 要件定義、 DesignDoc からQA項目を自動生成（チャレンジ中） 
 AI活用の取り組み 

18. ▪デザインのスクリーンショット + 概要とシナリオをインプット情報として、 LLMに渡して Playwright テストコードを自動生成 
 ▪生成後に 1回で動くものもあるし、動かないこともあるが、 Cursor を使って数回調整するだけで使いものになるコードが生成される 
 ▪今後、コンテキスト情報やルールを充実させていくことで、精度向上や Page Object での出力もできそう 
 LLMによるテストコード生成 
 インプット情報
 アウトプットイメージ

19. ▪手順、期待値を記載したシナリオをインプット情報として用意して、実行するだけで、テストを実行してくれる 
 ▪個人的には、これによってテスト実施はだいぶ置き換えられてくる印象があります 
 ▪テストコードに関してもコードベースではなく、シナリオベースで管理できそうだなと思っています 
 ▪メールや外部連携、電話などの専用ヘルパーを用意すれば、拡張もできる 
 LLM ✖Playwright MCP を活用したテスト実行 
 シナリオ例
 実行結果の例

20. AI活用でハマったこと（うまくいかなかったこと） 
 ▪入力設計の難しさ 
 　→ プロンプトの粒度・優先順位が甘いと 期待どおりの出力が得られない 
 　→ 社内エンジニアに相談して、日々試行錯誤している 

21. 導入して得られた効果 
 ▪テスト項目書 & コードを 6〜7 割まで自動生成 
 　わずかではあるが工数を削減することができている 
 ▪抜け漏れ観点の “棚卸し”に役立つ
 　LLM が仕様とのギャップを指摘してくれる 

22. これからやっていくこと 
 ▪QA／テスト領域でさらなる効率化を進める 
 　Devin や Cursor を活用し、基盤構築から E2E テストコードの保守までを容易にする 
 ▪テスト実行の拡張
 　電話の受発信・対話を含む Web以外の領域も含めたE2EをAIで自動化
 ▪テストシナリオ／QA ドキュメントの整備 
 　AI が扱いやすい形式で、テストシナリオや QA 項目を体系的に整理・管理する 

23. 最後に
24. ▪とりあえず触ってみると考え方や世界観をアップデートされていくので、まずは触るがおすすめ 
 ▪LLM活用してみて、うまくいった・ダメだったとかあれば、ぜひ話したいので、カジュ面や Xで連絡くだ さいー！
 最後に