2025_09_05_QAエンジニアの思考を映す_テスト自動化事例.pdf

by Seki Ryoma

Slide 1

Slide 1 text

音声認識から画面検証まで生成AI時代の電話サービス品質を支える自動テストの全貌 QAエンジニア株式会社IVRy Ryoma Seki 2025/09/05

Slide 2

Slide 2 text

2017年~ 建設業の建具工として独立同年にパーソナルトレーナーとしても独立し、二足のわらじで活動 2021年~ キャリアチェンジをし、学習塾事業の事業責任者を務める 2022年1月~ - IVRyに入社し、QAエンジニアとしてのキャリアをスタート - 現在はアイブリーのプロダクト全般の QAを担当趣味 - 筋トレやフットサルなど 2 Event Name 2025 2025/06/01 株式会社IVRy QAエンジニア関凌麻 (@IvryQa)

Slide 3

Slide 3 text

3 プロダクト紹介

Slide 4

Slide 4 text

4 対話型音声 AI SaaS アイブリー最短5分で登録可能。月2,980円から電話業務を自動化・効率化することができるサービスボタンプッシュによる自動応答 /SMS送信/電話転送に加えて、 AI音声対話など様々な機能が利用可能

Slide 5

Slide 5 text

5 業態に合わせた自由な応答設定ダイヤルプッシュとAIの対話をハイブリッドで設定し、受けたい電話と自動化したい電話を分類。電話業務を効率化できる

Slide 6

Slide 6 text

・アイブリーの品質を支える 3つのテスト領域・自動テスト導入前の課題・段階的に進めたテスト自動化と 3つの取り組み・成果と新たな課題・今後の展望 6 今日話すこと

Slide 7

Slide 7 text

モバイルアプリテスト・着信・通話操作・プッシュ通知・ウィジェットなど電話機能テスト・IVRフロー・音声認識・予約など管理画面テスト・IVR フロー設定・通話履歴表示・営業時間設定など 7 アイブリーの品質を支える 3つのテスト領域

Slide 8

Slide 8 text

モバイルアプリテスト・着信・通話操作・プッシュ通知・ウィジェットなど電話機能テスト・IVRフロー・音声認識・予約など管理画面テスト・IVR フロー設定・通話履歴表示・営業時間設定など 8 アイブリーの品質を支える 3つのテスト領域

Slide 9

Slide 9 text

9 自動テスト導入前の課題

Slide 10

Slide 10 text

10 ・開発者数十人に対して QA数名で、複数ラインの同時開発とテスト量増大で QAリソースが限界に・リリース頻度を可能な限りあげたい ->手動テストだけでは物理的に限界がある課題1 体制・組織面

Slide 11

Slide 11 text

11 ・手続き上の制約　実際に電話をかける必要性がある・時間的制約　実際に電話をかけて検証を行っており、 1ケース数分 × 数十〜数百パターンあるので、　リグレッションテストを行うだけで数時間かかっていた課題2 電話テスト特有の制約

Slide 12

Slide 12 text

限界を突破するには効率化が必須そこでテスト自動化への挑戦を開始 12

Slide 13

Slide 13 text

13 段階的に進めたテスト自動化

Slide 14

Slide 14 text

14 テスト自動化の拡張プロセステスト自動化のこれまでの歩み 

Slide 15

Slide 15 text

15 テスト自動化の拡張プロセステスト自動化のこれまでの歩み 

Slide 16

Slide 16 text

16 ・内製ツールとして開発　実際の架電テストを自動化する独自ツールを　社内エンジニアが構築・音声認識 × 音声合成の活用　Speech-to-Text や Text-to-Speech とリアルタイム音声通信　を組み合わせ、音声対話を実現電話自動応答システムの QAのための自動応答システムを作った話取り組み① 電話自動テストツールの構築

Slide 17

Slide 17 text

テスト項目約140項目を自動化重要項目を自動テストでカバーテスト実行時間約30分/回(約80%削減) 大幅な時間短縮を実現テスト体制開発者のみ QAエンジニア不要で、 24時間いつでもテスト実行可能に 17 電話自動テストツールの導入後の効果テスト項目約200項目すべて手動で実施テスト実行時間 2~3時間/回リグレッションテストごとに必要テスト体制 QAエンジニア必須 Before After

Slide 18

Slide 18 text

->画面操作の E2Eテストと組み合わせて実現 Playwrightと電話の自動テストを組み合わせルール設定から架電するテストケースを実現なぜ必要だったか電話の自動テストツールでは、すでに設定されているルールへの架電は可能だった新規機能やリファクタリング時には、データの型やロジックが変わるので、ルール設定 → 架電の一気通貫のテストが必要でした 18 取り組み② 画面×電話のE2Eテストの実現

Slide 19

Slide 19 text

LLMによる解決・対話パターンをLLMが自動生成・自然言語でシナリオを記述・多様な表現を簡単に実現できるように従来の課題・発話のバリエーションが少ない・テストシナリオを人間が細かく作成・カバレッジ向上に多大な手間 19 取り組み③ LLM活用で電話テストを強化

Slide 20

Slide 20 text

20 取り組み③ LLM活用で電話テストを強化（対話例：飲食店予約）

Slide 21

Slide 21 text

21 これらを通しての成果 QAリソース不足と複数ラインでのボトルネック QA不要で開発者のみでテスト完結課題1 体制・組織面 QAリソース不足と複数ライン週1-2回の定期リリース実現実際に電話をかける必要がある電話不要でテスト実行可能課題2 電話テスト特有の制約の改善テスト実行に2-3時間かかる約30分に短縮 ✔ ✔ ✔ ✔

Slide 22

Slide 22 text

22 新たに出てきた課題

Slide 23

Slide 23 text

23 新たに出てきた課題 etc…

Slide 24

Slide 24 text

開発者でもQA計画・設計ができる社内ツール構築 24 LLM時代のQA体制, プロセスの革新課題：LLMが生み出す膨大なコード量に QAが追いつかないアドホックテストが簡単にできるようにシナリオベースで、自動テストコードを生成する仕組みを導入今後の展望①

Slide 25

Slide 25 text

25 今後の展望② 人間にしかできない価値の追求・「なんか変」を察知する直感的判断力・実際の顧客体験としての品質評価 → 自動化で効率を上げつつ、人間の強みを最大化 ※ 見た目の評価や違和感の言語化により、 LLM活用の可能性も模索中　完全な人間依存からの脱却も目指す

Slide 26

Slide 26 text

アイブリーがテスト自動化で実現したこと・電話テストの様々な制約を技術で突破・少人数でも高頻度リリースを実現・LLM活用によって多様な発話パターンをカバーできるように QAのこれから・効率化できる部分は、徹底的に自動化する・人間は、顧客視点での体験価値を評価していきたい・体験自体を言語化・定量化することで、AIと組み合わせてより効率的に自動化は手段。目的は顧客にとって良い体験を届け続けること 26 まとめ

Slide 27

Slide 27 text

We are Hiring! X カジュ面