手動から自動へ、そしてその先へ

2025年12月6日　ソフトウェアテスト自動化カンファレンス2025　での登壇資料です。
https://testautomationresearch.connpass.com/event/361747/

リンク一覧
世界が広がる🌍ソフトウェア品質 https://voicy.jp/channel/784829
株式会社VoicyにおけるMagicPod導入と活用 https://findy-tools.io/products/magicpod/6/543
モバイルアプリのE2E自動テストをMagicPodで始めた話 https://tech-blog.voicy.jp/entry/2025/05/19/110000
#136 Magic Podを3週間使ってみて https://voicy.jp/channel/784829/6637850
#271 Magic Podユーザーミートアップでの学び https://voicy.jp/channel/784829/7038677
#278 Magic PodのAutopilotで、Web APIを使ったアカウント新規登録テストを作ったよ。https://voicy.jp/channel/784829/7065871
https://www.bloomberg.com/news/articles/2024-07-11/openai-sets-levels-to-track-progress-toward-superintelligent-ai
🎧たいろー(森山大朗)さんの#1873「A2A」の世界へ https://voicy.jp/channel/1232/7221944
Google Cloudの Agent2Agent (A2A) Protocol https://a2a-protocol.org/latest/
ISTQB Testing with Generative AI(CT-GenAI) Syllabus v1.0 https://istqb.org/sdm_downloads/ct-genai-syllabus-v1-0/

Transcript

1. Software Test Automation Conference 2025 手動から自動へ、 そしてその先へ テスト自動化の壁を越え、AI時代に備える Sammy - 株式会社Voicy
2. アジェンダ 1. 【過去】手動テストの限界（5000ケースの壁） 2. 【現在】自動テストの導入と「壁」の乗り越え方 3. 【未来】AIエージェント時代に求められるスキル ➡未来を妄想しながら、AIエージェント時代の生存戦略につ いて議論するきっかけ
3. 自己紹介　Sammy（MORITA Masami） • QA10年、EM1年目 ◦ E2E自動テスト1年目 • JaSST Tokyo実行委員 • JSTQB 翻訳WG ◦ Expert LevelのTest Management
4. 発信・登壇 • ✅7/17 Developers Summit 2025 Summer • ✅11/18 CloudNative Days Winter 2025 • 12/22(月)12:00-13:00 Findy QATechTalk #6 ◦ Claude Skillsの活用事例 「世界が広がる🌍 ソフトウェア品質」
5. Phase 1: 過去 手動テストの限界 〜5000件の壁〜
6. 5/12 Voicy プロダクト紹介 Voicy Studio アプリ スマホ1つでらくらく収録。業界 唯一のパーソナリティ専用アプ リ。 Voicy アプリ いつでもどこでも聴ける。習慣化 につながる機能を提供。 Voicy Studio Web 各種データ分析や企業向けWeb機 能を提供。 Voicy.jp ブラウザ聴取、URL共有による外 部流入に対応。
7. 5000件のリグレッションテスト 背景 プロダクトの成長とともにテストケースが肥大化 再生・収録×2　総数 約5,000件 • 課題 ◦ アプリのリリース頻度を上げられない ◦ 増加し続けるテスト実行コスト →テストの見直し(3000件に)と、自動化
8. リグレッションテストの見直し 肥大化の要因 新機能の機能テストをそのまま流用 • テストの目的の明示 ◦ Voicyの最低限の体験を担保すること • 最低限の体験 ◦ この画面のこの機能はVoicyのコア機能か？ ◦ 毎回確認してコスパはどうか？ ◦ 細かいUIの制御や、表示データの整合性は除外
9. Phase 2: 現在 自動テストの導入と現実
10. E2E自動テストの導入ステップ 1. 自動テストの全体像の確認 a. テックリードを巻き込んで、ユニットテストを含む、各自動テストのスコープを整 理 2. ツール選定 a. 小規模なPoCを実施。評価項目をリストアップし、自組織に合ったツールを選 択 3. 小さく始める a. 手動で毎週実施していたリグレッションテストを自動化の第一候補に選定。決 済関連機能10個を自動化
11. • 私がE2E自動テストで守りたいもの？ ◦ UI起点で、全ての部品がつながった状態で動作すること ◦ 最低限のユーザー体験を提供できていること(テストの目的) ◦ 部品自体の正確性は確認しない 1.自動テストの全体像 E2Eの ”End”とは何を指す？ 人によって連想する内容、スコープが異なる
12. 2.ツール選定（MagicPod） • セットアップ：環境構築が非常に簡単 • 実装の容易さ：スモールスタートが可能 • サポート体制：親切な対応が「頑張ってみよう」という モチベーションに 導入時の記事： 株式会社VoicyにおけるMagicPod導入と活用 モバイルアプリのE2E自動テストをMagicPodで始めた話 #136 Magic Podを3週間使ってみて
13. 3.小さく始める ➡ スムーズな立ち上がりと自動化の開始
14. 自動テスト運用の「壁」 - Flakyなテストとの戦い 具体的な事例（Androidアプリ） 初期画面で新規登録ボタンの要素が取得できず失敗 ➡ UI操作だけでは限界があることへの気づき 直面した課題 「要素が見つからない」エラーでテストが落ちる 安定的に実行できない（Flakiness）
15. 【解決策】WebAPIの活用で、安定性が大幅に向上 アプローチの転換：「すべてをUIで操作する必要はない」 • アカウント新規登録の手順（前提条件作り） ➡本当にUIでの検証が必要な部分に集中できるように #271 Magic Podユーザーミートアップでの学び
16. AI機能を使ったテスト実装 #278 Magic PodのAutopilotで、Web APIを使ったアカウント新規登録テストを作ったよ。
17. Phase 3: 未来 AIエージェント時代へ
19. 変化2 - AIエージェント時代の到来 https://www.bloomberg.com/news/articles/2024-07-11/openai-sets-levels-to-track-progress-toward-superintelligent-ai を参考にGeminiで作成 今ここ
20. Level 3 (Agents) の世界（妄想） Agent-to-Agent (A2A) 単体のエージェントでは なく、複数の専門エー ジェントが連携して機能 する。 🎧たいろー(森山大朗)さんの#1873「A2A」の世界へ Google Cloudの Agent2Agent (A2A) Protocol ISTQB Testing with Generative AI(CT-GenAI) Syllabus v1.0
21. 仕組みを理解して、人間主体でGenAIとともにテストタスク を実行。 • 2. Prompt Engineering for Effective Software Testing • 2.1 Effective Prompt Development • 2.2 Applying Prompt Engineering Techniques to Software Test Tasks • 2.3 Evaluate Generative AI Results and Refine Prompts for Software Test tasks ISTQBのシラバスからのヒント ISTQB Testing with Generative AI(CT-GenAI) Syllabus v1.0
22. AIエージェント時代のつらみ • 1からAIが生成した成果物の妥当性を説明するのが難しい ◦ 何を根拠にした成果物かが見えないから（ブラックボックス） • 自律性が高まるからこそ、よりプロセスの透明性が重要 に。
23. Explainable Artificial Intelligence (XAI) is a field of Artificial Intelligence (AI) that promotes a set of tools, techniques, and algorithms that can generate high-quality interpretable, intuitive, human-understandable explanations of AI decisions. AIの決定に関する高品質で解釈可能、直感的で人間が理解で きる説明を生成できる一連のツール、技術、およびアルゴリ ズムを推進する人工知能（AI）の分野。 XAI(Explainable AI)とは 引用元：Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
24. XAI(Explainable AI)とは • AIシステムの信頼性と透明性を向上させるために設計され た一連の技術とアルゴリズム • 説明＝追加のメタ情報 • 入力インスタンスの特徴の重要性または関連性を記述 Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
25. XAI(Explainable AI)の具体例 LIMEアルゴリズム Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey より引用
26. XAI(Explainable AI)の可能性 Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey • XAIを活用して、出力の調整（ユーザーの嗜好に合わせ る）と出力の検証 • 自身の決定について説明を提供する（自己説明する） ➡なぜその結論に至ったのか、根拠を確認するプロセスを組 み込む
27. まとめ
28. 手動から自動、そして「自律化」したAIエージェント時代へ Phase 1: 手動テストの限界 Phase 2: MagicPodによる自動化 Phase 3: 自律化・AIエージェントの世界とXAIの可能性 まとめ 仕組みと限界を理解しながら、新しい品質保証の世界を 模索し続けるのみ。
29. ご清聴ありがとうございました 公式X voicy dev Voicyエンジニアの声が聴ける 「voi-chord」 Voicy Tech Blog 登壇やイベント、 発信情報などを発信中！ エンジニアが運営 毎週土曜日Voicyで発信中！ 技術発信専用ブログ 普段の開発の様子が覗けます