QA x AIエコシステム段階構築作戦

Transcript

1. QA x AIエコシステム段階構築作戦 2025.7.22 QA: Osu (YuichiroSuzuki)
2. © 2025 Reiwa Travel, Inc.
 2
 1. 会社概要 2. ⾃⼰紹介 3. 前提条件 4. マルチプラットフォーム開発（Web/iOS/Android）における QAプロセス4段階でのAI活⽤による⽣産性最⼤化戦略 ◦ QA計画 - AI駆動の戦略⽴案 ◦ QA設計 - ⾼品質テストケース⾃動⽣成 ◦ QA実施 - AI委譲とマニュアルテストの最適分担 ◦ 運⽤/デリバリ - 継続的品質保証とE2E監視 5. まとめ
3. © 2025 Reiwa Travel, Inc.
 会社情報 社 名 ： 株式会社令和トラベル 代表者 ： 篠塚 孝哉 創 業 ： 2021年4⽉5⽇ 従業員 ： 105名（役員‧正社員）※2025年7⽉1⽇時点 登録番号： 観光庁⻑官登録旅⾏業第2123号 資本⾦ ： 70.2億円（資本剰余⾦を含む） 3

4. © 2025 Reiwa Travel, Inc.
 4
 Mission
5. © 2025 Reiwa Travel, Inc.
 5
 Vision
6. © 2025 Reiwa Travel, Inc.
 Background 2019年に(株)SHIFTに⼊社。QAエンジニアとして、 主にメガベンチャー案件に従事し、アジャイルにお けるスクラム開発のQAやAPIテストによるテスト⾃動 化を経験した。その後、(株)ヤプリやUbie(株)にて、 APIテストやE2Eテストによる⾃動化推進の傍らイン プロセスQAとして活動。その後の2024年7⽉、令和 トラベルに、主にテスト⾃動化や開発⽣産性向上を 主務として参画。現在は、NEWTにおけるtoC向けプ ロダクト担当として、WEB/iOS/Androidにおける⾃ 動テスト計画策定や推進を⾏っている。また、AI活⽤ によるQA横断⽣産性向上についても担当している。 6
 令和トラベル エンジニアリングUnit Osu (鈴⽊ 雄⼀朗)
7. © 2025 Reiwa Travel, Inc.
 🚀 ご容赦ください 🚀 半分くらい理想が混ざっています。 まだまだ進行中の内容や、 これから(2025/07/22 現在) やっていくぞ !といった内容がメインになります。 📝 前提条件 7

8. © 2025 Reiwa Travel, Inc.
 8

9. © 2025 Reiwa Travel, Inc.
 🎯 弊社環境について スタック: NEWT(海外ツアー /ホテル予約アプリ ) ・WEB - React/Next/TS ・iOS - Swift/TCA/Swift UI ・Android - Kotlin/JetpackCompose 人員: 開発メンバー30名ほど(QA 4名) 開発プロセス :アジャイル開発 想定投資: 正社員1名・80%コミット 方針: 高速実証優先でPoCサイクルを回して最短 装着優先 ツール類: Notion: 仕様整理, Figma: デザイン JIRA:タスク/不具合管理 , Github/GHA: 開発 📋 テスト基盤の現状と前提条件 ・技術基盤現状 WEB: リグレッションテスト自動化率 100%（9月末予 定） iOS/Android: 平均リグレッションテスト自動化率 40%（9月末予定） CI/CD: WEB:運用中 / Native:PoC段階 ・制約 リリース頻度 : Native週次（審査制約）/ WEBは一定影 響範囲以上の修正は週次、それ以外は日次 品質要件 : 決済・予約・料金表示はより厳密に定義。 他はUI/UXガイドラインや品質要件、インシデント基準 に準拠 📝 AI組み込み環境 9
 ※ 2025/07/22現在
10. © 2025 Reiwa Travel, Inc.
 🎯 弊社QAプロセスについて 1. QA計画 ◦ テストスケジューリング ◦ テスト分析 2. QA設計 3. QA実施 4. QA運用 ◦ テスト結果分析・知見化 ◦ 継続的品質保証・モニタリング QAの標準的なワークフローを 4段階に整理。 この4段階において、生産性を上げるためにどのように AIを活用するか? 📝 前提条件 10
 ※ 2025/07/22現在
11. © 2025 Reiwa Travel, Inc.
 🎯 最終ゴール 各QAプロセスにおいてAIを組み込み、生産性が x50になっている状態。 QA 1人で 従来の開発スタイルでの開発メンバー 300人規模のプロダクト開発を回せるくらいの生 産性イメージ。 AIによる開発速度上昇によってプロダクト開発の速度が上がっていることと、コミュニケーションの オーバーヘッドなども加味して、 100人規模の開発に対して QA1人で回すくらいが現実的なイメー ジ。 これを実現するような、各ステップにおいて AIとQAが相互に連携・循環する統合システム = QAxAI エコシステム をつくる。 󰝋 ⽬指すゴール 11
 ※ 2025/07/22現在
12. © 2025 Reiwa Travel, Inc.
 🚀 各QAプロセスにおけるAI浸透戦略 Phase 1: AI活用環境整備 • タスクごとにマッチしたAI選定例 ◦ NotionMCP ▪ ドキュメンテーション ▪ 過去ドキュメント参照 ◦ AtlassianMCP ▪ 過去チケット参照 ▪ チケット生成 ◦ Claude/Gemini ▪ システム・設計情報 • テスト計画生成用プロンプトテンプレート構築 • 既存テスト資産のデータベース化 ◦ 過去テスト計画書の階層/構造 整理 📋 QA計画 - AI駆動戦略⽴案 12
 Phase 2: AtlassianMCP/NotionMCP活用による計画自動生成 • Native/WEB/バックエンドのリリース順序提案 • テスト設計・実施スケジューリング自動生成 • 自然言語ベースの抽象度がテスト計画にフィット 運用イメージ 1. AtlassianMCPで過去の類似チケット整理 2. NotionMCPで関連ドキュメント・ガイドライン取得 3. Claudeで両結果と現在のプロジェクト概要を統合 してテスト計画やテスト分析を生成 ※ 2025/07/22現在
13. © 2025 Reiwa Travel, Inc.
 🚀 各QAプロセスにおけるAI浸透戦略 Phase 1: 汎用テストケース生成システム構築 • PR変更差分 → AIによる分析 → テストケース自動生成 • 旅行業界特有観点（決済・予約・在庫）のケースチューニング • セキュリティ・パフォーマンス・互換性観点の自動抽出 Phase 2: 過去ケースの構造化+DB構築 → AI連携システム • スプレッドシート/Notion → テストケース管理ツールへ移行 • テストケース構造化（専用フィールド、厳密な構造化） • AIの参照データベースとして構造化テストケースデータ活用 • 高精度なケース生成・品質評価 13
 🎨 QA設計 - ⾼品質テストケース⾃動⽣成 Phase 3: 継続的改善サイクル構築 • 汎用テストケース + 過去ケース事例 を ベースに生成ケース品質向上 • 不足観点の自動検出・補完提案 • ビジネスロジック複雑度に応じた優先度 自動算出 • [理想]テストケース自体の品質スコア自 動評価システム ※ 2025/07/22現在
14. © 2025 Reiwa Travel, Inc.
 🚀 各QAプロセスにおけるAI浸透戦略 Phase 1: WEB先行運用 Phase 1-1: AI活用テスト設計/実装 • E2E設計.mdやe2eコーディングガイドライン .md、型化された詳細プロンプトなどを活用して、 ClaudeCode GithubActions + ClaudeCodeでE2Eテスト実装補助基盤構築 Phase 1-2: MCP利用環境構築 • ローカル環境での重要パス自動 data-testid付与 • [NTH]アクセシビリティ改善 • Playwright MCP + Claude連携システム構築 • 既存テストコード参照 +ガイドライン精緻化 14
 ⚡ QA実施 - AI委譲とマニュアルテストの最適分担 ※ 2025/07/22現在
15. © 2025 Reiwa Travel, Inc.
 🚀 各QAプロセスにおけるAI浸透戦略 Phase 1: WEB先行運用 Phase 1-3: MCP利用テストコード生成 • MCP利用による高品質テストコード生成 • 開発/QA/PM/デザイナー全員でテストコード生成可能 • ビジネス職によるブラウザコントロールも可能になり RPAへも寄与 Phase 1-4: AutoHealingをはじめとした継続的デリバリ • CI/CDツールを活用して継続的に運用 • 構造化されたアプリケーションではテスト失敗時のオートヒーリングも可能 15
 ⚡ QA実施 - AI委譲とマニュアルテストの最適分担 ※ 2025/07/22現在
16. © 2025 Reiwa Travel, Inc.
 Phase 2: Native浸透 Phase2-1: AIフレンドリー環境構築 iOS/Android • 独自でなんちゃってMCPサーバー構築 • ComposeUITest/XCUITest コード自動生成エン ジン構築 • 既存自動テスト基盤との連携 🚀 各QAプロセスにおけるAI浸透戦略 16
 🎨 QA設計 - ⾼品質テストケース⾃動⽣成 Phase2-2: AIフレンドリー環境 PoC iOS/Android • なんちゃってMCP構築による自然言語テスト実 行 • サードパーティMCPプロダクトPoC • 主要パスへのtestTag/accessibilityIdentifier付 与によるView構造改善 • プロダクトのアクセシビリティ改善 ※ 2025/07/22現在
17. © 2025 Reiwa Travel, Inc.
 🚀 各QAプロセスにおけるAI浸透戦略 17
 🎨 QA設計 - ⾼品質テストケース⾃動⽣成 Phase2-3: AIフレンドリー環境 運用 iOS/Android • 自動テストコード生成精度測定・改善 • サードパーティMCPプロダクト vs なんちゃって MCP にて、より高精度で高速なモノを利用 • テストコード生成の自然言語化による恩恵活用 • CI環境への組み込み → 継続的に改善し還元し ていく ※ 2025/07/22現在
18. © 2025 Reiwa Travel, Inc.
 🚀 各QAプロセスにおけるAI浸透戦略 Phase 1: 継続的品質監視システム基盤構築 • 自動テスト検知データの構造化・分析基盤 • E2E実装拡充しておく • 本番エラー率・レスポンス時間監視体制をつくる Phase 2: 品質予測・自動改善システム • これまで構築した構造化 DBを用いたAIによる分析 ◦ コード変更 → 品質影響予測 ◦ 優先テスト項目自動推奨 /テスト不足領域自動特定 ◦ 本番データ → テスト不足検知 → 自動ケース生成 ◦ A/Bテスト結果 → 品質影響分析 → 改善提案 18
 🔄 運⽤ - 継続的品質保証とモニタリング ※ 2025/07/22現在
19. © 2025 Reiwa Travel, Inc.
 🚀 各QAプロセスにおけるAI浸透戦略 19
 運用イメージ • 構造化した不具合データをテスト設計システムへ 還元 • プロダクトへの影響範囲予測による QA計画への 還元 • テストケース追加の自動化 • 品質劣化予兆のアラート • +a 開発職以外でも自然言語を活用してデータ作 成等可能 🔄 運⽤ - 継続的品質保証とモニタリング ※ 2025/07/22現在
20. © 2025 Reiwa Travel, Inc.
 🚀 各QAプロセスにおけるAI浸透戦略 QA計画 • QAスケジューリング: 90%削減 • テスト分析 80%削減 QA設計 • WEB/iOS/Android AI委譲率: 80% ◦ 観点や期待値の生成が対象 20
 🎯 段階別成果指標 テスト実施 • WEB AI委譲率: 70-80%達成 • iOS/Android AI委譲率: 50-60%達成 • リグレッションテスト: 人的コスト100%削減達成 運用 • 自律品質改善サイクル稼働 ◦ 新規開発に対する追従コスト削減 ◦ 定常的な差分検知による安全性向上 ◦ データ蓄積によるナレッジ収集自動化 ◦ ケース生成や不具合検知精度などはこの サイクルが進むごとに高精度になる ※ 2025/07/22現在
21. © 2025 Reiwa Travel, Inc.
 ⭐ まとめ 直近(2025/07/22)の現場感 • 現状としては、まだ計画 /設計/実施や運用・デリバリのプロセスにおいて、ヒトに依存している部分はある。 • 本日紹介した内容をクイックに回すことで各プロセスの最適化を進めていけそう。 情勢における全体的な所感 • 理想的な形として、各プロセスにおける AI利用最適化していきたい。 • 現状にあったAIを選ぶだけでなく、現状を AI活用しやすい形に変化させることが重要だと思う。 • 少なくとも、今後QAエンジニアとして技術的に 1点突破するか、プロダクトやプロジェクトのマネジメントなど に特化するなどしていく適応性が必要だと感じている。 • その上で、なおかつ「 AI利用できる」「AIを用いた仕組みづくりができる」などのスキルが前提となってきそう 21