令和トラベルQAのAI活用

5/27に開催したNEWT Tech Talk「令和トラベル流　急成長を支えるAI × プロダクト開発の最前線」のQAでの事例を紹介した資料です。

Transcript

1. QAでの取り組み 令和トラベル流 急成⻑を⽀えるAI × プロダクト開発の最前線 2025.5.27 QAエンジニア ⻘海貴⼤
2. © 2024 Reiwa Travel, Inc.
 ⾃⼰紹介 2
 Background • 経歴 ◦ コンサル会社 ◦ バルテス 株式会社 ◦ atama plus 株式会社 ◦ 株式会社 令和トラベル • NEWT全般のQAをやっています Seigai Takahiro ⻘海 貴⼤
3. AGENDA
 © 2024 Reiwa Travel, Inc.
 3
 1. AIを活⽤するための⼟台づくり 2. 令和トラベルQAエンジニアのAI活⽤ 3. これから挑戦したいこと
4. © 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり
5. © 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり ①プロダクト機能への活用 5
 ①QA業務の⾒直しと運⽤変更 ②QAチームがAIを活⽤する⽂化づくり
6. © 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり そもそもなぜ業務の⾒直しから始めるのか。 • AI活⽤へ集中投下するための準備 ◦ 組織体制変更により最適化されてない業務の⾒直し ◦ AI活⽤を前提とした運⽤に変更 • 不必要な業務のAI代替防⽌ ◦ 最も効果が⾼いのは無くす、減らすなどのプロセス変更 QA業務の⾒直しと運⽤変更 6

7. © 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり QA業務の⾒直しと運⽤変更でやったこと 業務の可視化 • 各業務の⽬的や⼿順を明確化。プロセス変更 or AI活⽤すべき箇所の特定 ⾒直しと運⽤変更の3step • 無くす：形骸化した、無くなっても困らないものは削除 • 減らす：残す業務プロセスのシンプル化、効率化による削減 • 洗練する：AIで代替 or AIを活⽤しやすいように業務を最適化 QA業務の⾒直しと運⽤変更 7

8. © 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり 事例：洗練する テストケースのフォーマット変更 • AIが扱いやすく、精度⾼く出⼒される形式にテストケースの項⽬を変更 8
 Before After
9. © 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり AIを活⽤したQA業務の効率化をQA全員KPIとして持つ • KPIにすることでAI活⽤を⾃分ごと化 週次のQA定例でAIトレンドや取り組んだことの共有 • 全員で最新情報のキャッチアップ。各⾃取り組んだことの取り⼊れ もくもく会の開催 • ⽬的 ◦ AIの技術調査や試す時間を強制的につくる • 内容 ◦ 各⾃気になったテーマを1時間試す。雑談&相談OK ◦ 参加の敷居をできるだけ低く設計 QAチームがAIを活⽤する⽂化づくり 9

10. © 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり 成果 QA業務の⾒直しと運⽤変更 • QA業務を変更前から30-40%削減 • 設計 / レビュー / 実施も⼤幅に削減。インシデントの発⽣は無し QAチームがAIを活⽤する⽂化づくり • AIを使うことが “当たり前” ⽂化の醸成 10

11. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤
12. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 12
 要件定義〜リリースまでのQA業務 要件定義 開発 QA リリース 仕様検討 要件把握 影響範囲の調査 テストの設計 機能テストの実施 E2Eテスト リグレッションテスト 不具合分析
13. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 13
 要件定義〜リリースまでのQA業務 ⾚字がAIを活⽤中の箇所 要件定義 開発 QA リリース 仕様検討 要件把握 影響範囲の調査 テストの設計 機能テストの実施 E2Eテスト リグレッションテスト 不具合分析
14. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 14
 Devin • PRから変更内容と影響範囲の特定 効果 • ⾮エンジニアでもコードを読まずに変更内 容などがわかるようになった 影響範囲の調査
15. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 15
 Devin / Cursor • PR変更内容 or masterブランチの差分から テスト観点の洗い出し → テストケース への⽣成 効果 • 汎⽤的な観点が多い。50-60点の精度だが 0→1で作成するよりテスト設計の⼯数を削 減できている • 想定してなかった影響範囲や観点を提案し てくれることも稀にある テスト観点の整理
16. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ Dify ‧誤字脱字や表記揺れなどを確認するチェッカーを作成。 効果 ‧誤字脱字のチェック⼯数は削減。記事などの⽂章確認にも流⽤。 課題 ‧表記揺れなどの確認には課題。誤字脱字確認のみ利⽤。 ‧画像からの差分チェックできないかチャレンジ中。 16
 ⽂⾔確認（機能テスト）
17. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 17
 チャレンジ中：LLMによるテスト実⾏（機能テスト） Playwright MCP • デザイン、機能概要とシナリオをLLMに渡してシナリオ⽣成。LLMが作成したシナリオから⾃動で テスト実⾏ 課題 • 1度で動くこともあるが、何度か修正が必要。 • 期待値と異なるのにOKにしたり、違う操作をすることもあるので実⾏結果の監視、メンテが必要。
18. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 18
 ⾃動化はエンジニアと似た内容なので割愛します！
19. © 2024 Reiwa Travel, Inc.
 これから挑戦したいこと
20. © 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ これから挑戦したいこと • E2E⾃動化の安定化 ◦ Devin / Cursor / Clineを活⽤し、テストコードの⽣成‧保守までを安定化 • 仕様理解〜テスト実⾏のほとんどをAIに代替 ◦ Figma、NotionのPRDからLLMでテストシナリオ作成 ◦ 作成したテストシナリオから ▪ Playwright MCPなどでテスト実⾏ ▪ Devin / Clineでテストコード作成 • AI駆動を進めるためのドキュメント整備 ◦ AIが扱いやすい形にテストシナリオ、観点などを体系的に整備 20