Slide 1

Slide 1 text

QAでの取り組み 令和トラベル流 急成⻑を⽀えるAI × プロダクト開発の最前線 2025.5.27 QAエンジニア ⻘海貴⼤

Slide 2

Slide 2 text

© 2024 Reiwa Travel, Inc.
 ⾃⼰紹介 2
 Background ● 経歴 ○ コンサル会社 ○ バルテス 株式会社 ○ atama plus 株式会社 ○ 株式会社 令和トラベル ● NEWT全般のQAをやっています Seigai Takahiro ⻘海 貴⼤

Slide 3

Slide 3 text

AGENDA
 © 2024 Reiwa Travel, Inc.
 3
 1. AIを活⽤するための⼟台づくり 2. 令和トラベルQAエンジニアのAI活⽤ 3. これから挑戦したいこと

Slide 4

Slide 4 text

© 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり

Slide 5

Slide 5 text

© 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり ①プロダクト機能への活用 5
 ①QA業務の⾒直しと運⽤変更 ②QAチームがAIを活⽤する⽂化づくり

Slide 6

Slide 6 text

© 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり そもそもなぜ業務の⾒直しから始めるのか。 ● AI活⽤へ集中投下するための準備 ○ 組織体制変更により最適化されてない業務の⾒直し ○ AI活⽤を前提とした運⽤に変更 ● 不必要な業務のAI代替防⽌ ○ 最も効果が⾼いのは無くす、減らすなどのプロセス変更 QA業務の⾒直しと運⽤変更 6


Slide 7

Slide 7 text

© 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり QA業務の⾒直しと運⽤変更でやったこと 業務の可視化 ● 各業務の⽬的や⼿順を明確化。プロセス変更 or AI活⽤すべき箇所の特定 ⾒直しと運⽤変更の3step ● 無くす:形骸化した、無くなっても困らないものは削除 ● 減らす:残す業務プロセスのシンプル化、効率化による削減 ● 洗練する:AIで代替 or AIを活⽤しやすいように業務を最適化 QA業務の⾒直しと運⽤変更 7


Slide 8

Slide 8 text

© 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり 事例:洗練する テストケースのフォーマット変更 ● AIが扱いやすく、精度⾼く出⼒される形式にテストケースの項⽬を変更 8
 Before After

Slide 9

Slide 9 text

© 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり AIを活⽤したQA業務の効率化をQA全員KPIとして持つ ● KPIにすることでAI活⽤を⾃分ごと化 週次のQA定例でAIトレンドや取り組んだことの共有 ● 全員で最新情報のキャッチアップ。各⾃取り組んだことの取り⼊れ もくもく会の開催 ● ⽬的 ○ AIの技術調査や試す時間を強制的につくる ● 内容 ○ 各⾃気になったテーマを1時間試す。雑談&相談OK ○ 参加の敷居をできるだけ低く設計 QAチームがAIを活⽤する⽂化づくり 9


Slide 10

Slide 10 text

© 2024 Reiwa Travel, Inc.
 AIを活⽤するための⼟台づくり 成果 QA業務の⾒直しと運⽤変更 ● QA業務を変更前から30-40%削減 ● 設計 / レビュー / 実施も⼤幅に削減。インシデントの発⽣は無し QAチームがAIを活⽤する⽂化づくり ● AIを使うことが “当たり前” ⽂化の醸成 10


Slide 11

Slide 11 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤

Slide 12

Slide 12 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 12
 要件定義〜リリースまでのQA業務 要件定義 開発 QA リリース 仕様検討 要件把握 影響範囲の調査 テストの設計 機能テストの実施 E2Eテスト リグレッションテスト 不具合分析

Slide 13

Slide 13 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 13
 要件定義〜リリースまでのQA業務 ⾚字がAIを活⽤中の箇所 要件定義 開発 QA リリース 仕様検討 要件把握 影響範囲の調査 テストの設計 機能テストの実施 E2Eテスト リグレッションテスト 不具合分析

Slide 14

Slide 14 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 14
 Devin ● PRから変更内容と影響範囲の特定 効果 ● ⾮エンジニアでもコードを読まずに変更内 容などがわかるようになった 影響範囲の調査

Slide 15

Slide 15 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 15
 Devin / Cursor ● PR変更内容 or masterブランチの差分から テスト観点の洗い出し → テストケース への⽣成 効果 ● 汎⽤的な観点が多い。50-60点の精度だが 0→1で作成するよりテスト設計の⼯数を削 減できている ● 想定してなかった影響範囲や観点を提案し てくれることも稀にある テスト観点の整理

Slide 16

Slide 16 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ Dify ‧誤字脱字や表記揺れなどを確認するチェッカーを作成。 効果 ‧誤字脱字のチェック⼯数は削減。記事などの⽂章確認にも流⽤。 課題 ‧表記揺れなどの確認には課題。誤字脱字確認のみ利⽤。 ‧画像からの差分チェックできないかチャレンジ中。 16
 ⽂⾔確認(機能テスト)

Slide 17

Slide 17 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 17
 チャレンジ中:LLMによるテスト実⾏(機能テスト) Playwright MCP ● デザイン、機能概要とシナリオをLLMに渡してシナリオ⽣成。LLMが作成したシナリオから⾃動で テスト実⾏ 課題 ● 1度で動くこともあるが、何度か修正が必要。 ● 期待値と異なるのにOKにしたり、違う操作をすることもあるので実⾏結果の監視、メンテが必要。

Slide 18

Slide 18 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ 18
 ⾃動化はエンジニアと似た内容なので割愛します!

Slide 19

Slide 19 text

© 2024 Reiwa Travel, Inc.
 これから挑戦したいこと

Slide 20

Slide 20 text

© 2024 Reiwa Travel, Inc.
 令和トラベルQAエンジニアのAI活⽤ これから挑戦したいこと ● E2E⾃動化の安定化 ○ Devin / Cursor / Clineを活⽤し、テストコードの⽣成‧保守までを安定化 ● 仕様理解〜テスト実⾏のほとんどをAIに代替 ○ Figma、NotionのPRDからLLMでテストシナリオ作成 ○ 作成したテストシナリオから ■ Playwright MCPなどでテスト実⾏ ■ Devin / Clineでテストコード作成 ● AI駆動を進めるためのドキュメント整備 ○ AIが扱いやすい形にテストシナリオ、観点などを体系的に整備 20