長期運用タイトルにおけるAIを活用したテスト設計効率化の事例

by gree_tech

Embed

Start on current slide

Slide 1

Slide 1 text

長期運用タイトルにおける AIを活用したテスト設計効率化の事例株式会社WFS QAエンジニア中野玄真山本幸寛

Slide 2

Slide 2 text

山本幸寛株式会社WFS QAエンジニア家庭用ゲームやモバイルゲームのQA業務を経験後、2021年グリー株式会社（現：グリーホールディングス株式会社）に入社。入社後はライトフライヤースタジオのQAチームに所属し長期運用タイトルのQA業務を担当。合わせて上流工程からより品質を高めるためユーザーテストに関連する対応も担当している。 2

Slide 3

Slide 3 text

中野玄真株式会社WFS QAエンジニア 2021年にアルバイトとしてグリー株式会社（現：グリーホールディングス株式会社）に入社。ライトフライヤースタジオにおける複数タイトルのテスト業務を経て、現在は管理業務を担当。障害削減による品質向上や、費用効率化などのコスト最適化にも取り組んでいる。 3

Slide 4

Slide 4 text

目次・アジェンダ ● はじめに ● AI活用事例の紹介 ● 活用しての効果 ● 今後の展望 4

Slide 5

Slide 5 text

はじめに 5

Slide 6

Slide 6 text

発表の背景対象タイトル：アナザーエデン来年10周年を迎えるシングルプレイ専用スマートフォンRPG ©WFS Developed by WRIGHT FLYER STUDIOS 6

Slide 7

Slide 7 text

発表の背景体制担当歴の長いQAエンジニアが、過去の知見と仕様書を元にテスト設計〜テストケース作成を担当運用の変化来年10周年を迎える中で、ゲーム内システム、既存機能、コードが年々膨大化（＋多様な新規施策の追加） 7

Slide 8

Slide 8 text

発表の背景長期運用に伴う体制の限界運用の長期化により、把握/考慮すべき情報量が増加結果個人の知見に頼る体制だと、考慮漏れが防ぎにくい 8

Slide 9

Slide 9 text

発表の背景長期運用に伴う体制の限界運用の長期化により、把握/考慮すべき情報量が増加結果個人の知見に頼る体制だと、考慮漏れが防ぎにくい個人の知見に頼る設計から脱却し、 AI活用でテスト設計の精度向上を試みた 9

Slide 10

Slide 10 text

AI活用事例の紹介 10

Slide 11

Slide 11 text

現状の問題：長期運用によって仕様が複雑化しており、仕様書に記載されていない条件や過去の仕様の組み合わせなどで発生する「仕様書定義外」の障害が増加している仕様書：【クエストAの流れ】 ①：〇〇が仲間になる仕様書定義外クエストAを進行中に別クエストを進行させると ➔ 進行不能 ②：武器「▢▢」が手に入る ③：ボス「△△」と戦闘ボスと戦闘する前に武器「▢▢」を強化/売却してしまうと ➔ 進行不能 11

Slide 12

Slide 12 text

現状の問題：テスト設計時にも考慮はしているが、設計者の「主観と知見」を頼りに作成しているため、どうしても「仕様書定義外」の障害が防ぎきれない OUTPUT：作成されるテスト観点 INPUT：設計のインプット仕様書ベースの観点仕様書情報主観と知見経験や知識からの観点 ⚠ 仕様書定義外の観点（検知できず漏れてしまう）

Slide 13

Slide 13 text

対策：膨大な情報をAIに読み込ませ、人間が拾いきれない「仕様書定義外」の観点を出してもらう体系的な情報コード過去の不具合 AI 「仕様書定義外」観点仕様書情報 13

Slide 14

Slide 14 text

AI活用時にも様々な課題が発生した 14

Slide 15

Slide 15 text

AI活用時の課題①：曖昧な指示だとAIの憶測でテスト観点が出力され使い物にならない曖昧な指示 ----------------------------読み込ませた仕様書から検証項目を作成して～多分これ出力されたデータ ------------------------・曖昧なフォーマット・雑なテスト観点・具体性のない手順 AI 15

Slide 16

Slide 16 text

AI活用時の課題①への対策：禁止事項で曖昧な表現をなくし、テスト技法をAIに選択させることで根拠のある出力を行うように役職付与多分これ多分これ出力ルール事前情報禁止事項テスト技法出力ルール AI テスト技法の定義 16

Slide 17

Slide 17 text

AI活用時の課題②：指示を分けないと荒い出力になってしまい、重要な検証項目が2つしかなかったり、画面遷移をかなり細かく見ていたりなど粒度に偏りが出る共通の指示重要な検証項目最低限でよい検証項目【粗すぎる / 件数不足】【細かすぎる / 冗長】・手順通りに動作すること・A⇒Bに遷移できること・手順から外れたら動作しないこと・B⇒Aに遷移できること・B⇒A⇒Bに遷移できること・A⇒B⇒Aに遷移できること 17

Slide 18

Slide 18 text

AI活用時の課題②への対策：「テスト設計」と「ケース作成」で役割を分けることで正確な指示が可能に分析AI 項目作成AI テスト設計への指示ケース作成への指示テスト設計ケース作成 ● テスト設計技法の選択 ● 分析AIの情報から検証項目の出力 ● 優先度の切り分け ● フォーマットの指定 ● 正常系/例外系の観点出し ● 施策ごとのシート切り分け 18

Slide 19

Slide 19 text

AI実装ポイント：分析AI Step1 要素分解 Step2 仕様書分析項目作成AI Step3 網羅的な観点 Step4 設計技法選択 Step5 項目作成 3原則 Step6 AI レビュー 19

Slide 20

Slide 20 text

Step1：要素分解(1/2) 読み込ませた仕様をコアメカニクス / メタメカニクスの要素に分解し、テストの優先度や検証の細かさなどの指標を持たせるコアメカニクスメタメカニクスゲーム体験の核となる、プレイヤーが繰り返し行う直接的な操作やルールのことプレイヤーに継続的なプレイ動機を与える育成や進行の仕組みメニュー画面操作歩く/ 走る攻撃/ 防御/ スキルキャラ育成装備強化図鑑 20

Slide 21

Slide 21 text

Step1：要素分解(2/2) メタメカニクスからプロダクト影響の分析を行い、観点の粒度に対する指標を持たせるメタメカニクスプレイヤーに継続的なプレイ動機を与える育成や進行の仕組みキャラ育成装備強化図鑑【ガチャにより入手できる】【ゲーム内のアイテムのみ】【敵の討伐数、入手アイテムなど】 ※優先度が高い ※優先度がやや高め ※優先度が低い検証粒度を細かめに検証粒度は標準検証粒度は最低限 21

Slide 22

Slide 22 text

Step2：仕様書分析仕様書の矛盾や曖昧な記載を学習させておき、エラーとして検知させる AIの視点検知される例 AIによる精密分析 AIが検知するエラー具体例解析手法全仕様書データを構文解析し、論理的な整合性を検証【矛盾点】ページ間の数値・仕様の食い違い例：P.10「攻撃力+10%」とP.20「攻撃力+15%」強み主観や先入観（バイアス）を100%排除し、記述の不整合を客観的に特定【曖昧さ】定義不足な表現の検出例：「適切に処理する」「高確率で発生」【考慮漏れ】特定組み合わせでの挙動未定義例：ロボ搭乗時のエリア移動仕様欠落 22

Slide 23

Slide 23 text

Step3：網羅的な観点(1/2) 正常系（ハッピーパス）を学習させておき、仕様書に記載されている理想的な振る舞いを定義させ、期待結果を出力させる正常系フロー（ハッピーパス）エラーやトラブルが一切起きない正常なルート（シナリオ）のこと STEP 1: ボスを倒す STEP 2: ストーリーが進行する STEP 3: 伝説の剣を入手する 23

Slide 24

Slide 24 text

Step3：網羅的な観点(2/2) 正常系の内容から、漏れがちな例外系の観点を出力させる正常系フロー（ハッピーパス）例外系(アンハッピーパス) STEP 1: ボスを倒す戦闘必須キャラがいない場合戦闘が開始できないこと STEP 2: ストーリーが進行する必須フラグを満たしているか STEP 3: 伝説の剣を入手する獲得瞬間にタスクキルした場合の挙動 24

Slide 25

Slide 25 text

Step4：設計技法選択設計技法を学習させておき、仕様の特性から最適な設計技法をAIに選択させることで、検証観点の出力における根拠を持たせる仕様の特性仕様の特性複数条件で分岐するシナリオ下限上限のある数値アイテムスロットや武器の強化など最適な設計技法最適な設計技法最適な設計技法デシジョンテーブル境界値/同値分割状態遷移テスト仕様の特性画面UIの遷移 25

Slide 26

Slide 26 text

Step5：項目作成3原則出力を安定させる3つのプロンプト原則を定義しておき、運用していくうえで欠かせないルールを学習させておく 1項目1観点の徹底ーーーーーーーーーーールール 1つのテストケースに複数の検証観点を含めないことトークンの最適化ーーーーーーーーーーールール・口語の禁止・手順説明の簡略化・冗長表現の削除標準フォーマットを定義ーーーーーーーーーーールール出力時のヘッダー構文をフォーマットに沿って作成すること 26

Slide 27

Slide 27 text

Step6：AIレビュー出力結果をAI自身にセルフレビューさせることで、ハルシネーションの発生を抑制する [分析AI] 出力データ [項目作成AI]セルフレビュー削除項目の報告： AIの自己判断で削除した項目がないか [項目作成AI] ルールにそって項目化未生成項目の報告：設計内容から生成出来ていない項目がないか [項目作成AI] 生成物をセルフレビュー 27

Slide 28

Slide 28 text

ハイブリッドレビュー成果物を「人」と「AI」の2軸でレビューを行い、最終的な品質の保障をする人のレビュー AIのレビュー強み強み各メンバーの主観と知見によってプロダクトの深い知識や「暗黙知」に基づく柔軟な判断過去の膨大な情報からの「網羅的」な解析と処理能力役割役割・ユーザー体験や「面白さ」など、AIが判定しづらい感性的側面の検証・属人性を排除した、機械的な抜け漏れや矛盾のアラート・過去の経験則に基づく、複雑な仕様の意図の汲み取り・大量のテストケースに対する高速な要件カバレッジ確認 28

Slide 29

Slide 29 text

活用しての効果 29

Slide 30

Slide 30 text

活用しての効果「仕様書定義外」の障害に対して AIによる過去の膨大な情報から体系的かつ網羅的なケース作成に成功人によるチェック/手直しで運用可能と判断 30

Slide 31

Slide 31 text

活用しての効果「仕様書定義外」の障害に対してハイブリッドレビューにより１施策あたり１〜２項目の新たな観点を追加「仕様書定義外」の潜在不具合を事前検知 31

Slide 32

Slide 32 text

活用しての効果副次効果：テストケース作成工数についてある施策のテストケース作成工数 80% 削減 32

Slide 33

Slide 33 text

活用しての効果副次効果：属人性についてテスト観点＋テストケース自動生成により属人性の排除にも成功 33

Slide 34

Slide 34 text

活用しての効果 Before After 【テスト設計・品質】【テスト設計・品質】個人の主観・経験に依存 ➡｢仕様書定義外｣障害増加 AI生成＋ハイブリッドレビュー ➡｢仕様書定義外｣を事前検知できる体制【業務影響】ケース作成・仕様確認で手一杯【業務影響】工数削減の結果、人は知見をフル活用しレビュー精度向上にフォーカス可能に 34

Slide 35

Slide 35 text

今後の展望 35

Slide 36

Slide 36 text

今後の展望テストケース作成テスト実行一部施策から全施策への適用 AIを活用し効率化今後はテスト設計とテスト実行の両軸で活用し、効率化・高品質化を目指す！ 36