ヘブンバーンズレッドのアドベンチャーパートに対するテスト手法

by gree_tech

Slide 1

Slide 1 text

グリー株式会社　QAエンジニア　勅使川原大輔ヘブンバーンズレッドのアドベンチャーパートに対するテスト手法グリー株式会社　QAマネージャー　野本雅俊

Slide 2

Slide 2 text

登壇者紹介 2  氏名と所属  野本　雅俊　(のもと　まさとし)  Customer & Product Satisfaction部  WFQAチーム　マネージャー  略歴  2012年グリーに入社。GREE PFのQA担当後、 NativeゲームのQAへ異動。2018年からマネージャーとなる。  主な業務内容  WFSタイトル全般のQA統括  各メンバーのマネジメント  氏名と所属  勅使川原　大輔　(てしがわら　だいすけ)  Customer & Product Satisfaction部  WFQAチーム　  略歴  2016年グリーに入社。移管タイトルのQAやリスク対応推進担当などを経て、ヘブンバーンズレッドのβ開発からQAを担当。  主な業務内容  ヘブンバーンズレッドのQAチームリーダー 

Slide 3

Slide 3 text

3  1. 本タイトルにおける品質状況  a. ヘブンバーンズレッドとは  2. アドベンチャーパートのテスト  a. 探索的テスト  b. フラグ分岐の網羅  3. まとめ 

Slide 4

Slide 4 text

・新規リリースから1ヶ月程度は障害数が多くなりがち・だが、本タイトルでは障害数が抑制できていた 4  タイトルA タイトルB 本タイトル 90件 99件 25件本タイトルにおける品質状況リリース直後の障害数についてリリース後1ヶ月障害数比較（大小含めた件数）本タイトルのQAにおける独自の取り組みが障害抑制の一因となった

Slide 5

Slide 5 text

ヘブンバーンズレッドとは 5  フィールドバトルアドベンチャー

Slide 6

Slide 6 text

ヘブンバーンズレッドとは 6  フィールドバトルアドベンチャー

Slide 7

Slide 7 text

QAの取り組み例アドベンチャーパートのテスト • 全テストケースのレビューとフロー構築 • スキルの組み合わせ網羅とテストデータ作成 • アドベンチャーパートのテスト • 探索的テスト • フラグ分岐の網羅 • ※VISUAL ARTS/Keyによる全分岐の網羅的な監修 7 

Slide 8

Slide 8 text

8  前提課題アドベンチャーパートのテストゲームのメイン部分を占めボリュームが大きく品質を担保すべき優先度も高いなんかADVのスクショ

Slide 9

Slide 9 text

9  前提課題アドベンチャーパートのテスト選択肢による分岐

Slide 10

Slide 10 text

10  前提課題アドベンチャーパートのテスト複雑なフラグ管理過去の選択肢が影響して分岐する

Slide 11

Slide 11 text

11  前提課題アドベンチャーパートのテストそれらを網羅した様な仕様書は無かった絶望的なイラスト

Slide 12

Slide 12 text

12  前提課題アドベンチャーパートのテストテキスト量が膨大フラグ管理が複雑網羅した仕様書が無い膨大な工数がかかるカバレッジを担保することが難しいテストケース作成が困難

Slide 13

Slide 13 text

13  アドベンチャーパートのテストテスト目的などを含むテストチャータを使用する詳細な手順や確認項目を記載せずテスト実行時に手順や新たな観点を発見していく探索的テスト "探索的テストは、仕様がほとんどなかったり、不十分であったり、テストのスケジュールに余裕がなかったりする場合に最も効果が大きい。他の形式的なテスト技法を補完する場合にも効果が大きい。" JSTQB Foundation Level シラバスより

Slide 14

Slide 14 text

14  アドベンチャーパートのテスト各シーンで確認すべきテスト目的の粒度で記載探索的テストシーン対象目的 ADV テキスト誤字脱字、話者名の相違などがないか ADV 演出表示崩れやNG演出がないか ADV ボイステキストとの相違や音量の不備がないか ADV 背景状況に合った背景かテストチャータの例

Slide 15

Slide 15 text

15  探索的テストアドベンチャーパートのテストメインストーリーはゲーム内の時間単位で区切ってテストを行った

Slide 16

Slide 16 text

16  アドベンチャーパートのテストテンプレートを作成し全ての章、Day、時間帯に分割してテストする探索的テスト

Slide 17

Slide 17 text

17  アドベンチャーパートのテストテスト設計にかかる工数を削減し全てのストーリーをテストしたことが担保できた探索的テストだがフラグ分岐の網羅はできていない

Slide 18

Slide 18 text

18  フラグ分岐の網羅アドベンチャーパートのテスト Luaスクリプトの例見せる用のLua ※実際のスクリプトとは異なります

Slide 19

Slide 19 text

19  フラグ分岐の網羅アドベンチャーパートのテスト Luaスクリプトの例見せる用のLua ※実際のスクリプトとは異なります

Slide 20

Slide 20 text

20  フラグ分岐の網羅アドベンチャーパートのテスト Luaスクリプトの例見せる用のLua ※実際のスクリプトとは異なります

Slide 21

Slide 21 text

21  フラグ分岐の網羅アドベンチャーパートのテスト全Luaからフラグをセット/参照している場所を抜き出して網羅 Luaファイルフラグのセット/参照一章/Day01/午前01 SetFlag(“1章Day1でてへぺりんこした”) 一章/Day10/夕方 GetFlag(“1章Day1でてへぺりんこした”) 一章/Day03/昼 GetFlag(“ハンバーグカレー食べた ”) 一章/Day03/昼 GetFlag(“カルボナーラ食べた ”) フラグの例

Slide 22

Slide 22 text

Luaから分岐のある箇所を確認し全ての分岐に対してフラグを立てられること回収できることを確認 22  フラグ分岐の網羅アドベンチャーパートのテストフラグ分岐のテストケース

Slide 23

Slide 23 text

フラグ分岐を網羅した上で各分岐を探索的テストできるようにしたテンプレート 23  フラグ分岐の網羅アドベンチャーパートのテスト

Slide 24

Slide 24 text

24  結果アドベンチャーパートのテスト品質工数テスト作成工数削減リリース1ヶ月の障害数25件アドベンチャーの進行不能なし工数と品質に大きな効果が出せた

Slide 25

Slide 25 text

25  結果アドベンチャーパートのテスト一定の結果は出せているがまだ障害は減らせるはず品質を高めるため、さらなる改善に取り組んでいく

Slide 26

Slide 26 text

26  まとめ・仕様書が不足している場合は実装を基にしたテストを検討する・実装を読み取りプランナーやエンジニアと対等に話せる技術知見が必要・QA技術を用いて必要なテストを導くことで品質を高めることができる・品質を高めるためには積極的な『攻めのQA』を意識する今後、これらの取り組みをQA全体で共有しより技術力を高めてグリーグループ全体の品質向上に繋げていく