20210128_QA_Tech_Night_vol2_monoAI technology_Hanahusa

外部からの関わりで見えたゲームテストの現状とテスト自動化 monoAI technology株式会社花房輝鑑

Copyright © monoAI technology Co., Ltd. All Rights Reserved. 自己紹介
2 monoAI technology株式会社第一QA部技術支援セクションセクションマネージャー花房輝鑑（はなふさてるあき）ゲームパブリッシャーや第三者検証会社などで、ゲーム・非ゲーム問わず様々なテストに関わる。属人的なゲームデバッグの現場から、テスト計画・戦略重視のソフトウェアテストの現場、現場でのプロジェクト管理から会社組織の運営・管理まで、様々な経験。 2019年にモリカトロン株式会社に入社し、事業継承によりmonoAI technology 株式会社に転籍。現在、テスト設計体制の構築、教育体制・教育制度の構築など、技術的な支援を中心に活動中。

Copyright © monoAI technology Co., Ltd. All Rights Reserved. はじめに
3 本日のお話の視点内製外部委託テスト開発第三者検証内製品管デベロッパーパブリッシャー

Copyright © monoAI technology Co., Ltd. All Rights Reserved. アジェンダ
4 ゲームテストの現状テスト自動化のアンチパターンテスト自動化の向き・不向きソフトウェアテストの重要性 monoAI technologyの取り組み

5 ゲームテストの現状

Copyright © monoAI technology Co., Ltd. All Rights Reserved. ゲームテストの現状
6 ゲーム開発は・・・ギリギリまで要件・仕様が固まらず変更が入り続ける

7 要件定義や設計に十分な時間が取れず、手戻りが多くなるパブリッシャーや権利元との調整が難航マルチタスクが膨れてしまい、プロジェクト管理が難航する βテストなどでユーザーの反応を見て仕様が大きく変わる

8 ゲーム開発はウォーターフォールがベース要件定義設計実装テストリリース

9 現実のゲーム開発のプロセス要件定義設計実装テストリリース要件定義要件定義実装要件定義設計設計

10 現実のゲーム開発のプロセス要件定義設計実装テストリリース要件定義要件定義実装要件定義設計設計設計漏れや、前工程が終わっていない状態で後工程に進むなどして、本流の工程が進んでも前工程の作業も並行対応を行うケースが多い

11 リリーススケジュールを変えない（変えられない）ケースが多く、残業対応や休日出勤でカバーいわゆるデスマーチに陥る

12 ギリギリまで頻繁に変更が入るドキュメントの更新が追い付かないドキュメントの更新がされなくなる担当者しか正しい振る舞いがわからない状態になる

13 テストベースとなる情報が乏しくなり正しい振る舞いがわからなくなる振る舞いベースのテストが行えず、客観視点・一般論でのバグ検出目的のテストしか行えなくなる

14 属人性の高いフリーテストを好む経験豊富な人が行えばアドホックテストとなるが、経験が浅い人が行うとただのユーザープレイとなる

15 バグが出ないと不安バグが出たら安心開発者の心理

16 人海戦術・属人化の文化が根強く、ソフトウェアテストの理解度は低いテストは誰でも出来るという間違った認識が蔓延してしまう

17 ソフトウェアテストの意識が高いゲーム会社も存在する

18 テスト自動化のアンチパターン

Copyright © monoAI technology Co., Ltd. All Rights Reserved. テスト自動化のアンチパターン
19 CEDECでもテストの自動化といった話題が増え、ゲーム業界でもテスト自動化の意識が高まっている CEDEC2019 ・ブラックボックステストの自動化による、高品質なテストの実現と自動化部隊の育成（赤﨑光/奥泉卓也）・毎週リリースするスマホ向けコンテンツにおける回帰テストの自動化と、テスト結果の可視化を含むテストワークフローの提案（狩野真次） CEDEC2020 ・“FINAL FANTASY VII REMAKE”における自動QAシステムの構築と運用（太田健一郎）・「龍が如くスタジオ」のQAエンジニアリング技術を結集した全自動バグ取りシステム（阪上直樹/粉川貴至）

20 ※引用元：システムテスト自動化カンファレンス2017（テスト自動化研究会）アンケート結果

21 アンチパターン① テスト自動化の目的が明確でない流行っているから上司に言われたから成功例を聞いて真似したいからコスト削減したいから品質を挙げたいから

22 アンチパターン② テストすることが明確でないテスト実施者によって結果が異なるテスト設計やテストケース作成がちゃんと出来ていないそのテストケースで、何を確認したいのかが分からない自動テストは決められたことしかできない手順や結果が明確である必要がある

23 段階を踏まず最初から広範囲を手掛けてしまうと、目的が不明瞭になりやすかったり、自動化自体が目的化しやすくなるアンチパターン③ 最初から広範囲を自動化する試験運用水平展開適用範囲拡大スタート

24 テスト自動化の向き・不向き

Copyright © monoAI technology Co., Ltd. All Rights Reserved. テスト自動化の向き・不向き
25 向いていないもの・変更が頻繁に入るもの・テストの頻度が低いもの・バグ検出を目的としたテスト・テスト結果が明確で無いもの探索的テストアホドックテストユーザビリティテストなど

26 ・変更が入らないもの・テストの頻度が高いもの・テスト手順が明確なもの・テスト結果が明確なもの向いているもの向いていないものリグレッションテストクロスブラウザテストクロスデバイステスト・変更が頻繁に入るもの・テストの頻度が低いもの・バグ検出を目的としたテスト・テスト結果が明確で無いもの探索的テストアホドックテストユーザビリティテストなどなど

27 スマホゲームはバージョンアップを繰り返し、運営も年単位で続いていくが、それと同時にゲームボリュームも肥大化し、既存機能のテストまで手がまわらなくなってくるリリース（Ver1.00）バージョンアップ（Ver.1.10）バージョンアップ（Ver.1.20）バージョンアップ（Ver.2.00）リグレッションテストを自動化することで、テスト工数を肥大化させずに既存機能のテストが出来るため、大きな効果を見込める

28 テスト計画やテスト戦略の意識は薄い属人的なフリーテストに頼っているテストケースと呼ばれているものはチェックリスト粒度現状のゲームテストの文化は・・・テスト自動化に向いていない

29 ソフトウェアテストの重要性

Copyright © monoAI technology Co., Ltd. All Rights Reserved. ソフトウェアテストの重要性
30 非属人的なテストテスト計画・テスト戦略から自動化を検討するテストケースは、テスト手順・期待結果を明確にするテスト自動化にはソフトウェアテストの考え方が重要

31 基本的なテストプロセステスト計画テストのモニタリングとコントロールテスト分析テスト設計テスト実装テスト実行テスト完了

32 基本的なテストプロセステスト計画テストのモニタリングとコントロールテスト分析テスト設計テスト実装テスト実行テスト完了テストを行うにあたって必要となる要素を洗い出し、方針を定める。主に、テストの目的、テスト対象範囲、テスト戦略、テストアプローチ方法、必要となる機材・環境の調達方法、テストスケジュール、想定されるリスクの検討など。

33 基本的なテストプロセステスト計画テストのモニタリングとコントロールテスト分析テスト設計テスト実装テスト実行テスト完了テスト設計と括られる工程機能やテスト観点の洗い出し、前提条件・実施パターンの網羅・明確化や、テスト手順・期待結果の明確化を行う

34 テスト技法を活用することで、限られた予算・納期の中で必要なテストを効率良く行うことができ、抜け漏れや重複の防止に繋がる状態遷移テスト仕様で定められている状態とイベント（トリガー）を、表や図で整理し表現したもの境界値分析出力結果が変わる境目に着目したテスト方法デシジョンテーブルテスト複数の条件の組み合わせと、それに対応する結果の整理を行う方法条件と結果を網羅した表を作成することで、仕様の整理に繋がる同値分割共通の出力結果を出す値を同値としてグループ化し、その代表値を使うことで網羅性を落とさずにテストできる

35 テスト技法のツールも存在する

36 monoAI technologyの取り組み

Copyright © monoAI technology Co., Ltd. All Rights Reserved. monoAI
technologyの取り組み 37 方針・方向性、スコープといったものを定めずにテストを始めると、認識齟齬が起こりトラブルになることが多い取り組み① テスト計画を必ず立てるテスト計画テストのモニタリングとコントロールテスト分析テスト設計テスト実装テスト実行テスト完了よくあるケーステストの目的やスコープを定め、認識齟齬を防止。また、この段階からテスト自動化を行う機能の検討も行う

technologyの取り組み 38 取り組み② テスト設計を行うテスト計画テストのモニタリングとコントロールテスト分析テスト設計テスト実装テスト実行テスト完了よくあるケース仕様書から直にテストケースを書くやり方は、機能やテスト観点の抜け漏れ、パターンの網羅不足などに繋がる機能×テスト観点を整理し、中間成果物としてテスト設計書を作成してレビューすることで、テスト内容の齟齬の防止を行う

technologyの取り組み 39 取り組み③ 探索的テストの活用・一定の範囲・方向性の中で自由度を保ったバグ探索が行える・個人のスキルや経験への依存度が下がるセッションベースドテストテストチャーターの活用

technologyの取り組み 40 ①ノンプログラミングのビジュアルスクリプト →プログラミング知識が無くても、テスト自動化が実現できる →バグの再現確認など、必要に応じて手軽に自動化ができる →難易度高いものは自動化エンジニア、簡単なものはテスターで、といった分業ができる ②プログラミングでの自動化スクリプトの作成 →ビジュアルスクリプトでは実現が難しいものを、自動化スクリプト作って実現する →オーダーメイド型で、やりたいことに沿った自動化が実現できる取り組み④ 2種類のテスト自動化アプローチの使い分け

41 最後に

43 エンジニア単価（人月単価）開発テストゲーム約80万約40万非ゲーム約80万約70万現在のゲームテストの文化・構造は、ゲーム業界のテストの成長を阻んでいる

44 ソフトウェアテスト技術者は専門的な知識や技術が必要な専門職である！

20210128_QA_Tech_Night_vol2_monoAI technology_Hanahusa

20210128_QA_Tech_Night_vol2_monoAI technology_Hanahusa

More Decks by monoAI technology

Featured

Transcript