モバイルゲームで自動テストが効果を発揮するまで ~自動テストを「運用」するまでの組織のアプローチ~

by QualiArts

Slide 1

Slide 1 text

モバイルゲームで自動テストが効果を発揮するまで ~自動テストを「運用」するまでの組織のアプローチ~ 株式会社QualiArts 住田直樹株式会社QualiArts 田中広海

Slide 2

Slide 2 text

住田直樹 •株式会社QualiArts Unityエンジニア •株式会社QualiArts 技術広報 •SGEコア技術本部 : QAチーム X:@udon_qu

Slide 3

Slide 3 text

田中広海 •株式会社QualiArts エンジニア •株式会社QualiArts 開発推進室

Slide 4

Slide 4 text

本セッションで伝えたいことモバイルゲームの自動テスト効果運用

Slide 5

Slide 5 text

Contents • モバイルゲームの開発課題と自動テストの需要 • QualiArtsの自動テストの技術と体制 • QualiArtsの自動テストの事例紹介 • 自動テストを振り返っての長所と短所 • まとめと今後の展望

Slide 6

Slide 6 text

1 モバイルゲームの開発課題と自動テストの需要

Slide 7

Slide 7 text

モバイルゲーム開発の現状クオリティプラットフォームグローバルリリース

Slide 8

Slide 8 text

モバイルゲーム開発の現状クオリティプラットフォームグローバルリリース開発工程の長期化開発規模の拡大

Slide 9

Slide 9 text

自動テストへの期待開発工程の長期化開発規模の拡大膨大な検証工程物量が大きなボトルネック自動化して改善したい...

Slide 10

Slide 10 text

テストフレームワークモバイルゲーム業界への広まりテスト環境 Device Farm上での遠隔端末操作ゲームエンジン上でのテスト実行ユースケースシナリオテスト自動化回帰テスト自動化

Slide 11

Slide 11 text

テストフレームワークモバイルゲーム業界への広まりテスト環境 Device Farm上での遠隔端末操作ゲームエンジン上でのテスト実行ユースケースシナリオテスト自動化回帰テスト自動化自動テストなんか良さそうだ...!

Slide 12

Slide 12 text

2 QualiArtsの自動テストの技術と体制

Slide 13

Slide 13 text

自動テストを動かすには実行環境出力システム実機? エディタ? 自動プレイモード? 実機入力の自動化? 通知? Web?

Slide 14

Slide 14 text

実行環境システム出力 QualiArtsの自動テスト

Slide 15

Slide 15 text

自動テストを「運用」するにはメンテナンスメンテナー

Slide 16

Slide 16 text

運用は一筋縄ではいかない新しいバージョンでテストが動かない色々なプラットフォームや端末でテストを動かしたい特定のテストケースでテストが不安定テストの仕組みをプロジェクトメンバーに伝播したい検証すべきテストケースが増えた

Slide 17

Slide 17 text

運用は一筋縄ではいかない新しいバージョンでテストが動かない色々なプラットフォームや端末でテストを動かしたい特定のテストケースでテストが不安定テストの仕組みをプロジェクトメンバーに伝播したい検証すべきテストケースが増えた修正と改良と向き合い続ける覚悟が必要

Slide 18

Slide 18 text

QualiArtsの運用の取り組みプロジェクト開発推進室テストの実装ユースケースの策定メンテナンステスト基盤の提供プロジェクトとの連携デバッグ機能の実装自動テストの活用

Slide 19

Slide 19 text

3 QualiArtsの自動テストの事例紹介事例1: 実機のチュートリアル自動テスト

Slide 20

Slide 20 text

課題背景自動テストへの業界の関心運用における保守コストの課題チュートリアルでの自動テストの導入検証小さなケースから技術検証しよう

Slide 21

Slide 21 text

ユースケースの意図チュートリアル多くの機能に関与する機能の検証工程が長い積極的な更新があまりない独立した機構自動テストの開発と運用に対する費用対効果が良さそう

Slide 22

Slide 22 text

開発推進室開発体制自動テストの土壌作りを兼ねて開発推進室が主体テストの実装ユースケースの策定メンテナンステスト基盤の提供プロジェクトとの連携デバッグ機能の実装自動テストの活用

Slide 23

Slide 23 text

IDOLY PRIDEにおけるチュートリアル自動テスト

Slide 24

Slide 24 text

テストの流れ前工程端末の用意アプリの準備テスト操作の記録端末の操作後工程レポート通知

Slide 25

Slide 25 text

前工程 • 社内デバイスファーム経由の端末手配 • Firebase App Distributionでのアプリ準備 • adb経由でのアプリのインストールと実行前工程端末の用意アプリの準備 CEDEC2023 : モバイルゲームのQA課題に組織でチャレンジ！〜子会社を跨いで挑戦するQA効率化の道のり〜

Slide 26

Slide 26 text

テスト工程 • Airtest + Pocoの自動テストシステム • Airtestによるテスト結果の記録と出力テスト操作の記録端末の操作

Slide 27

Slide 27 text

後工程 • Slackでのテスト結果通知 • GitHub Pagesを用いたレポート配信後工程レポート通知

Slide 28

Slide 28 text

成果新機能検証新機能開発回帰テストデグレ発見新機能検証新機能開発デグレ発見運用開発のデグレ早期発見に寄与

Slide 29

Slide 29 text

チュートリアルにおける自動テストの恩恵機能B 機能A インゲーム機能C ... 関与する機能が多い検証フローが長い自動テストによる恩恵が大きい

Slide 30

Slide 30 text

実行環境の課題社内デバイスファーム実行したい端末がない端末とのセッションが落ちるモバイル環境実行の安定化が難しい

Slide 31

Slide 31 text

開発の課題インフラ自動テストアプリケーションネイティブインフラ CI/CD Airtest Python テスト手法 Unity アプリ側の設計検証との連携自動テストの技術からアプリケーションの事情まで広い知見が必要

Slide 32

Slide 32 text

運用の課題プロジェクト機能更新 UI変更自動テストテストが失敗した開発推進室調査ヒアリング開発推進室とプロジェクト側の連携が高コスト

Slide 33

Slide 33 text

まとめデグレ早期発見チュートリアルの自動テストの恩恵:大モバイル環境実行の安定化が難しい広い技術的な知見が必要運用と課題との連携が高コスト技術的なノウハウの獲得と運用タイトルの品質向上に繋がったが課題も多い自動テストの基盤とノウハウ獲得

Slide 34

Slide 34 text

3 QualiArtsの自動テストの事例紹介事例2: Unity上の自動シナリオテスト

Slide 35

Slide 35 text

課題背景運用による改修規模も大きくなり、QAによる検証コストが肥大化自動テストの課題はありつつ、目的と手段を刷新して初期品質を向上させたい機能数の増加機能の高度化検証項目の増加初期品質の低下

Slide 36

Slide 36 text

Unityベースの自動シナリオテスト回帰テストより早い段階で機能レベルのバグを定常的に検出機能A 機能B 機能C プロジェクト定期実行機能開発

Slide 37

Slide 37 text

開発体制プロジェクト側の実装を連携しながら遂行することを目指して調整プロジェクト開発推進室テストの実装ユースケースの策定メンテナンステスト基盤の提供プロジェクトとの連携デバッグ機能の実装自動テストの活用

Slide 38

Slide 38 text

テストの流れ前工程 Unityの実行テスト後工程レポート通知操作のエミュレート

Slide 39

Slide 39 text

Anjinの導入 DeNA社がOSSとして提供しているUnity用オートパイロットフレームワーク https://github.com/DeNA/Anjin CI/CD環境との統合スクリプトベースの自動操作柔軟なシナリオベースのテスト構築

Slide 40

Slide 40 text

Anjinベースの自動テストシステム CI 機能A 機能B 機能C 機能ごとにAnjinでテストシナリオを記述し、CIで毎朝実行

Slide 41

Slide 41 text

スモークテストとしての実装機能A 途中で停止 Error発生シナリオが意図通り進行するかのみに集中最後まで進行失敗通知成功通知タイトルホームボタンA ボタンB …

Slide 42

Slide 42 text

成果タイトルホームボタンA ボタンB … データの不整合 UIの状態の不整合デグレで遷移壊れてるホームの更新でボタンズレて押せない機能開発における不具合の早期発見に貢献

Slide 43

Slide 43 text

実機環境とエディタ環境の選択解決したい課題に対して、適切な環境の選択が重要モバイル端末実機動作まで担保環境の担保が大変パフォーマンスなどの実機指標が便利エディタアプリケーション側との連携が容易実機での検証は担保できないエディタが起動できればマシンひとつで実行可能

Slide 44

Slide 44 text

開発体制による成果プロジェクトに効果的な自動テストの実現課題に沿ったユースケースの提案プロジェクトの設計に沿った自動テストの実装機能更新の認知の早期化

Slide 45

Slide 45 text

運用の課題運用コストの課題は引き続き存在広い技術的な知見が必要機能開発と自動テスト開発の両立が高コスト機能数を増やすほど線形的に運用コストが増加

Slide 46

Slide 46 text

自動テストを活用しよう！文化醸成の重要性「自動テスト=重要」という文化が積極的な活用と保守につながるプロジェクト開発推進室自動テストをしっかり保守しようあの課題を自動テストでいい感じにしたいより良い基盤や技術のキャッチアップをしようプロジェクトの課題を理解しよう

Slide 47

Slide 47 text

まとめプロジェクトと連携した保守体制の改善機能ごとのテスト量産による保守コストの増加機能開発と自動テストの並列対応が難しい手法と体制のアプローチを工夫し、効果的な自動テストに繋がったが課題もありエディタベースの自動テストで開発コストの改善

Slide 48

Slide 48 text

3 QualiArtsの自動テストの事例紹介事例3: ADVパートの網羅的な自動テスト

Slide 49

Slide 49 text

運用におけるADVの網羅的な検証が現実的ではない状態課題背景システム更新シナリオ更新アセット更新自動テストの仕組みの活用で人手を使わずに検証したい Unity 更新 1話 2話 3話 4話運用で増え続けるシナリオ検証

Slide 50

Slide 50 text

網羅的なADVの自動テスト 1話 2話 3話 4話マスタから動的に取得したシナリオをAnjinで自動チェックマスタデータシナリオ全件取得

Slide 51

Slide 51 text

テストの流れ前工程 Unityの実行テスト後工程レポート通知操作のエミュレート ADV_1 ADV_2 ADV_3 基本的な仕組みはシナリオテストのものを活用

Slide 52

Slide 52 text

利用者との連携目的や機能の擦り合わせを意識し、必要かつ都合のいいシステムになるよう連携目的 : 既存ADVの安全性担保出力 : Slackでまとめて通知 Slackに結果を端的にまとめて伝えてほしい実行時間が長いので出来るだけ効率化したい結果と必要な情報だけ抜き出し全件箇条書きでファイル化デバッグ用の高速再生機能の導入不要に重複再生しないよう調整

Slide 53

Slide 53 text

成果物理的に厳しくなっていた全検証を定常化 QAの検証工程で非常に大きな成果に Unityのバージョン更新による全件チェックなど突発的な需要にも貢献月換算で8～10人日の検証作業が安定して自動化できる状態

Slide 54

Slide 54 text

成果自動テストの文化醸成の役割にも大きく貢献 QAやクリエイターの課題ベースのユースケースに取り組み、認知に繋がったプロジェクトこういう課題は自動テストで効率化できないだろうか自動テストがやりやすいようにデータを整備しよう

Slide 55

Slide 55 text

課題運用コストの課題はシナリオテストと同様に存在シナリオの構造やデータの更新ごとに対応が必要失敗要因が幅広く調査のコストがやや高い

Slide 56

Slide 56 text

まとめ適切なユースケースでの仕組みの応用で大きな成果月換算で8～10人日の検証作業が安定して自動化できる状態シナリオテストの仕組み ADV検証の物量課題

Slide 57

Slide 57 text

4 自動テストを振り返っての長所と短所

Slide 58

Slide 58 text

物量を伴うモバイルゲームの検証工程を効率化する有効なアプローチ自動テストの長所機能開発に伴うデグレ検証膨大なアセットのエラーチェック機能のシナリオを更新ごとに検証毎日全シナリオをエラー検証

Slide 59

Slide 59 text

継続的に更新されるアプリケーションの品質向上に寄与自動テストの長所新機能開発新機能バグ新機能バグ既存機能バグ既存機能バグ新機能開発新機能バグ新機能バグ自動テスト QA

Slide 60

Slide 60 text

自動テストの短所課題に対して適切なユースケースを検討することが重要自動テストでE2Eのような複雑な操作や高頻度なメンテナンスをするのはコストが高いコスト速度安定性単体テスト結合テスト E2Eテストゲームで注目されがち

Slide 61

Slide 61 text

自動テストの短所開発で求められる広い領域の知見 • 広範囲な技術領域の要求 • プロジェクトに則した基盤の導入 • QA側との連携 • 運用開発に伴うメンテナンス　機能開発と兼務するには高カロリー基盤開発プロジェクト導入メンテアプデ対応ユースケース策定実装と量産

Slide 62

Slide 62 text

5 まとめと今後の展望

Slide 63

Slide 63 text

自動テストとモバイルゲームの課題自動テストは有用だが大変、戦略を考えて挑む必要がある • 大規模化しているモバイルゲームに自動テストは価値のあるもの物量の多い機能検証を自動化運用改修で発生しがちなデグレの発見を自動化 ADVなどの工程はシンプルだが時間がかかる工程を自動化 • 運用を続けるモバイルゲームに自動テストはカロリーが高いものデータ環境や各種プラットフォームのテスト環境などアップデートされ続ける機能で動かすためのメンテナンスの必要性

Slide 64

Slide 64 text

手法 : 自動E2Eテスト運用を支える「技術」と「目的」ユースケースとアプローチを見定め、適切な手法を選択することが重要目的 : テスト工程の自動化アプリの品質の向上開発環境での自動テスト技術 : 実機環境のオートパイロットエディタのオートパイロット

Slide 65

Slide 65 text

自動テストの「運用」複雑な課題に対して、組織で対応を見定める意識が重要プロジェクト横断部署メンテナンス工数ユースケースの策定自動テストの文化醸成自動テストの汎用化複数プロジェクトの人員プロジェクトとの連携コスト

Slide 66

Slide 66 text

自動テストの「成果」と「文化」目先の成果にとらわれず、腰を据えて自動テストに取り組める文化の醸成が必要 • 自動テストはすぐに結果が出ない技術、運用と多くのハードルがある => 短期ですぐ開発が楽になるものではない => なんでも自動化して解決というものでもない技術研究基盤開発試験運用ユースケース検討メンテナンス文化推進体制検討

Slide 67

Slide 67 text

今後の展望誰もが幸せになる自動テストの運用を目指して... • 開発プロジェクトでの自動テストの継続と活用の検討既存の自動テストの運用継続と課題の解決モンキーテストなどの運用コストの低い手法の導入自動テストの運用コストを改善する技術アプローチの検討ログの自動解析やチケットの自動起票自動テストの開発/運用に対する社内体制の改善

Slide 68

Slide 68 text

ご清聴ありがとうございました