CEDEC2023 『ロマンシングサガリ・ユニバース』に適用したクラウド完結型のモバイルゲーム自動テストシステム完成までの軌跡

by アカツキゲームス_Tech

Slide 1

Slide 1 text

©Akatsuki Games Inc. 『ロマンシングサガリ・ユニバース』に適用したクラウド完結型のモバイルゲーム自動テストシステム完成までの軌跡株式会社アカツキゲームス山﨑友貴氏平誠司 CEDEC2023 2023-08-24

Slide 2

Slide 2 text

©Akatsuki Games Inc. 自己紹介株式会社アカツキゲームス研究開発部 QA Engineering QAエンジニア山﨑友貴 tomotaka-yamasaki @tomo_tk11 JSTQB FL/AL-TA 資格保有二児のパパ(4y, 1y) 子供の全力目覚ましで起きる日々。 2

Slide 3

Slide 3 text

©Akatsuki Games Inc. 自己紹介株式会社アカツキゲームスゲーム事業部サーバエンジニア氏平誠司 seiji-ujihira 趣味は柔道と筋トレ 3

Slide 4

Slide 4 text

©Akatsuki Games Inc. ターゲットリスナー 4 自動テスト導入してるけど、デバイス管理がネックなんだよなぁ。自動テスト興味あるんだけど、どこ目指せばいいかわかんないんだよなぁ。 ● 運営型モバイルゲームの品質向上を目指している方 ● 自動テストの導入を検討している方 ● 自動テストを導入しているが、メンテナンスに苦しんでいる方

Slide 5

Slide 5 text

©Akatsuki Games Inc. ストーリーライン 1. テスト対象について 2. 運営型モバイルゲームテストの難しさ 3. 自動テストにおける課題 4. 自動テスト導入目的 5. 持続可能な自動テストシステムのための技術紹介 6. クラウド完結型の自動テストシステム完成までの軌跡 7. 『ロマンシングサガリ・ユニバース』への適用事例 8. まとめ 9. 今後の展望 5

Slide 6

Slide 6 text

©Akatsuki Games Inc. テスト対象について 1 6

Slide 7

Slide 7 text

©Akatsuki Games Inc. 1 テスト対象について『ロマンシングサガリ・ユニバース』(ロマサガRS)の紹介 7 ● 2018年12月に株式会社スクウェア・エニックスからリリースされた「ロマンシングサガ」完全新作 ○ 「ロマンシングサガ3」から300年後の世界が舞台 ● 2023年06月で4.5周年を迎えた長期運営タイトル ● iOS、Android プラットフォームで提供している © SQUARE ENIX Powered by Akatsuki Inc. ILLUSTRATION: TOMOMI KOBAYASHI

Slide 8

Slide 8 text

©Akatsuki Games Inc. 運営型モバイルゲームテストの難しさ 2 8

Slide 9

Slide 9 text

©Akatsuki Games Inc. 9 ゲームテストの難易度を高めている 3つの要因

Slide 10

Slide 10 text

©Akatsuki Games Inc. 2 運営型モバイルゲームテストの難しさゲームテストの難易度を高めている3つの要因 10 更新頻度 x 更新量 = テスト実行コスト運用レベルの更新新規開発レベルの更新 ● キャラクター ○ ステータス、スキル、… ○ 立ち絵、アイコン、エフェクト、… ● イベント ○ 難易度、報酬、… ○ ミッション、シナリオ、… ● and more… 月単位のシステム変更週単位のデータ更新 ● 新機能の追加 ● 既存機能の大規模改修 ● OS やゲームエンジンのアップデート追従 ● and more…

Slide 11

Slide 11 text

©Akatsuki Games Inc. 2 11 増え続ける機能 = 増え続けるコスト運営型モバイルゲームテストの難しさゲームテストの難易度を高めている3つの要因約40機能/60人日

Slide 12

Slide 12 text

©Akatsuki Games Inc. 12 「ゲーム」構成要素の組み合わせ = ∞ ● ロマサガRSのバトルの組み合わせだけでも、編成 x アクション x 状態 x … = ∞ ● 簡単に組み合わせ爆発が起こる 2 運営型モバイルゲームテストの難しさゲームテストの難易度を高めている3つの要因

Slide 13

Slide 13 text

©Akatsuki Games Inc. 13 2 運営型モバイルゲームテストの難しさゲームテストの難易度を高めている3つの要因 - まとめ 1. 更新頻度 x 更新量 = テスト実行コスト運用的開発と新規的開発の更新頻度と量が多い 2. 増え続ける機能 = 増え続けるコストリグレッションテストの項目が雪だるま式に増える 3. 「ゲーム」構成要素の組み合わせ = ∞ 簡単に組み合わせ爆発が起こる

Slide 14

Slide 14 text

©Akatsuki Games Inc. 14 2 運営型モバイルゲームテストの難しさゲームテストの難易度を高めている3つの要因 - まとめ 1. 更新頻度 x 更新量 = テスト実行コスト運用的開発と新規的開発の更新頻度と量が多い 2. 増え続ける機能 = 増え続けるコストリグレッションテストの項目が雪だるま式に増える 3. 「ゲーム」構成要素の組み合わせ = ∞ 簡単に組み合わせ爆発が起こるこれらのテストを自動化すれば難易度は下げられそう？

Slide 15

Slide 15 text

©Akatsuki Games Inc. モバイルゲーム自動テストにおける課題 3 15

Slide 16

Slide 16 text

©Akatsuki Games Inc. 3 モバイルゲーム自動テストにおける課題 Web 業界とゲーム業界の自動テストの違い 16 Web 業界ゲーム業界 ● Selenium*1, Playwright*2 などのテスト自動化ツール ● Autify*3, mabl*4 などのテスト自動化プラットフォーム ● 自社タイトルに最適化された自動テストツール ○ キャプチャリプレイツール*5*6 やマップ負荷可視化ツール*7 などツール *1 Selenium, *2 Playwright *3 Autify, *4 mabl *5 CEDEC2020 | 株式会社セガ | 「龍が如くスタジオ」のQAエンジニアリング技術を結集した全自動バグ取りシステム *6 CEDEC2020 | 株式会社スクウェア・エニックス | “FINAL FANTASY VII REMAKE”における自動QAシステムの構築と運用 *7 CEDEC2022 | 株式会社テックフラッグ | 受託型開発会社が始める3Dアクションゲーム開発効率化のためのQA自動化への道のり~千里の道も一歩から~ Web 業界と違い、共通で使えるツールが少ない

Slide 17

Slide 17 text

©Akatsuki Games Inc. 17 モバイルゲームの自動テストが浸透しない3つの原因

Slide 18

Slide 18 text

©Akatsuki Games Inc. 1. コンテンツの変化が激しく、自動テストが持続できない 2. 画面情報のみだと、UI 要素の取得が難しい 3. 多種多様なデバイスの管理にコストがかかる 18 3 モバイルゲーム自動テストにおける課題モバイルゲームの自動テストが浸透しない3つの原因

Slide 19

Slide 19 text

©Akatsuki Games Inc. 1. 変化に強い自動テストスクリプトを設計する 2. 変化を受け入れ、最速で自動テストスクリプトを修正可能なシステムを設計する 3. 変化しづらいテストを自動化する 19 3 モバイルゲーム自動テストにおける課題コンテンツの変化が激しく、自動テストが持続できないゲームテストの難易度を高めている3つの要因自動テストがテスト対象の変化に耐えられない解決策「ゲーム」構成要素の組み合わせ = ∞ 増え続ける機能 = 増え続けるコスト更新頻度 x 更新量 = テスト実行コスト激しい変化

Slide 20

Slide 20 text

©Akatsuki Games Inc. ● モバイルゲームは画面からだと、ピクセル化された情報しか参照できない ○ 画像認識によって UI 要素を特定するしかない ● ゲームは動的な UI デザインが多く、画像認識の精度を下げている 20 3 モバイルゲーム自動テストにおける課題画面情報のみだと、UI 要素の取得が難しい画像認識だけを用いると、テスト結果に偽陽性が生じる解決策画像認識以外で UI 要素を取得できる自動テストフレームワークを採用する

Slide 21

Slide 21 text

©Akatsuki Games Inc. ● デバイスの用意・維持コスト ○ OS、画面比率、処理性能ごとにデバイスを購入するコスト ○ 電源がつかないなどのトラブル対応コスト ○ バッテリー膨張によるデバイス買い替えコスト ● デバイス管理システムの構築・運用コスト ○ Device Farmer(OpenSTF)* などの導入コスト 21 3 モバイルゲーム自動テストにおける課題多種多様なデバイスの管理にコストがかかる * CEDEC2020 | 株式会社サムザップ | AirtestとPocoとOpenSTFによるUnity製スマートフォン向けゲームの実機自動テスト環境構築とその利用方法解決策管理が不要なクラウド上のデバイスで、自動テストを実行する

Slide 22

Slide 22 text

©Akatsuki Games Inc. 1. コンテンツの変化が激しく、自動テストが持続できない変化を受け入れ、最速で自動テストスクリプトを修正可能なシステムを設計する変化しづらいテストを自動化する 2. 画面情報のみだと、UI 要素の取得が難しい画像認識以外で UI 要素を取得できる自動テストフレームワークを採用する 3. 多種多様なデバイスの管理にコストがかかる管理が不要なクラウド上のデバイスで、自動テストを実行する 22 3 モバイルゲーム自動テストにおける課題モバイルゲームの自動テストが浸透しない3つの原因と、そのアプローチ - まとめ

Slide 23

Slide 23 text

©Akatsuki Games Inc. 運営型モバイルゲームの自動テスト導入目的 4 23

Slide 24

Slide 24 text

©Akatsuki Games Inc. 24 4 運営型モバイルゲームの自動テスト導入目的品質コストとは適合コスト不具合混入を予防するためのコスト予防コスト評価コスト内部失敗コスト外部失敗コスト不適合コスト不具合を発見しやすくするためのコスト、仕様書レビューのコストリリース前の、テストまたはレビュー時に発見した不具合の修正コストリリース後の、本番不具合修正などにかかるコスト品質コスト不適合コストを減らし、適合コストを増やすことができれば自動テストの成功低高 ISTQBテスト技術者資格制度 Advanced Level シラバス日本語版テストマネージャ Version2012.J04, p43

Slide 25

Slide 25 text

©Akatsuki Games Inc. 25 4 運営型モバイルゲームの自動テスト導入目的不適合コストとテスト実行コストの関係 JASPIC SPIJapan2009 奈良隆正ソフトウェア品質保証の方法論、技法、その変遷テスト実行コストを最小化することで、フェーズ内阻止でき、不適合コストが下がるフェーズごとの不具合修正(不適合)コストフェーズ内阻止不具合が混入したフェーズの中で不具合を発見し、修正まで行うこと

Slide 26

Slide 26 text

©Akatsuki Games Inc. 26 4 運営型モバイルゲームの自動テスト導入目的自動テスト導入目的 - まとめ自動テスト導入前自動テスト導入後テスト実行コストフェーズ内阻止不適合コスト自動テストによってテスト実行コストを下げ、より早期にテスト可能にすること導入目的

Slide 27

Slide 27 text

©Akatsuki Games Inc. 27 4 運営型モバイルゲームの自動テスト導入目的それぞれのテストの得意領域とは得意領域「ゲーム」構成要素のロジックや組み合わせを機械的に比較するテスト ● スキル効果説明文の生成ロジック ● バトルでのスキル効果の発動有無 ● and more… ● テストが変化しづらく、繰り返し行われるテスト ● IP(ドメイン)に関連した面白さのチェック ● ユーザビリティやアクセシビリティなどの非機能テストテストレベルユニットテスト Small Large 手法自動自動手動 E2E テストテスト規模

Slide 28

Slide 28 text

©Akatsuki Games Inc. 28 4 運営型モバイルゲームの自動テスト導入目的テストをもっと頻繁に、たくさん行うためにリグレッションテストスモークテスト ● デグレード(リグレッション)がないことを確認するテスト ○ 同じテストを繰り返すことで効果を発揮する ● 基本的な動作に問題がないかどうかを確認するテストコストがかかる繰り返しのテストや、基本動作のテストを自動化の対象とすると良さそう変化しづらいテストを自動化する

Slide 29

Slide 29 text

©Akatsuki Games Inc. 持続可能な自動テストシステムのための技術紹介 5 29

Slide 30

Slide 30 text

©Akatsuki Games Inc. 5 ● ゲームにフォーカスした自動テスト用のフレームワーク及びそのツール類 ○ NetEase 社から提供されている(オープンソース) ● Python によるテストスクリプトの記述 ○ hoge.air/hoge.py というディレクトリ構成のスクリプト ● パターンマッチングでの画像認識で UI を検知 ● テストスクリプトの実装を手助けする IDE の提供あり ● CLI でテスト実行可能持続可能な自動テストシステムのための技術紹介 Airtest - ゲームのテスト自動化に特化したフレームワーク 30 https://airtest.netease.com/ https://github.com/AirtestProject/Airtest Airtest

Slide 31

Slide 31 text

©Akatsuki Games Inc. 5 ● ゲームにフォーカスした自動テスト用のフレームワーク及びそのツール類 ○ NetEase 社から提供されている(オープンソース) ● Python によるテストスクリプトの記述 ○ hoge.air/hoge.py というディレクトリ構成のスクリプト ● パターンマッチングでの画像認識で UI を検知 ● テストスクリプトの実装を手助けする IDE の提供あり ● CLI でテスト実行可能持続可能な自動テストシステムのための技術紹介 Airtest - ゲームのテスト自動化に特化したフレームワーク 31 https://airtest.netease.com/ https://github.com/AirtestProject/Airtest Airtest 実用性(保守のしやすさ、スクリプト作成の手軽さ)を考慮すると、 Airtest だけでは自動化を支えきれない

Slide 32

Slide 32 text

©Akatsuki Games Inc. 5 ● アプリ内のメタ情報を Airtest で利用可能にするための自動テストツール ○ Airtest 同様 NetEase 社から提供されている(オープンソース) ● UI オブジェクトの位置やツリー構造などの情報を解析し、テストスクリプト側で操作可能 ● Airtest IDE の Inspector を使って UI 操作コードが自動生成可能 ● RPC(Remote Procedure Call) を介してアプリ内の任意処理をコール可能 ● 各ゲームエンジン用の SDK が提供されている持続可能な自動テストシステムのための技術紹介 Poco - アプリ内のメタ情報を Airtest で利用可能にするツール 32 https://github.com/AirtestProject/Poco Poco

Slide 33

Slide 33 text

©Akatsuki Games Inc. 33 5 持続可能な自動テストシステムのための技術紹介 AWS Device Farm - クラウドのモバイルデバイスでテストできるサービス AWS Device Farm ※ これ以降、 Device Farm とする ● AWS クラウドでホストされている物理モバイルデバイスでテストできるサービス ○ テストスクリプトの実行ログ ○ デバイスのスクリーンショット、動画 ○ デバイスの性能メトリクス ● デバイスの管理が AWS マネージドなので、テストに集中できる ● オンデマンド利用することも可能なので、デバイスの準備コストがかからない

Slide 34

Slide 34 text

©Akatsuki Games Inc. 34 5 持続可能な自動テストシステムのための技術紹介 Device Farm の概念図

Slide 35

Slide 35 text

©Akatsuki Games Inc. プライベートデバイス ● デバイスは専有する ● テスト中 VPC エンドポイントで AWS Virtual Private Cloud に接続できるパブリックデバイス ● デバイスは専有しない ● テストごとに OS クリーンアップされる ● iOS/Android、OS バージョン、デバイスを自由に選択できる 35 5 持続可能な自動テストシステムのための技術紹介 Device Farm デバイスの特徴とオンプレとの比較デバイス管理コストスケールのしやすさ操作の自由度開発環境への接続オンプレデバイス Device Farm プライベートデバイス Device Farm パブリックデバイス

Slide 36

Slide 36 text

©Akatsuki Games Inc. プライベートデバイス ● デバイスは専有する ● テスト中 VPC エンドポイントで AWS Virtual Private Cloud に接続できるパブリックデバイス ● デバイスは専有しない ● テストごとに OS クリーンアップされる ● iOS/Android、OS バージョン、デバイスを自由に選択できる 36 5 持続可能な自動テストシステムのための技術紹介 Device Farm デバイスの特徴とオンプレとの比較デバイス管理コストスケールのしやすさ操作の自由度開発環境への接続オンプレデバイス Device Farm プライベートデバイス Device Farm パブリックデバイス採用

Slide 37

Slide 37 text

©Akatsuki Games Inc. 1. テストスクリプトなどをまとめた zip 2. 実行の手順を記述した YAML 3. テスト対象のアプリケーション 37 5 持続可能な自動テストシステムのための技術紹介テスト実行に必要なファイル testspec.yaml 

Slide 38

Slide 38 text

©Akatsuki Games Inc. 38 5 持続可能な自動テストシステムのための技術紹介実行の手順を記述した YAML インストールテスト前処理テスト実行テスト後処理成果物保存

Slide 39

Slide 39 text

©Akatsuki Games Inc. 1. Device Farm のホストマシンに zip が展開 2. デバイスにアプリをインストール 3. YAML に沿ってテストスクリプトの実行 4. 各種アーティファクトを保存 39 5 持続可能な自動テストシステムのための技術紹介 Device Farm 上でのテスト実行フロー Device Farm の機能で足りないものはホストマシンやアプリで独自に実装することで必要なログ・レポートなどの情報を取得している ① ② ③ ④

Slide 40

Slide 40 text

©Akatsuki Games Inc. クラウド完結型の自動テストシステム完成までの軌跡 6 40

Slide 41

Slide 41 text

©Akatsuki Games Inc. 6 クラウド完結型の自動テストシステム完成までの軌跡完成までに行ったこと 41 テスト結果通知編クラウド環境のテスト結果を自動で受け取るテスト実行編クラウド環境で自動テスト実行するテスト実行環境編開発しやすい環境を作る

Slide 42

Slide 42 text

©Akatsuki Games Inc. 6 クラウド完結型の自動テストシステム完成までの軌跡テスト実行環境編 42 テスト結果通知編クラウド環境のテスト結果を自動で受け取るテスト実行編クラウド環境で自動テスト実行するテスト実行環境編開発しやすい環境を作る

Slide 43

Slide 43 text

©Akatsuki Games Inc. 6 変化を受け入れ、最速で自動テストスクリプトを修正可能なシステムクラウド完結型の自動テストシステム完成までの軌跡開発しやすい環境とは 43 どの実行環境においても、同一のテストスクリプトで、同様のテスト結果になる、こと持続可能な自動テストシステム要件のひとつ

Slide 44

Slide 44 text

©Akatsuki Games Inc. 44 AWS CLI ▼ Airtest CLI Airtest CLI Airtest IDE 実行方法実行環境実行トリガー 6 クラウド完結型の自動テストシステム完成までの軌跡自動テストが動作する環境とは Device Farm ローカルマシン Jenkins ローカルマシンローカルマシン ※ Device Farm ホストマシン: Ubuntu(14.04)、ローカルマシン: Mac(13.x) で動作しているユースケースエンジニア以外が自動テスト実行するエンジニアが手元のマシンから手軽に実行するテストスクリプトのデバッグを行う Poco の Inspector で UI 操作コードを生成する用途本番実行開発

Slide 45

Slide 45 text

©Akatsuki Games Inc. ※ Device Farm ホストマシン: Ubuntu(14.04)、ローカルマシン: Mac(13.x) で動作している 45 AWS CLI ▼ Airtest CLI Airtest CLI Airtest IDE 実行方法実行環境実行トリガー 6 クラウド完結型の自動テストシステム完成までの軌跡自動テストが動作する環境とは Device Farm ローカルマシン Jenkins ローカルマシンローカルマシンユースケースエンジニア以外が自動テスト実行するエンジニアが手元のマシンから手軽に実行するテストスクリプトのデバッグを行う Poco の Inspector で UI 操作コードを生成する用途本番実行開発全環境で、同一のテストスクリプトを動作させることを目指します

Slide 46

Slide 46 text

©Akatsuki Games Inc. 46 実行環境の Python バージョンを統一する

Slide 47

Slide 47 text

©Akatsuki Games Inc. ● Device Farm ホストマシンでは Python 2系、3系が標準で使用可能 ○ 3系を使用したい場合、YAML で以下の環境変数を指定する export PYTHON_VERSION=3 ● Python 2系: 2.7.9 ● Python 3系: 3.7.4 47 6 クラウド完結型の自動テストシステム完成までの軌跡 Device Farm の Python 環境について

Slide 48

Slide 48 text

©Akatsuki Games Inc. ● pipenv(+ pyenv) を導入し、Python バージョンを固定する ○ pipenv install で開発環境を統一することができる ● Python: 3.9 を採用 ○ Airtestが保証しているバージョンの上限が 3.9 *1 48 6 クラウド完結型の自動テストシステム完成までの軌跡 Python バージョンを固定し、テスト結果を保証する ● 実行環境の Python バージョンが統一されていない ○ 同一のスクリプトで同様のテスト結果になる保証ができない課題解決策 *1 https://airtest.doc.io.netease.com/IDEdocs/3.4run_script/0_run_script/#1-python 実行環境 Device Farm ローカルマシン Python (2.7, 3.7) Python (3.11など)

Slide 49

Slide 49 text

©Akatsuki Games Inc. 49 6 クラウド完結型の自動テストシステム完成までの軌跡 pipenv でローカルの Python バージョンを統一する実行環境 Device Farm ローカルマシン Python (2.7, 3.7) pipenv (3.9) pipenv で統一可能 ※ Airtest IDE は Settings で指定する

Slide 50

Slide 50 text

©Akatsuki Games Inc. 50 6 クラウド完結型の自動テストシステム完成までの軌跡 pipenv でローカルの Python バージョンを統一する実行環境 Device Farm ローカルマシン Python (2.7, 3.7) pipenv (3.9) ローカルマシン同様、pipenv で Python をインストールしたい pipenv で統一可能 ※ Airtest IDE は Settings で指定する

Slide 51

Slide 51 text

©Akatsuki Games Inc. 51 6 クラウド完結型の自動テストシステム完成までの軌跡 Device Farm で同一の Python バージョンを利用する ● ローカルでビルドした Python を Device Farm にアップロードする ○ ホストマシンの OpenSSL が古い(1.0.2o)ため、OpenSSL(1.1.1q) もアップロード ● テストスクリプトと同じ zip ファイルにまとめ、 YAML でパスを通す課題解決策 ● Device Farm は実行ユーザ(device-farm)の権限が弱くインストールできない ○ インストール(apt)コマンドや sudo コマンドが使用不可

Slide 52

Slide 52 text

©Akatsuki Games Inc. 52 6 クラウド完結型の自動テストシステム完成までの軌跡実行環境の Python バージョンを統一する - まとめ AWS CLI ▼ Airtest CLI Airtest CLI Airtest IDE 実行方法実行環境実行トリガー Device Farm ローカルマシン Jenkins ローカルマシンローカルマシン実行環境 Device Farm ローカルマシンセルフビルド (3.9) pipenv (3.9) 実行環境の Python バージョンを 3.9 に統一した

Slide 53

Slide 53 text

©Akatsuki Games Inc. 53 共通処理をランチャースクリプトに記述する

Slide 54

Slide 54 text

©Akatsuki Games Inc. 54 6 クラウド完結型の自動テストシステム完成までの軌跡テストフレームワークを導入し、ランチャースクリプトを作成するランチャースクリプトのイメージ ● テストフレームワークを導入し、ランチャースクリプトを作成する ● 共通処理は、テスト前後処理や実際にテスト処理を行う関数内に記述する ● テスト実行時の共通処理が多く、テストスクリプトに書くコード量が多くなる ○ Airtest の初期設定 ○ テスト対象のアプリケーションの起動 ○ テストレポートの出力課題解決策

Slide 55

Slide 55 text

©Akatsuki Games Inc. ● Airtest CLI で実行すると、最終的に unittest で実行されている ● これは、Python 実行に置き換え可能 $ airtest run smoke.air → $ python smoke.air/smoke.py 55 6 クラウド完結型の自動テストシステム完成までの軌跡 Airtest は何を使ってテスト実行しているのか airtest.cli.runner

Slide 56

Slide 56 text

©Akatsuki Games Inc. 56 6 クラウド完結型の自動テストシステム完成までの軌跡 CLI 実行にはテストフレームワーク pytest を導入する導入理由 ● ﬁxture 機能を利用したい ○ 外からのパラメータをオプションを使ってテストスクリプトに渡したい pytest --scenario smoke ● 自動テストシステム自体のテストも同じ仕組みで書ける https://docs.pytest.org/en/latest/ CLI 実行時は、pytest の記法で記述したランチャースクリプトを使用する

Slide 57

Slide 57 text

©Akatsuki Games Inc. ● Airtest IDE には任意のランチャーを設定できる(カスタムランチャー) ● IDE のテスト前後処理は custom_launcher.py で記述する ● IDE メニューの Options > Settings で設定する 57 6 クラウド完結型の自動テストシステム完成までの軌跡 Airtest IDE 実行にはカスタムランチャーを定義する Airtest launcher (trial) custom_launcher.py

Slide 58

Slide 58 text

©Akatsuki Games Inc. 58 6 クラウド完結型の自動テストシステム完成までの軌跡共通処理をランチャースクリプトに記述する - まとめ AWS CLI ▼ pytest pytest Airtest IDE 実行方法実行環境実行トリガー Device Farm ローカルマシン Jenkins ローカルマシンローカルマシン実行環境 Device Farm ローカルマシンセルフビルド (3.9) pipenv (3.9) CLI の実行方法を pytest に置き換えランチャーを追加 CLI用ランチャー IDE用ランチャー

Slide 59

Slide 59 text

©Akatsuki Games Inc. 59 タスクランナーを用いてパラメータを入力する

Slide 60

Slide 60 text

©Akatsuki Games Inc. 60 6 クラウド完結型の自動テストシステム完成までの軌跡実行方法で、パラメータの入力方法を改善する ● Device Farm ○ 実行デバイス ○ タイムアウト ○ テスト対象のアプリバージョン ○ and more… ● テストスクリプト ○ テストシナリオ ○ 接続サーバ ○ and more… ※ テストごとに変更するパラメータもある増え続けるパラメータ ● タスクランナー Invoke を導入する ● テスト実行のために必要なパラメータの増加 ○ 環境変数で指定する方法では、実行時の指定に苦労する $ TEST_SCENARIO=smoke TIMEOUT=10 ./run_device_farm.sh 課題解決策

Slide 61

Slide 61 text

©Akatsuki Games Inc. 61 6 クラウド完結型の自動テストシステム完成までの軌跡 Invoke を用いて、パラメータを入力する導入理由 ● 一連の作業をまとめることで、パラメータを楽に指定することができる invoke test --scenario smoke --timeout 10 ● テストスクリプトと同じ、Python で言語統一できる https://www.pyinvoke.org/

Slide 62

Slide 62 text

©Akatsuki Games Inc. 62 6 クラウド完結型の自動テストシステム完成までの軌跡タスクランナーを用いてパラメータを入力する - まとめ Invoke ▶ AWS CLI ▶ pytest Invoke ▶ pytest Airtest IDE 実行環境実行トリガー Device Farm ローカルマシン Jenkins ローカルマシンローカルマシン実行環境 Device Farm ローカルマシンセルフビルド (3.9) pipenv (3.9) CLI用ランチャー IDE用ランチャー CLI の実行方法を Invoke に変更し、パラメータを入力しやすくした実行方法

Slide 63

Slide 63 text

©Akatsuki Games Inc. 6 クラウド完結型の自動テストシステム完成までの軌跡テスト実行環境編 - まとめ 63 テスト結果通知編クラウド環境のテスト結果を自動で受け取るテスト実行編クラウド環境で自動テスト実行するテスト実行環境編開発しやすい環境を作る変化を受け入れ、最速で自動テストスクリプトを修正可能なシステム ● 同一の Python バージョン ● pytest とカスタムランチャーでランチャー作成 ● Invoke によるパラメータ入力

Slide 64

Slide 64 text

©Akatsuki Games Inc. 6 クラウド完結型の自動テストシステム完成までの軌跡テスト実行編 64 テスト結果通知編クラウド環境のテスト結果を自動で受け取るテスト実行編クラウド環境で自動テスト実行するテスト実行環境編開発しやすい環境を作る変化を受け入れ、最速で自動テストスクリプトを修正可能なシステム ● 同一の Python バージョン ● pytest とカスタムランチャーでランチャー作成 ● Invoke によるパラメータ入力

Slide 65

Slide 65 text

©Akatsuki Games Inc. 65 Airtest を Device Farm で動作させる

Slide 66

Slide 66 text

©Akatsuki Games Inc. ● Appium ● Calabash ● Instrumentation(Android) ● UI Automator(Android) ● UI Automation(iOS) ● XCTest(iOS) 66 6 クラウド完結型の自動テストシステム完成までの軌跡 Airtest を Device Farm で動作させる Airtest は Device Farm で公式にサポートされていないサポートされているフレームワーク ● Appium だと認識させて、 Airtest の実行を試みた際の課題 ○ サポートされているフレームワークの形式に沿っていないと実行不可 ○ Airtest と Device Farm の adb が衝突する

Slide 67

Slide 67 text

©Akatsuki Games Inc. 67 6 クラウド完結型の自動テストシステム完成までの軌跡サポートされているフレームワークの形式に沿っていないと実行不可 Appium フレームワークに合わせたディレクトリとファイル構成にする Airtest に必要なファイルのみアップロードすると、Appium の形式に合わずエラーになる課題解決策 AWS Device Farm での Appium Python 例: APPIUM_PYTHON_TEST_PACKAGE_TEST_DIR_MISSING

Slide 68

Slide 68 text

©Akatsuki Games Inc. 68 6 クラウド完結型の自動テストシステム完成までの軌跡 Airtest 側の adb を Device Farm のものに差し替えて対応した Airtest と Device Farm の adb が衝突するテスト時は Airtest に付属している adb が起動するが、 Device Farm 上でバージョンが異なる adb が既に起動しているため、エラーになる課題解決策 Android connection FAQ - Airtest Project Docs

Slide 69

Slide 69 text

©Akatsuki Games Inc. 69 アプリの任意のバージョンをテスト対象に指定する

Slide 70

Slide 70 text

©Akatsuki Games Inc. ● アプリのビルドフローに Device Farm へのアップロードフローを追加 ● Amazon Simple Storage Service(S3) でアプリバージョンと ARN(Amazon リソースネーム) を管理 ● Device Farm 起動時に、 S3 から ARN を取得して指定する ○ Invoke のオプションではバージョン番号を渡すだけで OK 70 6 クラウド完結型の自動テストシステム完成までの軌跡アプリの任意のバージョンをテスト対象に指定する

Slide 71

Slide 71 text

©Akatsuki Games Inc. 71 パブリックデバイスからゲームサーバに接続する

Slide 72

Slide 72 text

©Akatsuki Games Inc. 72 6 クラウド完結型の自動テストシステム完成までの軌跡 Device Farm を含めたモバイルゲームの簡易的なインフラ構成図

Slide 73

Slide 73 text

©Akatsuki Games Inc. ● VPC エンドポイントを許可する ○ パブリックデバイスには無い ● Device Farm の公開 IP レンジを全て許可 ○ Device Farm の全てのデバイスからアクセスできてしまう 73 IP 制限をしているため、固定 IP で接続する必要がある対策案 ● Device Farm のパブリックデバイスから VPN 接続を行う ○ AWS VPN に Client VPN があるので採用(VPN サーバの運用は不要) ○ クライアントアプリの OpenVPN を使用して Airtest で接続を自動化 6 クラウド完結型の自動テストシステム完成までの軌跡ゲームサーバに接続する要件解決策

Slide 74

Slide 74 text

©Akatsuki Games Inc. 6 クラウド完結型の自動テストシステム完成までの軌跡テスト実行編 - まとめ 74 テスト結果通知編クラウド環境のテスト結果を自動で受け取るテスト実行編クラウド環境で自動テスト実行するテスト実行環境編開発しやすい環境を作る変化を受け入れ、最速で自動テストスクリプトを修正可能なシステム ● 同一の Python バージョン ● pytest とカスタムランチャーでランチャー作成 ● Invoke によるパラメータ入力 ● Appium で Airtest 動作 ● 任意バージョンがテスト対象として指定可能 ● デバイスを VPN 接続

Slide 75

Slide 75 text

©Akatsuki Games Inc. 6 クラウド完結型の自動テストシステム完成までの軌跡テスト結果通知編 75 テスト結果通知編クラウド環境のテスト結果を自動で受け取るテスト実行編クラウド環境で自動テスト実行するテスト実行環境編開発しやすい環境を作る変化を受け入れ、最速で自動テストスクリプトを修正可能なシステム ● 同一の Python バージョン ● pytest とカスタムランチャーでランチャー作成 ● Invoke によるパラメータ入力 ● Appium で Airtest 動作 ● 任意バージョンがテスト対象として指定可能 ● デバイスを VPN 接続

Slide 76

Slide 76 text

Slide 77

Slide 77 text

©Akatsuki Games Inc. 77 6 クラウド完結型の自動テストシステム完成までの軌跡なぜ実行結果を一元管理すべきなのか ● 自動テストの結果は様々な視点から確認できたほうが良い ○ テストが失敗したときのトラブルシュートの速度が上がる ● 様々な視点とは？ ○ 自動テストが最後まで流れたか ○ アプリ側で実行時エラーが起こっていないか ○ 実行中のリソースに問題がないか ○ and more… できるだけ見たい情報を一元管理したい

Slide 78

Slide 78 text

©Akatsuki Games Inc. ● 情報を S3 にまとめる ● Web ホスティング機能を使用して1つのページで閲覧可能にする 78 6 クラウド完結型の自動テストシステム完成までの軌跡テスト実行結果を一元管理する方法 ● Airtest レポート ● Device Farm 実行動画 ● デバイスログ ● デバイス性能メトリクス ● and more… 必要な情報解決策

Slide 79

Slide 79 text

©Akatsuki Games Inc. ● Airtest 標準レポートの機能を利用 ● Device Farm のホストマシン上に出力する ○ カスタムアーティファクトとして保存する ● テスト実行後に AWS CLI で取得 79 6 クラウド完結型の自動テストシステム完成までの軌跡 Airtest 標準レポートの出力

Slide 80

Slide 80 text

©Akatsuki Games Inc. ● テスト実行後に自動で動画をアーカイブ ● レポートと同様に AWS CLI で取得 80 6 クラウド完結型の自動テストシステム完成までの軌跡 Device Farm 実行動画ファイルの出力 ● fps向上: 5 → 25 fps (実測値) ● フレームが飛ぶ現象が起きなくなった 2023年06月のアップデートで性能向上

Slide 81

Slide 81 text

Slide 82

Slide 82 text

Slide 83

Slide 83 text

©Akatsuki Games Inc. 6 クラウド完結型の自動テストシステム完成までの軌跡テスト結果通知編 - まとめ 83 テスト結果通知編クラウド環境のテスト結果を自動で受け取るテスト実行編クラウド環境で自動テスト実行するテスト実行環境編開発しやすい環境を作る変化を受け入れ、最速で自動テストスクリプトを修正可能なシステム ● 同一の Python バージョン ● pytest とカスタムランチャーでランチャー作成 ● Invoke によるパラメータ入力 ● Appium で Airtest 動作 ● 任意バージョンがテスト対象として指定可能 ● デバイスを VPN 接続 ● レポートは S3 で情報一元化 ● Jenkins → Slack 通知までのパイプラインを作成

Slide 84

Slide 84 text

Slide 85

Slide 85 text

©Akatsuki Games Inc. 7 『ロマンシングサガリ・ユニバース』への適用事例自動テストシステムを安定化させるために選択したテスト 85 まずは、チュートリアルを突破するスモークテストに適用なぜリグレッションテストではなく、スモークテストなのか ● 膨大なリグレッションテストケースを自動テスト用に変換するコストがスモークテストよりも高かったため曖昧性を残したテストケース (ハイレベルテストケース) 具体的にしたテストケース (ローレベルテストケース) 変換コスト手動テスト自動テスト ISTQBテスト技術者資格制度 Advanced Level シラバス日本語版テストアナリスト Version 3.1.1.J03, p17

Slide 86

Slide 86 text

Slide 87

Slide 87 text

©Akatsuki Games Inc. 87 7 『ロマンシングサガリ・ユニバース』への適用事例実装してわかった - 自動化に不向きな仕様その1 慣性が働くスクロールリストビュー ● 適切な強さでスワイプする汎用関数の実装 ○ 調整するパラメータをあえて制限 ● タップ可能であることを検知する関数の実装課題解決策 ● スワイプの力加減の調整が難しい ● 対象の UI オブジェクトが画面上に表示されていることが検知できない ○ 画面外でタップするとエラー © SQUARE ENIX Powered by Akatsuki Inc. ILLUSTRATION: TOMOMI KOBAYASHI

Slide 88

Slide 88 text

©Akatsuki Games Inc. 88 7 『ロマンシングサガリ・ユニバース』への適用事例実装してわかった - 自動化に不向きな仕様その2 同クラス名の UI オブジェクト ● UI オブジェクト内の text で判定する poco(text="メロトセロイ").wait() 課題解決策 ● クラス名がユニークでない UI オブジェクトはクラス名で特定できない ○ 選択される UI オブジェクトはヒエラルキー情報の順番に依存する © SQUARE ENIX Powered by Akatsuki Inc. ILLUSTRATION: TOMOMI KOBAYASHI

Slide 89

Slide 89 text

©Akatsuki Games Inc. 89 7 『ロマンシングサガリ・ユニバース』への適用事例実装してわかった - 自動化に不向きな仕様その3 動的に位置が変化する UI オブジェクト ● UI オブジェクト位置の仕様をプランナーにヒアリングし、理解する ○ 無駄のない自動テストを書く課題解決策 ● マスターデータなどによって位置が変化する UI オブジェクトを特定する汎用的な自動化手段がない © SQUARE ENIX Powered by Akatsuki Inc. ILLUSTRATION: TOMOMI KOBAYASHI

Slide 90

Slide 90 text

Slide 91

Slide 91 text

©Akatsuki Games Inc. ● 自動テストを効率良く実行するために、 SDK やデバッグ機能などをテスト対象に実装する活動が必要 ○ Poco-SDK の導入 ○ 管理ツールの機能追加、API コール ○ デバッグ機能の拡充や RPC 化 ○ and more… 91 7 『ロマンシングサガリ・ユニバース』への適用事例実装してわかった - 自動化の難易度を引き上げている要因その1 ゲーム開発スキルが求められる

Slide 92

Slide 92 text

©Akatsuki Games Inc. ● 開発エンジニアと議論し、実装の合意を得る必要がある ○ ゲームアプリケーションの技術的スキルの習得難易度が高い ■ クライアント、サーバなどのゲームを構成する要素の理解が必要 ■ ゲームアプリケーションによってアーキテクチャが異なる 92 7 『ロマンシングサガリ・ユニバース』への適用事例実装してわかった - 自動化の難易度を引き上げている要因その1 ゲーム開発スキルが求められるゲーム開発経験が自然と求められる

Slide 93

Slide 93 text

©Akatsuki Games Inc. ● 横断組織が自動テストを推進する難易度は高い ○ 開発するために様々な権限を付与してもらう必要がある ■ プロダクトに直結する AWS や Jenkins の権限はためらわれる ○ プロダクトのリリースサイクルを理解する必要がある ■ ステークホルダーを集めたミーティング実施タイミング ■ コードのマージタイミング 93 7 『ロマンシングサガリ・ユニバース』への適用事例実装してわかった - 自動化の難易度を引き上げている要因その2 コミュニケーションスキルが求められる

Slide 94

Slide 94 text

©Akatsuki Games Inc. ● 導入するために、信頼値をどう積み上げていくか？ 94 7 『ロマンシングサガリ・ユニバース』への適用事例実装してわかった - 自動化の難易度を引き上げている要因その2 コミュニケーションスキルが求められる品質に関心の高いプロジェクトメンバーとともに活動する

Slide 95

Slide 95 text

©Akatsuki Games Inc. ● 自動テストシステムを安定化させることを目的としたお試し適用 ○ 自動テストシステムの完成度は高めることができたが、実運用には届かず ■ 自動テストしやすい形にテスト対象を変更する作業に苦戦 ● 自動テストを実運用するために ○ スモークテストだけでなく、assert による結果比較を行う自動テストが必要 ■ 手動テストを自動テストに置き換えていく ○ テスト実行コストを比較し、費用対効果が高いテストを自動化対象に選定する ■ テストを自動化するコストは決して低くはない 95 7 『ロマンシングサガリ・ユニバース』への適用事例チュートリアル突破スモークテストを適用してみた結果

Slide 96

Slide 96 text

Slide 97

Slide 97 text

©Akatsuki Games Inc. 97 8 まとめ運営型モバイルゲームの自動テスト導入目的自動テスト導入前自動テスト導入後テスト実行コストフェーズ内阻止不適合コスト自動テストによってテスト実行コストを下げ、より早期にテスト可能にすること導入目的

Slide 98

Slide 98 text

©Akatsuki Games Inc. 1. コンテンツの変化が激しく、自動テストシステムが持続できない 2. 画面情報のみだと、UI 要素の取得が難しい 3. 多種多様なデバイスの管理にコストがかかる 98 8 まとめモバイルゲームの自動テストが浸透しない3つの原因

Slide 99

Slide 99 text

©Akatsuki Games Inc. 99 ● 変化を受け入れ、最速で自動テストスクリプトを修正可能なシステムを設計する ○ どの実行環境においても、同一のテストスクリプトで、同様のテスト結果になる ■ Python バージョンをクラウドを含む全環境で統一 ■ Invoke や pytest の採用 ○ レポートを一元管理し、トラブルシュートの時間を短縮する ● 変化しづらいテストを自動化する ○ まずは、チュートリアル突破スモークテストを自動化コンテンツの変化が激しく、自動テストシステムが持続できない 8 まとめ持続可能な自動テストシステムを作るために

Slide 100

Slide 100 text

©Akatsuki Games Inc. 100 ● 画像認識以外で UI 要素を取得できる自動テストフレームワークを採用する ○ Airtest と Poco の採用画面情報のみだと、UI 要素の取得が難しい 8 まとめ持続可能な自動テストシステムを作るために

Slide 101

Slide 101 text

©Akatsuki Games Inc. 101 ● 管理が不要なクラウド上のデバイスで、自動テストを実行する ○ Device Farm パブリックデバイスを採用 ○ Device Farm 上で Airtest を動作させる ○ デバイスを VPN 接続し、開発サーバにアクセスする多種多様なデバイスの管理にコストがかかる 8 まとめ持続可能な自動テストシステムを作るために

Slide 102

Slide 102 text

Slide 103

Slide 103 text

©Akatsuki Games Inc. 9 ● assert による結果比較を行う自動テストの実装 ○ 費用対効果の高い自動テストの選定と実装 ● iOS の自動テストサポート ● Production バイナリにおける自動テストの実施方法の検討 ○ リリース直前で行うテストは、基本的な挙動の確認が多い今後の展望価値のある自動テストを効率よく増やしていけるかが課題 103

Slide 104

Slide 104 text

Slide 105

Slide 105 text

©Akatsuki Games Inc. Appendix. ● 弊社技術ブログ ○ AWS Device Farm で Airtest を動かす方法 ○ Airtest で CLI, IDE や AWS Device Farm, Local など様々なテスト実行手段 ○ AWS Device Farm を使って Airtest を実行するときのフローとは 105