20210330_QA_Tech_Night_vol3_AIQVE ONE_Tobisawa

Transcript

1. QAツールのご紹介 AIQVE ONEで実戦投⼊されているテスト⾃動化ツールと開発中のツールをご紹介します。 2021.03.30
2. ©AIQVE ONE Inc. ⾃⼰紹介 ⾶澤 正⼈ ゲームソフト開発会社のハドソン⼊社後約15年間、プログラマー・ディレク ターとしてゲーム開発に従事。 その後、品質管理部⾨で家庭⽤ゲーム・モバイルゲームのQAを担当し、2015年 頃からテスト業務の品質向上とコスト低減を⽬指しQA部⾨のAI⾃動化グループ でテスト⾃動化に取り組む。 現在は、AIQVE ONEにて、QAツールの開発を推進している。 - 1 -
3. ©AIQVE ONE Inc. AIQA事業で実際に活⽤しているQAツールをご紹介します。 • AutoTester • VideoCloud • AutoMapper • BTSTransporter - 2 -
4. ©AIQVE ONE Inc. AutoTester 概要 AutoTesterはゲームテストを⾃動化するために開発された独⾃のテスト⾃動化ツールです。 回帰テスト、通しテスト、シナリオテストに最適。ゲーム以外のスマートフォンアプリにも使⽤可能。 - 3 - スクリプトを作成・実⾏ 実⾏結果は⾃動で レポートに出⼒
5. ©AIQVE ONE Inc. AutoTester 特徴 操作⼿順が決まっている部分のテスト⾃動化が可能 Android/iOSの端末画⾯キャプチャーが可能 テスト実⾏レポートとして、実⾏時の動画、各ステップの詳細とスクリーンショットをWebブラウザで確認が可能 Pythonと簡易コマンドでシナリオを作成でき、作成したシナリオの再利⽤も容易 効果 繰り返し作業の⾃動化でテスト⼯数を削減できます。 属⼈化していた作業を標準化することにより効率化が図れます。 ⼿作業によるムラがなくなりテスト品質が向上します。 例えばガチャを引き続けて登場アイテムの確認と確率検証などを⾃動化できます。 - 4 -
6. ©AIQVE ONE Inc. AutoTester 画⾯ - 5 - Assistant 選択したコマンドの スクリプトを⾃動で⼊⼒ Script テストを実⾏するスクリプトを ⼊⼒し作成 ログ 実⾏したスクリプトの ログを出⼒ 接続したデバイスの 画⾯を表⽰ ファイル操作 プロジェクトの作成、スクリプトの 実⾏、レポートの表⽰など
7. ©AIQVE ONE Inc. AutoTester レポート作成 スクリプトを実⾏すると、実⾏内容の詳細情報と画⾯記録のHTMLレポートが作成されます。 レポートでは実⾏の動画と、各ステップの詳細情報と画⾯を確認することができます。 - 6 - 実⾏したスクリプトの レポートを表⽰ レポートボタンを押す
8. ©AIQVE ONE Inc. AutoTester ビジュアルプログラミング 特徴 Webクライアント üVue.jsとBlocklyを組み合わせた軽快な動作 üテストスクリプト作成に必要なPythonを知らなくても、⽇本語のブロックを組み合わせる(ビジュアルプログラミング)だけで 簡単にテストスクリプトが完成する üIf, for⽂などを使って簡単な分岐や繰り返しも組み込める デスクトップアプリであるAutoTesterを、Webクライアントから操作できる。Webクライアントから実⾏できる操作は次の通り üスマートフォンの画⾯をキャプチャして画像ファイルとしてWebクライアントに取り込む üサーバーに保存したテストケース指定して、AutoTesterでスマートフォンの⾃動テストを実⾏できる 効果 Pythonを知らなくても誰でもシナリオを作成できるため、テスト現場で⾃動化を進めやすい コマンドのブロックとイメージの組み合わせでシナリオをつなげていくので、誰が作っても同じプログラムになる - 7 -
9. ©AIQVE ONE Inc. AutoTester ビジュアルプログラミング ケース作成 - 8 -
10. ©AIQVE ONE Inc. AutoTester ビジュアルプログラミング ケース再⽣ - 9 -
11. ©AIQVE ONE Inc. AutoTester ビジュアルプログラミング 解説動画 - 10 -
12. ©AIQVE ONE Inc. VideoCloud 概要 VideoCloudは、テスト機器の画⾯を動画でクラウドに保存 不具合報告の際にクラウドから該当箇所の動画をすぐに提供可能 - 11 - VideoCloud Android, iOS端末、ゲーム機の画⾯を録画 ブラウザから 動画を再⽣
13. ©AIQVE ONE Inc. VideoCloud 特徴 Android、iOS、コンシューマのゲーム機器に対応 動画を直接クラウドサーバーに保存 アップロード済みの動画は、秒単位で開始時間・終了時間をトリミングし不具合状況などコメントも加えて再⽣可能 トリミング時に発⾏されるURLを不具合報告に記載するだけ セキュリティ対策として、プロジェクトごとにDB・コンテナ・ユーザーを分けて作成。GIPでアクセス制限。URLの改ざん対策に ULIDを使⽤ クラウド上の動画ファイルはダウンロード出来ない仕様で動画流出のリスクを低減 効果 常時録画できるので、撮り忘れによる再収録が不要 直接クラウドサーバーに保存しているため、⻑時間録画してもPCの容量を圧迫しない BTSには動画ファイルではなくURLを記載するだけで、アップロード時間が⼤幅に短縮され、BTSサーバーの容量制限の⼼配も不要 不具合発⽣の操作は動画を再⽣するだけで操作説明の記載が無くなり、説明不備も解消 テスターが1⽇に動画編集にかかる時間が１時間程度あったが、この作業が無くなり検証効率がアップ - 12 -
14. ©AIQVE ONE Inc. VideoCloud 動画トリミングのデモ - 13 -
15. ©AIQVE ONE Inc. VideoCloud 動画トリミング画⾯ - 14 - 再⽣画⾯ 動画情報 再⽣ボタン トリミング設定 画⾯⽐率 16:9は横画⾯またはコ ンシューマ 1:1は縦画⾯ 録画時刻表⽰
16. ©AIQVE ONE Inc. VideoCloud 動画再⽣画⾯ - 15 - 録画時刻表⽰ボタン 再⽣画⾯ 動画情報 録画時刻表⽰
17. ©AIQVE ONE Inc. AutoMapper 概要 AutoMapperはアプリの画⾯遷移を⾏い、その遷移情報から画⾯遷移図を作成するツールです。 これによりどのようにして各画⾯が繋がっているかの確認を⾃動化することができます。 - 16 - 連携した端末からアプリの 遷移操作を⾏い解析 遷移図を出⼒
18. ©AIQVE ONE Inc. AutoMapper 特徴 端末画⾯のスクリーンショットを元に画⾯遷移図を作成 遷移図画像と遷移図閲覧⽤HTMLを作成 遷移図の関係をツリー情報にて閲覧と削除が可能 各遷移図画像に画⾯タイトルをつける事が可能 作成した遷移図画像のホームボタンの位置情報をデータとして保存可能 AutoTesterで遷移図データを⽤いることで指定画⾯まで移動するテストが可能 効果 これまでのスクショ撮影、PCへ転送、エクセルなどで編集という⼿作業が、端末でアプリをプレイするだけ 仕様書の画⾯遷移図作成を短時間でサポート - 17 -
19. ©AIQVE ONE Inc. BTS Transporter 概要 BTSTransporterはRedmineに起票されたチケットを、他のBTSにまとめてコピーするツールです。 弊社のBTSのRedmineから御社のBTSのRedmineにチケットを転送することで、御社のRedmineでチケットを 作成・起票する権限を作業者全員に付与する必要なく運⽤することが可能です。 ※Jira⇔Redmineでのチケットの転送も可能です。 - 18 - 弊社 BTSTransporterを使⽤ 御社 従来 弊社 御社 弊社の作業者 権限を付与 権限を付与 チケットを起票 チケットの 情報を取得 チケットを 起票 BTSTransporterでチケットを転送
20. ©AIQVE ONE Inc. BTSTransporter 特徴 弊社Redmineのチケットを御社のRedｍineに転送。その逆の転送も可能 添付ファイルや履歴も⼀緒に転送が可能 優先度、カスタムフィールドの違いは、対応表を作って⾃動変換 効果 これまで不具合チケットを⼀つひとつコピー＆ペーストしていた作業⼯数の削減が可能 ⼿作業にコピー＆ペーストや添付ミスを完全に防ぎます - 19 -
21. ©AIQVE ONE Inc. BTSTransporter 解説 - 20 - 社内サーバ お客様サーバ WebAPI WebAPI BTSTransporter チケットを 起票する チケット⼀覧を 読み込み 選択されたチケットの 内容で登録
22. ©AIQVE ONE Inc. 導⼊予定のQAツールをご紹介します • AIプレイヤー（仮） • 校閲ツール（仮） - 21 -
23. ©AIQVE ONE Inc. AIプレイヤー（仮） 概要 AIプレイヤー(仮)は模倣学習を利⽤した⾃動プレイAIです。 UnityとUnrealEngineに対応したQA⽤⾃動通しプレイAI。現在は３Dアクションゲームで動作。 AIプレイヤーはモリカトロン株式会社が開発。 - 22 -
24. ©AIQVE ONE Inc. AIプレイヤー（仮） 特徴 想定しているゲームはマップ上のキャラクターを操作するゲーム 決められた⼿順でマップ内を移動する 道中にいる敵を攻撃することが可能 広いマップマップも対応可能(極端に広くない限り) 常にジャンプ・敵をすべて無視・宝箱をすべて開けるなど特徴のある攻略の模倣が可能 乗り物に乗る・扉を開けるなど特定のタイミングで特定のキーを押す操作にも対応予定 移動する床に乗る・⾶び移る ランダムに移動する物体や遠くにいる物体を追いかける 通しプレイ、⻑時間プレイ、コリジョンチェックなどの⾃動化が可能 効果 通しプレイやコリジョンチェックなど時間と⼈数が必要なテストの⼈的⼯数の削減に繋がります。 アイテムドロップやエンカウントなどの統計的な検証が⼿軽に実現 プレイヤーが⾏った操作・⾏動のリピートが⾏えるため、不具合発⽣の条件などの特定が容易 夜間休⽇などの労働基準法の制約を受けないため、いつでもチェック作業が可能 オープンワールドRPGでこれらの⾃動化を導⼊するとテストコストの⼤幅な削減が⾒込めます。 - 23 -
25. ©AIQVE ONE Inc. 校閲ツール（仮） 概要 校閲ツールはOCRで画⾯上の⽂⾔をテキスト化し校正、校閲を⾃動で⾏います。 キャラクターの⾔い回しもAIが校閲します。NGワードチェック機能も搭載。 特徴 ⽂章校閲 / 校正（誤字脱字チェック含む）が可能 差別表現 / 公序良俗に反する⾔葉や独⾃に登録されたNGワードのチェックが可能 IP的⾔い回し表現のチェックが可能 OCRを使⽤して、アプリ画⾯上に表⽰されている⽂⾔をテキスト化して、校閲 / 校正 ＋α要件： ボイスtoテキストを使⽤して、アプリ内のボイスをテキスト化して、校閲 / 校正 キャラクターの表情やエモーショナルエフェクトを判別 効果 ⼈がテストを⾏う場合に⽐べ漏れや⾒落とし、操作ミスを排除することが可能 チェック⾃動化により⼯数を節約できるため、チェック範囲を広げることが可能 キャラクターのセリフチェックはIPに詳しいスタッフによる属⼈化された作業の象徴だが、誰でもチェック可能に - 24 -
26. ©AIQVE ONE Inc. 校閲ツール（仮） 想定⼿順 1. 対象となる画⾯のスクリーンショットを撮る（予め撮っておいて、その画像を参照するでもアリ） 2. OCRを通して撮ったスクリーンショット内のテキストを⽂字起こしする 3. ⽂字起こしされたテキストをツールを通して校閲 / 校正する 4. 問題なければOK、問題があればNGを結果として出⼒する（校閲 / 校正・NGワードチェック結果） 利⽤場⾯ ADVパートのシナリオ確認（メイン・イベント） Øキャラ名、セリフ、⽴ち絵、エモーショナルエフェクト お知らせ確認 Øお知らせタイトル、内容 ヘルプ⽂⾔確認 Øヘルプタイトル、内容 図鑑・⼀覧系 Øキャラ名、武器・装備名、アイテム名 - 25 -
27. ©AIQVE ONE Inc. 校閲ツール（仮） OCRサンプル - 26 -
28. ©AIQVE ONE Inc. 校閲ツール（仮） OCRサンプル - 27 -
29. ©AIQVE ONE Inc. 校閲ツール（仮） OCRサンプル - 28 -
30. ©AIQVE ONE Inc. 校閲ツール（仮） OCRサンプル - 29 -
31. ©AIQVE ONE Inc. 本⽇はありがとうございました - 30 -