"ゲームQA業界の技術向上を目指す！ 会社を超えた研究会の取り組み"

GREE Tech Conference 2024で発表された資料です。
https://techcon.gree.jp/2024/session/TrackA-2

Transcript

1. ゲームQA業界の技術向上を目指す！ 会社を超えた研究会の取り組み グリー株式会社 QAエンジニア 佐野あゆみ、堀川祐希、小野粋哉
2. 佐野 あゆみ 検証の専門会社を経て2012年にグリー株式会社の 品質管理部へ。 プラットフォームやアプリの品質保証に関するKPI 管理、テスターの育成など幅広く従事し、2019年 から部長に。 グリーグループ唯一のQA組織としてグループの サービス全般の品質をサポート。 グリー株式会社 / 株式会社ポケラボ Customer＆Product Satisfaction部 部長 2
3. 堀川 祐希 ゲーム開発、運営などを行う会社にてQAや事業 立ち上げなどを経験し、2019年9月にグリー株式 会社へ入社。 入社後は複数のネイティブタイトルの品質管理担 当者として検証の効率化・品質改善などに従事し つつ、ゲーム業界のQA研究会の運営委員として 会の運営を行なっている。 グリー株式会社 / 株式会社ポケラボ Customer＆Product Satisfaction部 QAグループ PKL QAチーム 3
4. 小野 粋哉 2017年4月にグリー株式会社に入社。 入社後、複数のWebゲームやネイティブタイトル のテスト管理や品質改善活動に従事。 4 グリー株式会社 / 株式会社ポケラボ Customer＆Product Satisfaction部 QAグループ WFS LQAチーム
5. 目次・アジェンダ • 研究会の概要 ◦ QA研究会　開始のきっかけ ◦ QA研究会の概要 • 取り組みの実例ご紹介 ◦ 魅力的品質の事例 ◦ 人材育成の事例 ◦ 業務改善・効率化の事例 • まとめ 5
6. 研究会の概要 6
7. QA研究会　開始のきっかけ ゲームQAに携わる人で、2015年から社内外を含め、 三か月に一回勉強会を実施 7 複雑さを増す モバイルゲーム 仕様 個社の障害が業 界に及ぼす影響 個社でのQAナ レッジ強化や 育成の難しさ
8. QA研究会　開始のきっかけ 勉強会 　メリット：気軽に参加できる、業界の動向を聞くことができる 　デメリット：受け身になりやすい、現状の課題とマッチしないこともある 8 より能動的に参加できる場を醸成するため 2019年より研究会の取り組みも並行して開始
9. QA研究会の概要 9 参加社数 取扱テーマ チーム構成 実施期間 運営方法 ゲーム/アプリの事業会社と検証 専門会社　20社 運営で技術/マネジメントなどか らテーマを選定 ‐ 2015年～ 半年に一回 基本的に聴講スタイル ゲーム/アプリの事業会社と検証 専門会社　13社 興味があるテーマについて各自持 ち寄り 会社を問わず興味があるテーマ毎 に3-4人1チームで構成 2019年～毎月実施、9か月 (9月開始、翌年6月終了) 各自研究を実施、適宜運営がアド バイス 研究会 勉強会
10. QA研究会の概要_参加社 10 ゲーム業界の品質向上に興味がある方々 マネージャーやスタッフなど役職は関係なく実施 第6期(2023.9‐2024.6)ご参加社の例
11. QA研究会の概要_研究テーマ 11 自発的に研究が進むよう、運営側でテーマを設定せず、各自興味がある内容を 持ち寄り発表 過去テーマ案ドラフト QA自動化 SNSからの情報取得 採用/育成と現場スタッ フの各レイヤー比率の 均衡を保つための課題 QAから開発への働き かけ 仕様書や企画段階にお けるQAからの働きか け QAとして効率よく、 精度高く説明責任を果 たす方法 新型コロナウイルス影 響下のQA業務 CSQA連携による魅力 的品質の追求 全社から信頼される QA組織に向かうため の課題 精度高くテストを行う チーム作り テーマ設定の背景を共有しあい、 各社/各メンバーの潜在的な課題を再考
12. QA研究会の概要_研究テーマ 12 改めて興味があるテーマを個別検討し、課題ベースでグループを作成 決定テーマ 直近の取り組みテーマについては 後半の発表で具体的にお話させていただきます QA自動化 SNSからの情報取得 採用/育成と現場スタッ フの各レイヤー比率の 均衡を保つための課題 QAから開発への働き かけ 仕様書や企画段階にお けるQAからの働きか け QAとして効率よく、 精度高く説明責任を果 たす方法 新型コロナウイルス影 響下のQA業務 CSQA連携による魅力 的品質の追求 全社から信頼される QA組織に向かうため の課題 精度高くテストを行う チーム作り
13. QA研究会の概要_運営方法 13 ・頻度　　　月次 ・参加者　　全体(25人程度) ・連携方法　オンラインMTG ・内容　　　進捗共有、課題共有 　　　　　　意見交換 ・頻度　　　各チーム毎(月1-2回) ・参加者　　チームメンバー ・連携方法　チャット 　　　　　　オンラインMTG ・内容　　　業務分担、方針確認 　　　　　　進捗共有、課題相談 全体連携 各チーム連携 ・テーマ/チーム策定サポート ・全体MTGの運営、各チーム進捗サポート 運営サポート
14. QA研究会の概要_研究期間 14 月次の全体連携MTGの他に中間発表を実施することで スケジュールを意識した研究を推進。 また、忘年会など交流の機会も意図的に設定。 年間スケジュール　イメージ 9,10月 テーマ/ チーム決定 ～8月 各社に 声掛け 12月 忘年会 6月 最終報告 2月 中間発表 今年は150名程の方が ご参加下さいました！ オンラインでゲームを しながら交流を深める！ 8月 ウェビナー 開催 CEDEC 申し込み検討
15. 取り組みの実例ご紹介 15
16. 16 過去に研究テーマとして取り上げた内容を一部ご紹介 • アイトラッキングシステ ムの活用検討 • CS/QA連携による魅力 的品質向上の取り組み • 現場リーダーの育成 • ケーススタディを用いた 研修・育成 • テスト自動化・AI活用 • リジェクトリスク対策 • 仕様相違削減の取り組み • QA主導での開発プロセ ス改善 魅力的品質向上 組織・人材育成 業務改善・効率化 様々な現場課題の解決や新しい取り組みに挑戦！ 取り組みの実例ご紹介
17. 17 取り組みの実例ご紹介 魅力的品質向上 組織・人材育成 業務改善・効率化
18. 魅力的品質向上の事例① 18 • 研究概要 ◦ アイトラッキングシステムを用いたテストへの活用方法の模索 ◦ 実施時期：2023年〜2024年 • 背景 ◦ UI/UXの観点での品質向上のためにアイトラッキングシステムの活用方法を検 討 • 参加会社 ◦ AIQVE ONE、アカツキゲームス、グリー、ロジカルビート アイトラッキング（1/7）
19. 魅力的品質向上の事例① 19 • アイトラッキング実験の様子 アイトラッキング（2/7）
20. 魅力的品質向上の事例① 20 • アイトラッキング実験の様子 アイトラッキング（3/7）
21. 魅力的品質向上の事例① 21 • 活用方法の検討結果 ◦ 物理的・精神的・時間的な制約が多くて活用手段が限られる ◦ 獲得したデータのQAでのUI/UX観点での活用が難しそう • 今回の活用方法 ◦ アイトラッキングがどういう事に使えそうかをまとめる方針に！ ▪ フリーテストに精通したテスターは何が優れているのかを分析 • バグ検知率の高いテスターと一般的なテスターの視点を解析 • どのような着眼点でテストをしているかを言語化した アイトラッキング（4/7）
22. 魅力的品質向上の事例① 22 • 実験した内容 ◦ アイトラッキングを利用してゲームプレイ時の視線のデータ収集 ◦ ベテランのテスターはどのような点が優れているのかを分析 • 前提条件 ◦ 3Dフィールドを自由に移動できるアクションゲーム ◦ 平面移動、攻撃や回避、ジャンプなどのアクションが可能 ◦ コリジョンチェックを目的としてインプットしてプレイ アイトラッキング（5/7）
23. 魅力的品質向上の事例① 23 • アイトラッキング実験の様子 アイトラッキング（6/7）
24. 魅力的品質向上の事例① 24 • 得た学び（一例） ◦ ベテランテスターの方が画面内での視線移動が多い ▪ 一般のテスターよりも得られる情報量が多く、不具合の検知にも繋 がっていると考えられる ◦ ベテランテスターのスキル可視化がすすめられた ▪ テスターの教育にも活用できる可能性あり ◦ アイトラッキングには様々な制約がある ▪ 検証環境の構築・費用などの物理的制約 ▪ プライバシーの配慮や視線などのデータ収集による精神的制約 ▪ データ解析や分析、実験などにかかる時間的制約 アイトラッキング（7/7）
25. 魅力的品質向上の事例② 25 • 研究概要 ◦ 当たり前品質だけでなく、ユーザー満足度向上にフォーカスした取り 組み ◦ 実施時期：2020年〜2021年 • 参加会社 ◦ グリー、ダーツライブ • 背景 ◦ 昨今、不具合を出さないことに加えて、ゲームの楽しさや満足感、感 動などを求められる事が多くなっていると考えたため 詳細はブースで！ SNSからの情報取得（1/2）
26. 魅力的品質向上の事例② 26 • 取り組み内容 ◦ SNSから特定のワードを抽出 ▪ 品質特性を基準とした評価軸とAIでの感情分析を用いて、抽出し たユーザの声を評価 ▪ 分析内容をもとに開発チームへ改善提案を実施 • 得た学び ◦ 品質特性を用いた評価方法の確立 ◦ AIを用いた感情分析手法のナレッジ 詳細はブースで！ SNSからの情報取得（2/2）
27. 27 取り組みの実例ご紹介 魅力的品質向上 組織・人材育成 業務改善・効率化
28. 人材育成の事例① 28 • 研究概要 ◦ QAのリーダーとして活躍するにはどういったスキルが求められるの かを分析し、必要な要素を分解して研修を実施 • 参加会社 ◦ AIQVE ONE、グリー、ProVision • 背景 ◦ 昨今、労働人口の減少が進む中で人材育成の重要度が増す中、体系的 な仕組みを作り一定水準の育成手法を構築したいと考え実施 育成_スキル要素リスト（1/5）
29. 人材育成の事例① 29 • 実験内容 ◦ 3社間での育成内容を比較しスキル要素リストの作成 ◦ スキル要素リストを基に各社で研修を実施 ▪ 研修では座学と問題集を用意し定着率の向上を図る ◦ その後、対象者からフィードバックをもらい、良かった/悪かった点 を踏まえてブラッシュアップを行う 育成_スキル要素リスト（2/5）
30. 人材育成の事例① 30 スキル要素リストを一部抜粋 育成_スキル要素リスト（3/5）
31. 人材育成の事例① 31 研修資料を一部抜粋 育成_スキル要素リスト（4/5）
32. 人材育成の事例① 32 • 実験結果 ◦ 良かった点 ▪ 今後の育成手法のベースができた ▪ 各社が育成で重きを置く部分の認識が統一できた ◦ 今後の課題 ▪ 会社によってリーダーに求められる能力が異なるので必要なスキル の精査が必要 ▪ インプットした知識をアウトプットできる環境を作れるとより効果 的になると感じた 育成_スキル要素リスト（5/5）
33. 人材育成の事例② 33 • 研究概要 ◦ 現場リーダー育成にあたりケーススタディを用いたワークショップで の研修を行う仕組みを構築した取り組み • 参加会社 ◦ アカツキゲームス、グリー、ProVision • 背景 ◦ リーダー候補のメンバーに必要な要素が何かを考え、どのような打ち 手で的確に必要な要素を伸ばせるかを課題とし、実施 詳細はブースで！ 育成_ケーススタディ（1/2）
34. 34 人材育成の事例② • 取り組み内容 ◦ ケーススタディを用いて自走できるメンバーを育成するためのワーク ショップを実施 ◦ 今回はQCDを意識したテストリーダーとしてのコミュニケーションの 入門編を実施 ◦ 様々な題材に入れ替えて活用できる研修の枠組の構築も実施した • 得た学び ◦ ケーススタディによる育成が有効であることの気づき ▪ 積極的な発言などを促すことで自走に対する意識も付けられた ◦ 今後も研修に活用できる枠組みを構築できた 詳細はブースで！ 育成_ケーススタディ（2/2）
35. 35 取り組みの実例ご紹介 魅力的品質向上 組織・人材育成 業務改善・効率化
36. 業務改善・効率化の事例① 36 • 研究概要 ◦ テスト自動化により作業の効率化・品質の安定化を図る取り組み • 参加会社 ◦ KLab、グリー • 背景 ◦ 業務の生産性向上や品質の安定化を目的として、繰り返しの作業を手 作業から置き換えたいと考えて実施 テスト自動化（1/5）
37. 業務改善・効率化の事例① 37 • 取り組み内容 ◦ Airtestを用いたテストの自動化 ▪ 編成画面でのキャラクター入れ替えによる組み合わせ自動テスト の導入 ▪ 画像キャプチャ取得の自動化による多言語テストの効率化 • 得た学び ◦ Airtestを用いた自動化実装技術の習得 ◦ 効率化による作業工数の削減 テスト自動化（2/5）
38. Airtestとは 38 • NetEase社が提供している画像認識によるUIテストツール https://airtest.netease.com/
 • モバイルアプリやPCゲームの自動テストをサポート （Android/iOS/Windows/Webに対応） • Pythonベースのスクリプト言語でテストケースを記述 テスト自動化（3/5）
39. 業務改善・効率化の事例① 39 • 取り組み内容 ◦ Airtestを用いたテストの自動化 ▪ 編成画面でのキャラクター入れ替えによる組み合わせ自動テスト の導入 ▪ 画像キャプチャ取得の自動化による多言語テストの効率化 • 得た学び ◦ Airtestを用いた自動化実装技術の習得 ◦ 効率化による作業工数の削減 テスト自動化（4/5）
40. 業務改善・効率化の事例① 40 • Airtest導入イメージ（※実際の研究タイトルとは異なります） Airtest等を用いたテスト自動化の話については、TrackBで17:15‐17:40に講演予定の 「実機ビルドのエラーによる検証ブロッカーを０に！ヘブンバーンズレッドのスモークテスト自動 化の取り組み」をご覧ください！ テスト自動化（5/5）
41. 業務改善・効率化の事例② 41 • 研究概要 ◦ AppleのPF審査を通過するために必要なQA観点をまとめてリジェク トリスクを低減する取り組み • 参加会社 ◦ グリー、サイバード、ProVision • 背景 ◦ AppleのPF審査が通らない、ストアからアプリが削除されてしまうな ど、追加作業や手戻りが発生しないようにQA観点でできることを模 索 リジェクトリスク低減（1/2）
42. 業務改善・効率化の事例② 42 • 取り組み内容 ◦ リジェクトリスク対策 ▪ QA観点でPFガイドラインに抵触しないかを確認するための チェックリストの作成 ▪ チェックリストを使用し、PF審査を想定した新規モバイルゲー ムの事前チェック • 得た学び ◦ 事前チェックでリスクを検知、申請前に対応を入れリジェクトを抑制 ◦ QAで担保しづらい範囲に対してアプローチすることができた リジェクトリスク低減（2/2）
43. まとめ 43 • 各社と協力して研究をおこない、その中でナレッジの共有などを進め ることができた • 研究結果を自社の業務などにも反映することができた • 協力して研究を進行することで関係性が深まり、研究関連/その他のこ とについても相談しやすくなった
44. まとめ 44 • 研究会でおこなった取り組みについて、ゲームQA業界に向けて発信 することができた
45. 今後の展望 45 • 研究会の規模拡大 ◦ 今より多くの方が参加し、情報や技術を得て スキルアップをおこなえる機会としていく • 技術発信の更なる機会創出 ◦ 業界全体の技術水準を高めるための発信機会を増やす ◦ より大規模な発信の場を本研究会主導で創出していく ゲームQA業界活性化により大きく貢献する会へ
46. • ご興味のある方はQAブースにてお気軽にお声がけください • Webでご覧の方は以下QRコードの宛先までご連絡ください • 聴講からの参加も可能となっております！ 46 QA研究会に参加してみませんか？ おしらせ
47. ご清聴ありがとうございました 47