"ゲームQA業界の技術向上を目指す！会社を超えた研究会の取り組み"

by gree_tech

Slide 1

Slide 1 text

ゲームQA業界の技術向上を目指す！会社を超えた研究会の取り組みグリー株式会社 QAエンジニア佐野あゆみ、堀川祐希、小野粋哉

Slide 2

Slide 2 text

佐野あゆみ検証の専門会社を経て2012年にグリー株式会社の品質管理部へ。プラットフォームやアプリの品質保証に関するKPI 管理、テスターの育成など幅広く従事し、2019年から部長に。グリーグループ唯一のQA組織としてグループのサービス全般の品質をサポート。グリー株式会社 / 株式会社ポケラボ Customer＆Product Satisfaction部部長 2

Slide 3

Slide 3 text

堀川祐希ゲーム開発、運営などを行う会社にてQAや事業立ち上げなどを経験し、2019年9月にグリー株式会社へ入社。入社後は複数のネイティブタイトルの品質管理担当者として検証の効率化・品質改善などに従事しつつ、ゲーム業界のQA研究会の運営委員として会の運営を行なっている。グリー株式会社 / 株式会社ポケラボ Customer＆Product Satisfaction部 QAグループ PKL QAチーム 3

Slide 4

Slide 4 text

小野粋哉 2017年4月にグリー株式会社に入社。入社後、複数のWebゲームやネイティブタイトルのテスト管理や品質改善活動に従事。 4 グリー株式会社 / 株式会社ポケラボ Customer＆Product Satisfaction部 QAグループ WFS LQAチーム

Slide 5

Slide 5 text

目次・アジェンダ ● 研究会の概要 ○ QA研究会　開始のきっかけ ○ QA研究会の概要 ● 取り組みの実例ご紹介 ○ 魅力的品質の事例 ○ 人材育成の事例 ○ 業務改善・効率化の事例 ● まとめ 5

Slide 6

Slide 6 text

研究会の概要 6

Slide 7

Slide 7 text

QA研究会　開始のきっかけゲームQAに携わる人で、2015年から社内外を含め、三か月に一回勉強会を実施 7 複雑さを増すモバイルゲーム仕様個社の障害が業界に及ぼす影響個社でのQAナレッジ強化や育成の難しさ

Slide 8

Slide 8 text

QA研究会　開始のきっかけ勉強会　メリット：気軽に参加できる、業界の動向を聞くことができる　デメリット：受け身になりやすい、現状の課題とマッチしないこともある 8 より能動的に参加できる場を醸成するため 2019年より研究会の取り組みも並行して開始

Slide 9

Slide 9 text

QA研究会の概要 9 参加社数取扱テーマチーム構成実施期間運営方法ゲーム/アプリの事業会社と検証専門会社　20社運営で技術/マネジメントなどからテーマを選定 ‐ 2015年～半年に一回基本的に聴講スタイルゲーム/アプリの事業会社と検証専門会社　13社興味があるテーマについて各自持ち寄り会社を問わず興味があるテーマ毎に3-4人1チームで構成 2019年～毎月実施、9か月 (9月開始、翌年6月終了) 各自研究を実施、適宜運営がアドバイス研究会勉強会

Slide 10

Slide 10 text

QA研究会の概要_参加社 10 ゲーム業界の品質向上に興味がある方々マネージャーやスタッフなど役職は関係なく実施第6期(2023.9‐2024.6)ご参加社の例

Slide 11

Slide 11 text

QA研究会の概要_研究テーマ 11 自発的に研究が進むよう、運営側でテーマを設定せず、各自興味がある内容を持ち寄り発表過去テーマ案ドラフト QA自動化 SNSからの情報取得採用/育成と現場スタッフの各レイヤー比率の均衡を保つための課題 QAから開発への働きかけ仕様書や企画段階におけるQAからの働きかけ QAとして効率よく、精度高く説明責任を果たす方法新型コロナウイルス影響下のQA業務 CSQA連携による魅力的品質の追求全社から信頼される QA組織に向かうための課題精度高くテストを行うチーム作りテーマ設定の背景を共有しあい、各社/各メンバーの潜在的な課題を再考

Slide 12

Slide 12 text

QA研究会の概要_研究テーマ 12 改めて興味があるテーマを個別検討し、課題ベースでグループを作成決定テーマ直近の取り組みテーマについては後半の発表で具体的にお話させていただきます QA自動化 SNSからの情報取得採用/育成と現場スタッフの各レイヤー比率の均衡を保つための課題 QAから開発への働きかけ仕様書や企画段階におけるQAからの働きかけ QAとして効率よく、精度高く説明責任を果たす方法新型コロナウイルス影響下のQA業務 CSQA連携による魅力的品質の追求全社から信頼される QA組織に向かうための課題精度高くテストを行うチーム作り

Slide 13

Slide 13 text

QA研究会の概要_運営方法 13 ・頻度　　　月次・参加者　　全体(25人程度) ・連携方法　オンラインMTG ・内容　　　進捗共有、課題共有　　　　　　意見交換・頻度　　　各チーム毎(月1-2回) ・参加者　　チームメンバー・連携方法　チャット　　　　　　オンラインMTG ・内容　　　業務分担、方針確認　　　　　　進捗共有、課題相談全体連携各チーム連携・テーマ/チーム策定サポート・全体MTGの運営、各チーム進捗サポート運営サポート

Slide 14

Slide 14 text

QA研究会の概要_研究期間 14 月次の全体連携MTGの他に中間発表を実施することでスケジュールを意識した研究を推進。また、忘年会など交流の機会も意図的に設定。年間スケジュール　イメージ 9,10月テーマ/ チーム決定～8月各社に声掛け 12月忘年会 6月最終報告 2月中間発表今年は150名程の方がご参加下さいました！オンラインでゲームをしながら交流を深める！ 8月ウェビナー開催 CEDEC 申し込み検討

Slide 15

Slide 15 text

取り組みの実例ご紹介 15

Slide 16

Slide 16 text

16 過去に研究テーマとして取り上げた内容を一部ご紹介 ● アイトラッキングシステムの活用検討 ● CS/QA連携による魅力的品質向上の取り組み ● 現場リーダーの育成 ● ケーススタディを用いた研修・育成 ● テスト自動化・AI活用 ● リジェクトリスク対策 ● 仕様相違削減の取り組み ● QA主導での開発プロセス改善魅力的品質向上組織・人材育成業務改善・効率化様々な現場課題の解決や新しい取り組みに挑戦！取り組みの実例ご紹介

Slide 17

Slide 17 text

17 取り組みの実例ご紹介魅力的品質向上組織・人材育成業務改善・効率化

Slide 18

Slide 18 text

魅力的品質向上の事例① 18 ● 研究概要 ○ アイトラッキングシステムを用いたテストへの活用方法の模索 ○ 実施時期：2023年〜2024年 ● 背景 ○ UI/UXの観点での品質向上のためにアイトラッキングシステムの活用方法を検討 ● 参加会社 ○ AIQVE ONE、アカツキゲームス、グリー、ロジカルビートアイトラッキング（1/7）

Slide 19

Slide 19 text

魅力的品質向上の事例① 19 ● アイトラッキング実験の様子アイトラッキング（2/7）

Slide 20

Slide 20 text

魅力的品質向上の事例① 20 ● アイトラッキング実験の様子アイトラッキング（3/7）

Slide 21

Slide 21 text

魅力的品質向上の事例① 21 ● 活用方法の検討結果 ○ 物理的・精神的・時間的な制約が多くて活用手段が限られる ○ 獲得したデータのQAでのUI/UX観点での活用が難しそう ● 今回の活用方法 ○ アイトラッキングがどういう事に使えそうかをまとめる方針に！ ■ フリーテストに精通したテスターは何が優れているのかを分析 ● バグ検知率の高いテスターと一般的なテスターの視点を解析 ● どのような着眼点でテストをしているかを言語化したアイトラッキング（4/7）

Slide 22

Slide 22 text

魅力的品質向上の事例① 22 ● 実験した内容 ○ アイトラッキングを利用してゲームプレイ時の視線のデータ収集 ○ ベテランのテスターはどのような点が優れているのかを分析 ● 前提条件 ○ 3Dフィールドを自由に移動できるアクションゲーム ○ 平面移動、攻撃や回避、ジャンプなどのアクションが可能 ○ コリジョンチェックを目的としてインプットしてプレイアイトラッキング（5/7）

Slide 23

Slide 23 text

魅力的品質向上の事例① 23 ● アイトラッキング実験の様子アイトラッキング（6/7）

Slide 24

Slide 24 text

魅力的品質向上の事例① 24 ● 得た学び（一例） ○ ベテランテスターの方が画面内での視線移動が多い ■ 一般のテスターよりも得られる情報量が多く、不具合の検知にも繋がっていると考えられる ○ ベテランテスターのスキル可視化がすすめられた ■ テスターの教育にも活用できる可能性あり ○ アイトラッキングには様々な制約がある ■ 検証環境の構築・費用などの物理的制約 ■ プライバシーの配慮や視線などのデータ収集による精神的制約 ■ データ解析や分析、実験などにかかる時間的制約アイトラッキング（7/7）

Slide 25

Slide 25 text

魅力的品質向上の事例② 25 ● 研究概要 ○ 当たり前品質だけでなく、ユーザー満足度向上にフォーカスした取り組み ○ 実施時期：2020年〜2021年 ● 参加会社 ○ グリー、ダーツライブ ● 背景 ○ 昨今、不具合を出さないことに加えて、ゲームの楽しさや満足感、感動などを求められる事が多くなっていると考えたため詳細はブースで！ SNSからの情報取得（1/2）

Slide 26

Slide 26 text

魅力的品質向上の事例② 26 ● 取り組み内容 ○ SNSから特定のワードを抽出 ■ 品質特性を基準とした評価軸とAIでの感情分析を用いて、抽出したユーザの声を評価 ■ 分析内容をもとに開発チームへ改善提案を実施 ● 得た学び ○ 品質特性を用いた評価方法の確立 ○ AIを用いた感情分析手法のナレッジ詳細はブースで！ SNSからの情報取得（2/2）

Slide 27

Slide 27 text

27 取り組みの実例ご紹介魅力的品質向上組織・人材育成業務改善・効率化

Slide 28

Slide 28 text

人材育成の事例① 28 ● 研究概要 ○ QAのリーダーとして活躍するにはどういったスキルが求められるのかを分析し、必要な要素を分解して研修を実施 ● 参加会社 ○ AIQVE ONE、グリー、ProVision ● 背景 ○ 昨今、労働人口の減少が進む中で人材育成の重要度が増す中、体系的な仕組みを作り一定水準の育成手法を構築したいと考え実施育成_スキル要素リスト（1/5）

Slide 29

Slide 29 text

人材育成の事例① 29 ● 実験内容 ○ 3社間での育成内容を比較しスキル要素リストの作成 ○ スキル要素リストを基に各社で研修を実施 ■ 研修では座学と問題集を用意し定着率の向上を図る ○ その後、対象者からフィードバックをもらい、良かった/悪かった点を踏まえてブラッシュアップを行う育成_スキル要素リスト（2/5）

Slide 30

Slide 30 text

人材育成の事例① 30 スキル要素リストを一部抜粋育成_スキル要素リスト（3/5）

Slide 31

Slide 31 text

人材育成の事例① 31 研修資料を一部抜粋育成_スキル要素リスト（4/5）

Slide 32

Slide 32 text

人材育成の事例① 32 ● 実験結果 ○ 良かった点 ■ 今後の育成手法のベースができた ■ 各社が育成で重きを置く部分の認識が統一できた ○ 今後の課題 ■ 会社によってリーダーに求められる能力が異なるので必要なスキルの精査が必要 ■ インプットした知識をアウトプットできる環境を作れるとより効果的になると感じた育成_スキル要素リスト（5/5）

Slide 33

Slide 33 text

人材育成の事例② 33 ● 研究概要 ○ 現場リーダー育成にあたりケーススタディを用いたワークショップでの研修を行う仕組みを構築した取り組み ● 参加会社 ○ アカツキゲームス、グリー、ProVision ● 背景 ○ リーダー候補のメンバーに必要な要素が何かを考え、どのような打ち手で的確に必要な要素を伸ばせるかを課題とし、実施詳細はブースで！育成_ケーススタディ（1/2）

Slide 34

Slide 34 text

34 人材育成の事例② ● 取り組み内容 ○ ケーススタディを用いて自走できるメンバーを育成するためのワークショップを実施 ○ 今回はQCDを意識したテストリーダーとしてのコミュニケーションの入門編を実施 ○ 様々な題材に入れ替えて活用できる研修の枠組の構築も実施した ● 得た学び ○ ケーススタディによる育成が有効であることの気づき ■ 積極的な発言などを促すことで自走に対する意識も付けられた ○ 今後も研修に活用できる枠組みを構築できた詳細はブースで！育成_ケーススタディ（2/2）

Slide 35

Slide 35 text

35 取り組みの実例ご紹介魅力的品質向上組織・人材育成業務改善・効率化

Slide 36

Slide 36 text

業務改善・効率化の事例① 36 ● 研究概要 ○ テスト自動化により作業の効率化・品質の安定化を図る取り組み ● 参加会社 ○ KLab、グリー ● 背景 ○ 業務の生産性向上や品質の安定化を目的として、繰り返しの作業を手作業から置き換えたいと考えて実施テスト自動化（1/5）

Slide 37

Slide 37 text

業務改善・効率化の事例① 37 ● 取り組み内容 ○ Airtestを用いたテストの自動化 ■ 編成画面でのキャラクター入れ替えによる組み合わせ自動テストの導入 ■ 画像キャプチャ取得の自動化による多言語テストの効率化 ● 得た学び ○ Airtestを用いた自動化実装技術の習得 ○ 効率化による作業工数の削減テスト自動化（2/5）

Slide 38

Slide 38 text

Airtestとは 38 ● NetEase社が提供している画像認識によるUIテストツール https://airtest.netease.com/  ● モバイルアプリやPCゲームの自動テストをサポート（Android/iOS/Windows/Webに対応） ● Pythonベースのスクリプト言語でテストケースを記述テスト自動化（3/5）

Slide 39

Slide 39 text

業務改善・効率化の事例① 39 ● 取り組み内容 ○ Airtestを用いたテストの自動化 ■ 編成画面でのキャラクター入れ替えによる組み合わせ自動テストの導入 ■ 画像キャプチャ取得の自動化による多言語テストの効率化 ● 得た学び ○ Airtestを用いた自動化実装技術の習得 ○ 効率化による作業工数の削減テスト自動化（4/5）

Slide 40

Slide 40 text

業務改善・効率化の事例① 40 ● Airtest導入イメージ（※実際の研究タイトルとは異なります） Airtest等を用いたテスト自動化の話については、TrackBで17:15‐17:40に講演予定の「実機ビルドのエラーによる検証ブロッカーを０に！ヘブンバーンズレッドのスモークテスト自動化の取り組み」をご覧ください！テスト自動化（5/5）

Slide 41

Slide 41 text

業務改善・効率化の事例② 41 ● 研究概要 ○ AppleのPF審査を通過するために必要なQA観点をまとめてリジェクトリスクを低減する取り組み ● 参加会社 ○ グリー、サイバード、ProVision ● 背景 ○ AppleのPF審査が通らない、ストアからアプリが削除されてしまうなど、追加作業や手戻りが発生しないようにQA観点でできることを模索リジェクトリスク低減（1/2）

Slide 42

Slide 42 text

業務改善・効率化の事例② 42 ● 取り組み内容 ○ リジェクトリスク対策 ■ QA観点でPFガイドラインに抵触しないかを確認するためのチェックリストの作成 ■ チェックリストを使用し、PF審査を想定した新規モバイルゲームの事前チェック ● 得た学び ○ 事前チェックでリスクを検知、申請前に対応を入れリジェクトを抑制 ○ QAで担保しづらい範囲に対してアプローチすることができたリジェクトリスク低減（2/2）

Slide 43

Slide 43 text

まとめ 43 ● 各社と協力して研究をおこない、その中でナレッジの共有などを進めることができた ● 研究結果を自社の業務などにも反映することができた ● 協力して研究を進行することで関係性が深まり、研究関連/その他のことについても相談しやすくなった

Slide 44

Slide 44 text

まとめ 44 ● 研究会でおこなった取り組みについて、ゲームQA業界に向けて発信することができた

Slide 45

Slide 45 text

今後の展望 45 ● 研究会の規模拡大 ○ 今より多くの方が参加し、情報や技術を得てスキルアップをおこなえる機会としていく ● 技術発信の更なる機会創出 ○ 業界全体の技術水準を高めるための発信機会を増やす ○ より大規模な発信の場を本研究会主導で創出していくゲームQA業界活性化により大きく貢献する会へ

Slide 46

Slide 46 text

● ご興味のある方はQAブースにてお気軽にお声がけください ● Webでご覧の方は以下QRコードの宛先までご連絡ください ● 聴講からの参加も可能となっております！ 46 QA研究会に参加してみませんか？おしらせ