ユーザー目線での課題早期発見！ユーザーの声はヒットへの第一歩

GREE Tech Conference 2020 で発表された資料です。
https://techcon.gree.jp/2020/session/ShortSession-4

Transcript

1. グリー株式会社　Customer & Product Satisfaction部　QAシニアマネージャー　堀米　賢 リリース前に隠れた課題を検知！ モバイルゲームのユーザーテスト検 討事例 グリー株式会社　Customer & Product Satisfaction部　QAマネージャー　国分　泰徳
2. Copyright © GREE, Inc. All Rights Reserved. 写真
 講演者プロフィール 
 氏名と所属
 国分 泰徳(こくぶ やすのり)
 グリー株式会社
 Customer & Product Satisfaction部
 PKL QAチーム マネージャー
 主な仕事内容
 略歴
 ポケラボ社が提供しているタイトルのQA統括。障害 削減、コスト最適化、魅力的品質の向上。
 2013年　株式会社ポケラボに入社。2019年グリー株式会社に転 籍。シノアリスなど、複数タイトルのQAを担当。
 現在はポケラボタイトルの品質管理業務全般を統括。
 2
3. Copyright © GREE, Inc. All Rights Reserved. 講演者プロフィール 
 氏名と所属
 堀米 賢(ほりごめ さとし) グリー株式会社
 Customer & Product Satisfaction部
 QAグループ シニアマネージャー
 主な仕事内容
 略歴
 障害削減、QAコスト最適化の推進
 リスクマネジメント、プロダクト品質向上提案
 QAチーム技術向上の推進　など
 組み込み系ソフトウェアのテスト技術者を経てグリーに入社
 ベンダー連携や、テスト内容の改善、
 メンバーの技術向上に向けた勉強会開催など幅広く活動中
 3
4. Copyright © GREE, Inc. All Rights Reserved. • 導入背景と手法説明
 • 導入背景
 • ユーザーテストの手法
 • モバイルゲームへの適用
 • 導入事例紹介
 事例①シノアリス
 事例②シンフォギアXD
 • 最後に
 • 質疑応答
 アジェンダ
 4
5. Copyright © GREE, Inc. All Rights Reserved. 本講演の対象タイトル
 © 2017-2020 Pokelabo Inc./SQUARE ENIX CO., LTD. All Rights Reserved.
 ©PS ©PSG ©PSGX ©PSAXZ ©PSXV ©BUSHI ©P
 5
6. Copyright © GREE, Inc. All Rights Reserved. ユーザーテストとは
 テスター
 プレイ
 課題抽 出
 改善
 第三者が実施することによる客観性、 
 信頼性の向上 ユーザー目線での評価、課題抽出 
 魅力的品質の向上
 6
7. Copyright © GREE, Inc. All Rights Reserved. やってみて
 2タイトルとも3周年を迎え、多くのお客さまに支持いただい ている。その成功の要因の一つとして、ユーザーテストが 寄与している。
 今回は要因となった弊社の手法をご紹介。
 
 © 2017-2020 Pokelabo Inc./SQUARE ENIX CO., LTD. All Rights Reserved.
 ©PS ©PSG ©PSGX ©PSAXZ ©PSXV ©BUSHI ©P
 7
8. Copyright © GREE, Inc. All Rights Reserved. 導入背景と手法説明
 8
9. Copyright © GREE, Inc. All Rights Reserved. 導入背景(1/2)
 モバイルゲーム開発における課題
 ①
 トップセールスの
 固定化
 ②
 高品質なゲームの
 リリース
 継続的にプレイしているゲームが競合とな り、入れ替えを狙う必要がある
 国内外から高品質なゲームが続々リリース されており、取捨選択の判断が早い
 すでにプレイしているヒットタイトルよりもニーズを満たし、国内外 の強力な競合よりも魅力的であることが必要
 9
10. Copyright © GREE, Inc. All Rights Reserved. 導入背景(2/2)
 リリース前に反映させることで
 離脱リスクを軽減
 ターゲットとなるユーザーの市場の声を
 アンケート形式で聴き、課題を抽出
 満足度を高める
 10
11. Copyright © GREE, Inc. All Rights Reserved. ユーザーテストの手法
 STEP1
 STEP2
 STEP3
 STEP4
 STEP5
 企画
 設計
 実行
 分析
 報告
 ・ターゲット層
 ・スケジュール
 ・対象機能
 ・アンケート項目 
 
 ・実行時のフォ ロー
 ・質問対応
 
 ・ローデータ分析 
 ・定性コメント
 ・定量
 
 ・課題FB
 ・提案
 
 Point① モバイルゲーム市場にあわせたターゲット設定
 Point② モバイルゲーム独自の観点追加
 Point③ 事前期待値の数値化
 11
12. Copyright © GREE, Inc. All Rights Reserved. モバイルゲームへの適用(1/3)
 課金ユーザー層
 IPタイトル作品
 への親愛度
 Point① モバイルゲーム市場にあわせたターゲット設定
 ゲームプレイ層
 既 存 タイトルのヘビーユーザー、ミドルユーザー、ライトユー ザーの意見を取り入れることにより、各層の課題を抽出する 
 基本無料のモバイルゲームのマネタイズの核 
 課金ユーザーは変わらず課金してくれるか、無課金ユーザーも 未来の課金ユーザーになってくれるかどうか 
 IPの魅力をゲームで表現できているかどうか 
 12
13. Copyright © GREE, Inc. All Rights Reserved. モバイルゲームへの適用(2/3)
 課金意向
 Point② モバイルゲーム独自の観点追加
 標準偏差：要素のばらつき度合 
 観点
 確認内容
 継続意向
 ・見た目（キャラクター）による課金意 欲
 ・性能、強さ（ゲームの優位性）によ る課金意欲
 ・ゲーム内の訴求による課金意欲 
 ・課金する/しない定性コメント 
 ・翌日以降プレイ継続意欲 
 ・チュートリアル突破後のプレイ継続 意欲
 ・面白さによる継続意欲 
 ・継続する/しない定性コメント 
 分析手法
 相関係数：他要素との相関 
 13
14. Copyright © GREE, Inc. All Rights Reserved. モバイルゲームへの適用(3/3)
 期待値と実体験の差をなくし、初期離脱リスク軽減につなげる
 Point③ 事前期待値の数値化
 　　事前期待評価 
 　　チュートリアル 
 　　　　総合評価 
 プレイ前
 チュートリアルプレイ直後 
 プレイ後
 X.X X.X X.X © 2017-2020 Pokelabo Inc./SQUARE ENIX CO., LTD. All Rights Reserved.
 ©PS ©PSG ©PSGX ©PSAXZ ©PSXV ©BUSHI ©P
 14
15. Copyright © GREE, Inc. All Rights Reserved. 導入事例紹介
 15
16. Copyright © GREE, Inc. All Rights Reserved. Point② モバイルゲーム独自の観点追加
 Point③ 事前期待値の数値化
 16
17. Copyright © GREE, Inc. All Rights Reserved. 導入事例紹介_事例①
 カテゴリ
 5段階
 対課金
 対継続
 クエスト
 2.9
 0.09
 0.17
 GvG
 2.6
 0.30
 0.52
 バトル_UI・UX(操作感・テンポ) 
 2.7
 0.50
 0.40
 ゲーム全体_UI・UX(操作感・テンポ) 
 3.0
 0.58
 0.37
 ゲームバランス 
 3.1
 0.35
 0.63
 定性
 定量
 ゲームコアのウェイト
 時間の調整による
 快適性の向上
 課金/継続意向と
 強い相関かつ低評価の箇 所を定量結果で抽出
 定性コメントで
 課題を言語化
 © 2017-2020 Pokelabo Inc./SQUARE ENIX CO., LTD. All Rights Reserved.
 17
18. Copyright © GREE, Inc. All Rights Reserved. 導入事例紹介_事例②
 継続意向要素 ネガ ポジ 合計 割合 キャラクターデザイン
 0
 11
 11
 28%
 ストーリー・世界観
 0
 10
 10
 26%
 バトル
 4
 2
 6
 15%
 操作感・テンポ
 4
 1
 5
 13%
 定性
 定量
 継続意向として
 ポジティブな意見を
 定量結果で抽出
 強みを明確にすることで開 発チームの戦略に
 活かす
 © 2017-2020 Pokelabo Inc./SQUARE ENIX CO., LTD. All Rights Reserved.
 18
19. Copyright © GREE, Inc. All Rights Reserved. Point② モバイルゲーム独自の観点追加
 Point③ 事前期待値の数値化
 19
20. Copyright © GREE, Inc. All Rights Reserved. 導入事例紹介_事例③
 事前期待
 全体評価
 4.2
 
 事前期待
 全体評価
 3.7
 
 ▪ヨコオタロウ氏作品のプレイあり 
 ▪ヨコオタロウ氏作品のプレイなし 
 ファン層の期待値を数値化
 世界観やデザインへの期待値が高いと判断し、
 世界観をより重視した演出を入れた方が良いとフィードバック
 0.4Ptダウン
 1.1Ptダウン
 3.3
 3.1
 © 2017-2020 Pokelabo Inc./SQUARE ENIX CO., LTD. All Rights Reserved.
 20
21. Copyright © GREE, Inc. All Rights Reserved. 導入事例紹介_事例④
 ポ ジ ティ ブ
 • 原作を再現している 
 • 懐かしい
 • 原作ストーリー以外が楽しみ 
 ネ ガ ティ ブ
 • ストーリーパートが長い 
 • 良くも悪くもアニメ通り 
 定性
 定量
 数値上は原作再現できて いると見られたが
 定性コメントから
 隠れた課題を検知
 ゲームオリジナル
 ストーリー 3.5期実装
 
 事前期待
 全体評価
 3.9
 3.6
 ファン層(アニメ3期まで視聴済み) 
 ©PS ©PSG ©PSGX ©PSAXZ ©PSXV ©BUSHI ©P
 21
22. Copyright © GREE, Inc. All Rights Reserved. 最後に
 22
23. Copyright © GREE, Inc. All Rights Reserved. 結果
 2タイトルとも3周年を迎え、多くのお客さまに支持いただい ている。その成功の要因の一つとして、ユーザーテストが 寄与している。
 
 
 © 2017-2020 Pokelabo Inc./SQUARE ENIX CO., LTD. All Rights Reserved.
 ©PS ©PSG ©PSGX ©PSAXZ ©PSXV ©BUSHI ©P
 23
24. Copyright © GREE, Inc. All Rights Reserved. 最後に
 QAはユーザーテスト実施の運営、レポートの作成
 会社全体で前向きに取り組んでいる
 開発チームから実施希望が出る環境
 今後は成果を可視化して導入を推進していきたい
 手法を導入し効果を最大限発揮するために 
 24
25. Copyright © GREE, Inc. All Rights Reserved. 25