ヒューリスティック評価を用いたゲームQA実践事例

CEDEC2025で発表された資料です。
https://cedec.cesa.or.jp/2025/timetable/detail/s67af0502a7055/

Transcript

1. ヒューリスティック評価を 用いたゲームQA実践事例 山本 幸寛 / yukihiro yamamoto 2025.07.24 株式会社WFS ©WFS 1
2. 株式会社WFS Customer & Product Satisfaction部 QAグループ WFS ＆ Linguistic QAチーム 山本 幸寛 / yukihiro yamamoto はじめに ©WFS 2 略歴 家庭用ゲームやモバイルゲームのQA業務を経験 後、現在は株式会社WFSにて長期運用タイトル のQA業務を担当 合わせて上流工程からより品質を高めるためユ ーザーテストに関連する業務も担当
3. • ヒューリスティック評価とは？ • なぜヒューリスティック評価なのか • ヒューリスティック評価について • 導入手順 • 導入事例紹介 • 導入して見えたこと • まとめ アジェンダ ©WFS 3
4. ヒューリスティック評価とは？ ©WFS 4
5. なぜヒューリスティック評価なのか ©WFS 5
6. なぜヒューリスティック評価なのか ©WFS 6 市場の声 ライブサービスゲーム開発における課題 UI UX ✓ 『不具合はないのに使いづらい』 ✓ 慢性的にユーザー満足度が低下している状況 ✓ 普段のテストだけでは検知できない ✓ 新機能追加時のユーザーからのFBが低評価 ✓ 「UIが使いづらい」という評価が多い ✓ 仕様通りではあるものの、ユーザー満足度は低下
7. なぜヒューリスティック評価なのか ©WFS 7 市場の声 UI UX 仕様 当たり前品質 魅力的品質 QA活動 不具合ではない「不快さ」を拾う 仕組みが必要
8. なぜヒューリスティック評価なのか ©WFS 8 市場の声 UI UX 仕様 当たり前品質 魅力的品質 QA活動 そこで出会ったのが 『ヒューリスティック評価』
9. なぜヒューリスティック評価なのか ©WFS 9 動機 JSTQB カンファレンスにて『Erik Van Veenendaa 氏』の講演を拝聴したことがきっかけ 期待される効果 「UI課題に対して有効」 手法の特徴 ・テスト設計から実施までが低コスト ・プロトタイプから実施が可能 ・探索的テストと組み合わせが可能 初期コストが低く、QA対応にも親和性が高かったため 「まず実施してみる」に適していた
10. ヒューリスティック評価について ©WFS 10
11. ヒューリスティック評価について ©WFS ヒューリスティック評価 「Jakob Nielsen 博士」が提唱する「ユーザビリティ10原則」を元に、 UI/UXの専門家が経験則でユーザビリティを定性的に評価 11 42% ソフトウェアにおけるユーザー インターフェースの平均コード 海外調査によると、UIはコード ベースの大部分を占めます。こ この課題を早期に発見すること が、効率化の鍵となります。 開発の初期段階でUI・UXの潜在的な問題 を特定し改善に繋げることができれば、 UIが使いづらい違和感を事前に検知する だけでなく、プロダクト全体の品質向上 に繋げられると仮定
12. ヒューリスティック評価は ゲーム以外のソフトウェアで主に使用されている手法 ゲームに特化した内容で評価することで、 更に検知効率を上げたいと考え実施 ヒューリスティック評価について ©WFS プレイアビリティヒューリスティック 「Hannu Korhonen氏」が提唱する「プレイアビリティヒューリスティック」 （原則をよりゲームに特化させた内容）を元に定性的に評価 12
13. 導入手順 ©WFS 13
14. 導入手順 ©WFS 14 STEP 01 STEP 02 STEP 03 STEP 04 STEP 05 調整 チェックリス ト作成 メンバー選定 スケジュール 調整 報告
15. 導入手順 ©WFS 15 STEP 01 STEP 02 STEP 03 STEP 04 STEP 05 調整 チェックリス ト作成 メンバー選定 スケジュール 調整 報告 導入時に工夫したポイント
16. 導入時に工夫したポイント ©WFS Point① ユーザーテストの観点を追加 Point② 実施することを最優先 Point③ 開発早期に実施する 導入手順 16
17. 導入手順 ©WFS Point① ユーザーテストの観点を追加 17 STEP 02 チェックリスト 作成 ✓ 「ユーザビリティ10原則」を元に原則をブレイクダウン ✓ 具体的な質問や評価項目に落とし込む ✓ ライブサービスゲームのユーザーテスト実施時に利用し ている「継続意向」「課金意向」「満足度」の観点を追 加 よりライブサービスゲームに特化した内容に
18. ヒューリスティック評価のチェックリスト ユーザビリティ10原則に基づき作成 導入手順 ©WFS 18 【仕様】 ・お店で100円以上お買い物をするたびに1ポイント貯まるスタンプカード ・ポイントが一定ポイントを超えるたびに、おまけのアイテムがもらえる ・スタンプカードには有効期限がある ・スタンプカードは複数枚の所持が可能で、自身で破棄することもできる
19. プレイアビリティヒューリスティックのチェックリスト 原則に加え、継続・課金・満足度の視点を導入 導入手順 ©WFS 19
20. 導入手順 ©WFS Point② 実施することを最優先 20 ✓ UI/UXに関する知識が豊富なメンバー集めが課題 ✓ 「プロダクトのドメイン知識を持ったQAメンバー」 をアサイン まずはスタートさせるというのを最優先 STEP 03 メンバー選定
21. 導入手順 ©WFS Point③ 開発早期に実施する 21 ✓ 修正コストの低減や手戻り防止を実現が目的 ✓ なるべく早期のタイミングで実施することを心がける ✓ テスト開始前の開発メンバー内での動作確認時に実施 ✓ またはα、βのユーザーテストを実施するタイミング で並行して実施 開発メンバー内での動作確認タイミングで実施 STEP 04 スケジュール 調整
22. 導入事例紹介 ©WFS 22
23. ヒューリスティック評価 運用中のライブサービスゲームの新規UIに対して評価した事例 13 〜 20件の課題を発見 導入事例紹介 ©WFS 合計実施時間：5 〜 6時間 チェックリスト作成：1 〜 2時間 実施：2名（2時間、2時間） 23 指摘事例 ・ポイント獲得画面に、次にもらえる アイテムや獲得可能リスト表示の追加 ・獲得可能なポイントがアイテムによ って傾斜があったため、ファーストビ ューで説明の追加
24. プレイアビリティヒューリスティック リリース前のモバイルタイトルに対して評価した事例 22 〜 27件の課題を発見 導入事例紹介 ©WFS 合計実施時間：6 〜 8時間 チェックリスト作成：1 〜 3時間 実施：2名（3時間、2時間） 24 指摘事例 ・バトル中にアイコン長押しすると、 現在のステータスを確認可能に ・画面内の閉じるボタンをタップする だけでなく、枠外タップで進行できる ように ・キャラの属性による違いがわかりに くかったため、チュートリアルで学習 機会の追加提案
25. 提案の有効性 ポイント獲得画面に、次にもらえるアイテムや獲得可能一覧の表示を追加 プロデューサーからも上記指摘が入り実際に修正された例 QA側でも同じ課題を検知できており、有効性を確認できた 導入事例紹介 ©WFS 25 ©︎WFS Developed by WRIGHT FLYER STUDIOS
26. 提案の有効性 ファーストビューでアイテム毎にポイント獲得効率の差を提示 ユーザーにとって必要な情報の改善提案を行えた事例 導入事例紹介 ©WFS 26 ©︎WFS Developed by WRIGHT FLYER STUDIOS
27. 導入して見えたこと ©WFS 27
28. 導入して見えたこと ©WFS 28 低コスト テストとの統合 競合比較が容易 提案の有効性
29. 導入して見えたこと ©WFS 29 低コスト テストとの統合 設計から実行まで5 〜 8時間と低コストで実施が可能 探索的テストに組み込むことが可能で教育コストも抑えられる
30. 導入して見えたこと ©WFS 30 提案の有効性 専門家でなくとも 複数の課題検知ができた 普段のテストでは検知できない ユーザビリティに関わる改善提案 を行うことができた
31. 導入して見えたこと ©WFS 31 競合比較が容易 課題：評価者の主観性 定性的な評価手法のため 評価者の主観によってしまう 対策：競合アプリとの比較 同じチェックリストを用いて 競合比較を行い 提案に説得力を持たせる
32. まとめ ©WFS 32
33. まとめ ©WFS 33 ヒューリスティック評価 / プレイアビリティヒューリスティック 課題 仕様通りだが「UIが使いづらい」という評価 対策 不具合ではないがユーザーにとって不快な部分を拾う 仕組みが必要 ユーザー満足度を上げるために
34. まとめ ©WFS 34 効果 ✓ 低コストで実施することができた ✓ 専門家でなくても複数の課題検知ができた ✓ 不具合ではないユーザー満足度向上につながる課 題が検知できた ✓ 評価者の主観によってしまうデメリットは、競合 比較を行い提案に説得力を持たせることが可能 専門家じゃなくても課題検知は可能 ゲームでもヒューリスティック評価のメリットが得られた
35. ユーザー満足度を高めるために Just Do It ! まとめ ©WFS 35
36. ご清聴ありがとうございました ©WFS 36
37. ©WFS 37