ライブサービスゲームQAのパフォーマンス検証による品質改善の取り組み

CEDEC2025で発表された資料です。
https://cedec.cesa.or.jp/2025/timetable/detail/s67af15a306180/

Transcript

1. ライブサービスゲームQAのパフォーマン ス検証による品質改善の取り組み 小野 粋哉 勅使川原 大輔 2025.07.24 株式会社WFS Customer & Product Satisfaction部 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
2. 講演者プロフィール 2 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS ▪ 担当業務 複数のWebゲームやライブサービスゲームのテスト管理や品 質改善活動に従事 ▪経歴 2017年 グリー（現：グリーホールディングス）入社 2022年よりWFSタイトルのQAに従事 株式会社WFS Customer & Product Satisfaction部 QAグループ 小野 粋哉 ▪担当業務 ライブサービスゲームのテスト管理や効率化、育成 ▪経歴 2016年 グリー（現：グリーホールディングス）入社 2021年よりWFSタイトルのQAに従事 ▪執筆 『ゼロからはじめるゲームテスト ―壁抜けしたら無限ガチャで最強モ ードな件？』, 2023年 共著 株式会社WFS Customer & Product Satisfaction部 QAグループ 勅使川原 大輔
3. 本セッションの概要 3 本セッションのテーマ WFSタイトルで発生したパフォーマンスの課題に 対する、QAとしての取り組み内容を紹介します ポイント ▪ パフォーマンスの事前検知による品質向上 ▪ 上記に加えて事後検証による迅速な対応 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
4. 目次 • 背景 / 導入 • パフォーマンス検証 ◦ 事前 検知 ◦ 事後 検知 • まとめ 4 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
5. 目次 • 背景 / 導入 • パフォーマンス検証 ◦ 事前 検知 ◦ 事後 検知 • まとめ 5 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
6. 背景 6 パフォーマンスに関する複数の課題が発生 特定箇所のクラッシュ ▪ バトル画面での複数回の ▪ クラッシュ ▪ 長時間プレイすること によるカクツキ ▪ 画面間の長い遷移時間 スムーズでない動作 デグレード ▪追加アップデート時に 既存コンテンツの パフォーマンスが低下 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
7. 背景 7 パフォーマンス悪化による影響 • プレイヤー離脱率の上昇 • 評判の低下 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
8. 背景 8 パフォーマンス悪化による影響 • プレイヤー離脱率の上昇 • 評判の低下 お客様にサービスを長期間提供できないリスク ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
9. パフォーマンス検証体制について パフォーマンス課題に対する2つの検証体制を運用 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
10. パフォーマンス検証体制について 10 パフォーマンス課題に対する2つの検証体制を運用 ▪ 複数の計測項目を設定 ▪ 定期的にパフォーマンス ▪ の計測を行い品質状況を ▪ 可視化 定期的なパフォーマンス 計測による事前検知 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
11. パフォーマンス検証体制について 11 パフォーマンス課題に対する2つの検証体制を運用 ▪ 複数の計測項目を設定 ▪ 定期的にパフォーマンス ▪ の計測を行い品質状況を ▪ 可視化 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ▪ リリース後にパフォーマ ▪ ンス状況を監視する体制 ▪ を構築 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
12. パフォーマンス検証体制について 12 パフォーマンス課題に対する2つの検証体制を運用 ▪ 複数の計測項目を設定 ▪ 定期的にパフォーマンス ▪ の計測を行い品質状況を ▪ 可視化 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ▪ リリース後にパフォーマ ▪ ンス状況を監視する体制 ▪ を構築 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
13. 目次 • 背景 / 導入 • パフォーマンス検証 ◦ 事前 検知 ◦ 事後 検知 • まとめ 13 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
14. パフォーマンス検証の事例（事前検知） 14 事例1 対象タイトル ヘブンバーンズレッド 対応概要 定期的なパフォーマンス計測による事前検知 対応内容 ▪ アップデートによりアプリのパフォーマンスが ▪ 悪化していることをテスト段階で検知 ▪ 計測結果の詳細な分析により改善を実施 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
15. パフォーマンス検証の事例（事前検知） 15 計測結果の集計 • 端末 / 測定シーン / Verごとに測定値を集計 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
16. パフォーマンス検証の事例（事前検知） 16 計測結果の可視化 • 集計した測定値を分析しやすいようグラフ化 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
17. パフォーマンス検証の事例（事前検知） 17 問題の可視化 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
18. パフォーマンス検証の事例（事前検知） 18 問題の可視化 複数の端末で ロード時間が悪化 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
19. パフォーマンス検証の事例（事前検知） 19 検知した課題例 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
20. パフォーマンス検証の事例（事前検知） 20 検知した課題例 • バトルで徐々にメモリ使用量が増加 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
21. パフォーマンス検証の事例（事前検知） 21 検知した課題例 • バトルで徐々にメモリ使用量が増加 • 特定キャラクターのスキルのロード時間が長い ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
22. パフォーマンス検証の事例（事前検知） 22 検知した課題例 • バトルで徐々にメモリ使用量が増加 • 特定キャラクターのスキルのロード時間が長い • 巨大ボスの演出が重くてクラッシュ ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
23. パフォーマンス検証の事例（事前検知） 23 検知した課題例 • バトルで徐々にメモリ使用量が増加 • 特定キャラクターのスキルのロード時間が長い • 巨大ボスの演出が重くてクラッシュ 開発チームの対応優先度が 明確に上がる ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
24. パフォーマンス検証の事例（事前検知） 24 バトル画面でのパフォーマンス向上に貢献 改善前 改善後 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
25. パフォーマンス検証の事例（事前検知） 25 バトル画面でのパフォーマンス向上に貢献 改善前 改善後 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
26. 事前検知のしくみ 26 測定項目 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
27. 事前検知のしくみ 27 測定項目 ▪ クラッシュ回数 ▪ 進行停止回数 ▪ アプリ起動/ロード時間 ▪ 端末の発熱量 ▪ バッテリー消費 ▪ アプリ容量 社内で計測方法を策定
28. 事前検知のしくみ 28 測定項目 ▪ クラッシュ回数 ▪ 進行停止回数 ▪ アプリ起動/ロード時間 ▪ 端末の発熱量 ▪ バッテリー消費 ▪ アプリ容量 ▪ FPS ▪ CPU使用率 ▪ GPU使用率 ▪ RAM使用率 ▪ヒープ ▪ガベージコレクション 社内で計測方法を策定 ツールを利用して測定 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
29. 29 計測データの取得 WFS内製ツール • ログを取得 • Slackへ送信 • スプレッドシート化 Jenkins Bot メモリ情報などのログ CSVで送信 保存・グラフ化 スプレッドシート wfs-PerformanceTracker 事前検知のしくみ ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
30. 30 テスト自動化 Airtestスクリプト • 検証シーン毎に作成 • 動画を保存 • Performance Trackerへ送信 事前検知のしくみ Airtest IDE Performance Tracker テスト結果を送信 サーバ スクリプトで操作 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
31. 目次 • 背景 / 導入 • パフォーマンス検証 ◦ 事前 検知 ◦ 事後 検知 • まとめ 31 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
32. 32 パフォーマンス課題に対する2つの検証体制を運用 ▪ 複数の計測項目を設定 ▪ 定期的にパフォーマンス ▪ の計測を行い品質状況を ▪ 可視化 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ▪ リリース後にパフォーマ ▪ ンス状況を監視する体制 ▪ を構築 パフォーマンス検証の事例（事後検知） ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
33. 33 パフォーマンス課題に対する2つの検証体制を運用 ▪ 複数の計測項目を設定 ▪ 定期的にパフォーマンス ▪ の計測を行い品質状況を ▪ 可視化 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ▪ リリース後にパフォーマ ▪ ンス状況を監視する体制 ▪ を構築 パフォーマンス検証の事例（事後検知） ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
34. パフォーマンス検証の事例（事後検知） 34 事例2 対象タイトル WFS社運用タイトル 対応概要 CSチームと連携した迅速な事後検知 対応内容 ▪ SNSやお問い合わせ内容からバトルのクラッ ▪ シュ率が高いことを検知 ▪ 発生条件を整理し改善を実施 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
35. パフォーマンス検証の事例（事後検知） 35 クラッシュする条件の精査 • テスト環境：特定端末で発生 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
36. パフォーマンス検証の事例（事後検知） 36 クラッシュする条件の精査 • テスト環境：特定端末で発生 • テスト条件 ◦ バトルを連続で実施 ◦ バトルはオートで進行 ◦ 戦闘のパーティは固定（敵も固定） ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
37. パフォーマンス検証の事例（事後検知） 37 クラッシュする条件の精査 クラッシュ の条件を整理 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
38. パフォーマンス検証の事例（事後検知） 38 検証結果による課題の整理 • 類似した端末を用意 • 同様の環境を疑似的に作り再現 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
39. パフォーマンス検証の事例（事後検知） 39 検証結果による課題の整理 • 類似した端末を用意 • 同様の環境を疑似的に作り再現 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 開発チームの対応優先度が 明確に上がる
40. パフォーマンス検証の事例（事後検知） 40 バトルでのクラッシュ率改善に貢献 クラッシュ 回数の改善 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
41. 目次 • 背景 / 導入 • パフォーマンス検証 ◦ 事前 検知 ◦ 事後 検知 • まとめ 41 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
42. 42 パフォーマンス課題に対する2つの検証体制を運用 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ▪ 根本的な対策によりクラ ッシュ件数が90%減少 ▪ 導入タイトルでの パフォーマンス関連着信が 50%減少 まとめ ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
43. まとめ 43 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS わかやすいグラフを用意することで 開発チームの対応優先度は 明確にあがる
44. まとめ 44 今後の展望 • 事前検知率の向上 ◦ 端末、測定条件の網羅率を上げていく • テスト自動化の拡大 ◦ テスト結果判定などの自動化 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
45. ご清聴ありがとうございました ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
46. ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS
47. WFSセッション一覧 WFSはCEDEC 2025で全8セッション登壇いたします ©2024 Magica Quartet/Aniplex,Magia Exedra Project ©WFS ©WFS Developed by WRIGHT FLYER STUDIOS © VISUAL ARTS/Key 7/22 第4会場 13:40-14:40 レギュラーセッション LLM翻訳ツールの開発と 海外のお客様対応等への社内導入事例 郡司 匡弘 / 松井 望 / 小野 幸人 BP 7/23 第1会場 09:30-10:30 レギュラーセッション ヘブンバーンズレッドにおける、 世界観を活かしたミニゲーム企画の作り 方 菊岡 大夢 GD 7/23 第1会場 10:50-11:50 レギュラーセッション ヘブンバーンズレッドの レンダリングパイプライン刷新 野口 顕弘 ENG 7/23 第2会場 13:20-14:20 レギュラーセッション 「魔法少女まどか☆マギカ Magia Exedra」の グローバル展開を支える、開発チームと翻訳チームの 「意識しない協創」を実現するローカライズシステム 原田 大志 / 篠原 功 PRD 7/23 第2会場 13:20-14:20 レギュラーセッション 「魔法少女まどか☆マギカ Magia Exedra」 の必殺技演出を徹底解剖！ -キャラクターの魅力を最大限にファンに届けるためのこだわり- 新谷 雄輝 / 金子 俊太朗 / 佐々木 文哉 VA 7/24 第5会場 15:00-15:25 ショートセッション ライブサービスゲームQAのパフォーマ ンス検証による品質改善の取り組み 小野 粋哉 / 勅使川原 大輔 BP 7/24 第5会場 18:00-18:25 ショートセッション ヒューリスティック評価を用いた ゲームQA実践事例 山本 幸寛 PRD 7/24 第8会場 18:00-18:25 ショートセッション 「魔法少女まどか☆マギカ Magia Exedra」での負荷試験の実践と学び 悦田 潤哉 ENG