ライブサービスゲームQAのパフォーマン ス検証による品質改善の取り組み 小野 粋哉 勅使川原 大輔 2025.07.24 株式会社WFS Customer & Product Satisfaction部 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

講演者プロフィール 2 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS ■ 担当業務 複数のWebゲームやライブサービスゲームのテスト管理や品 質改善活動に従事 ■経歴 2017年 グリー（現：グリーホールディングス）入社 2022年よりWFSタイトルのQAに従事 株式会社WFS Customer & Product Satisfaction部 QAグループ 小野 粋哉 ■担当業務 ライブサービスゲームのテスト管理や効率化、育成 ■経歴 2016年 グリー（現：グリーホールディングス）入社 2021年よりWFSタイトルのQAに従事 ■執筆 『ゼロからはじめるゲームテスト ―壁抜けしたら無限ガチャで最強モ ードな件？』, 2023年 共著 株式会社WFS Customer & Product Satisfaction部 QAグループ 勅使川原 大輔 

本セッションの概要 3 本セッションのテーマ WFSタイトルで発生したパフォーマンスの課題に 対する、QAとしての取り組み内容を紹介します ポイント ■ パフォーマンスの事前検知による品質向上 ■ 上記に加えて事後検証による迅速な対応 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

目次 ● 背景 / 導入 ● パフォーマンス検証 ○ 事前 検知 ○ 事後 検知 ● まとめ 4 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

目次 ● 背景 / 導入 ● パフォーマンス検証 ○ 事前 検知 ○ 事後 検知 ● まとめ 5 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

背景 6 パフォーマンスに関する複数の課題が発生 特定箇所のクラッシュ ■ バトル画面での複数回の ■ クラッシュ ■ 長時間プレイすること によるカクツキ ■ 画面間の長い遷移時間 スムーズでない動作 デグレード ■追加アップデート時に 既存コンテンツの パフォーマンスが低下 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

背景 7 パフォーマンス悪化による影響 ● プレイヤー離脱率の上昇 ● 評判の低下 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

背景 8 パフォーマンス悪化による影響 ● プレイヤー離脱率の上昇 ● 評判の低下 お客様にサービスを長期間提供できないリスク ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証体制について パフォーマンス課題に対する2つの検証体制を運用 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証体制について 10 パフォーマンス課題に対する2つの検証体制を運用 ■ 複数の計測項目を設定 ■ 定期的にパフォーマンス ■ の計測を行い品質状況を ■ 可視化 定期的なパフォーマンス 計測による事前検知 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証体制について 11 パフォーマンス課題に対する2つの検証体制を運用 ■ 複数の計測項目を設定 ■ 定期的にパフォーマンス ■ の計測を行い品質状況を ■ 可視化 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ■ リリース後にパフォーマ ■ ンス状況を監視する体制 ■ を構築 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証体制について 12 パフォーマンス課題に対する2つの検証体制を運用 ■ 複数の計測項目を設定 ■ 定期的にパフォーマンス ■ の計測を行い品質状況を ■ 可視化 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ■ リリース後にパフォーマ ■ ンス状況を監視する体制 ■ を構築 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

目次 ● 背景 / 導入 ● パフォーマンス検証 ○ 事前 検知 ○ 事後 検知 ● まとめ 13 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 14 事例1 対象タイトル ヘブンバーンズレッド 対応概要 定期的なパフォーマンス計測による事前検知 対応内容 ■ アップデートによりアプリのパフォーマンスが ■ 悪化していることをテスト段階で検知 ■ 計測結果の詳細な分析により改善を実施 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 15 計測結果の集計 ● 端末 / 測定シーン / Verごとに測定値を集計 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 16 計測結果の可視化 ● 集計した測定値を分析しやすいようグラフ化 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 17 問題の可視化 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 18 問題の可視化 複数の端末で ロード時間が悪化 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 19 検知した課題例 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 20 検知した課題例 ● バトルで徐々にメモリ使用量が増加 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 21 検知した課題例 ● バトルで徐々にメモリ使用量が増加 ● 特定キャラクターのスキルのロード時間が長い ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 22 検知した課題例 ● バトルで徐々にメモリ使用量が増加 ● 特定キャラクターのスキルのロード時間が長い ● 巨大ボスの演出が重くてクラッシュ ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 23 検知した課題例 ● バトルで徐々にメモリ使用量が増加 ● 特定キャラクターのスキルのロード時間が長い ● 巨大ボスの演出が重くてクラッシュ 開発チームの対応優先度が 明確に上がる ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 24 バトル画面でのパフォーマンス向上に貢献 改善前 改善後 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事前検知） 25 バトル画面でのパフォーマンス向上に貢献 改善前 改善後 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

事前検知のしくみ 26 測定項目 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

事前検知のしくみ 27 測定項目 ■ クラッシュ回数 ■ 進行停止回数 ■ アプリ起動/ロード時間 ■ 端末の発熱量 ■ バッテリー消費 ■ アプリ容量 社内で計測方法を策定 

事前検知のしくみ 28 測定項目 ■ クラッシュ回数 ■ 進行停止回数 ■ アプリ起動/ロード時間 ■ 端末の発熱量 ■ バッテリー消費 ■ アプリ容量 ■ FPS ■ CPU使用率 ■ GPU使用率 ■ RAM使用率 ■ヒープ ■ガベージコレクション 社内で計測方法を策定 ツールを利用して測定 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

29 計測データの取得 WFS内製ツール ● ログを取得 ● Slackへ送信 ● スプレッドシート化 Jenkins Bot メモリ情報などのログ CSVで送信 保存・グラフ化 スプレッドシート wfs-PerformanceTracker 事前検知のしくみ ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

30 テスト自動化 Airtestスクリプト ● 検証シーン毎に作成 ● 動画を保存 ● Performance Trackerへ送信 事前検知のしくみ Airtest IDE Performance Tracker テスト結果を送信 サーバ スクリプトで操作 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

目次 ● 背景 / 導入 ● パフォーマンス検証 ○ 事前 検知 ○ 事後 検知 ● まとめ 31 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

32 パフォーマンス課題に対する2つの検証体制を運用 ■ 複数の計測項目を設定 ■ 定期的にパフォーマンス ■ の計測を行い品質状況を ■ 可視化 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ■ リリース後にパフォーマ ■ ンス状況を監視する体制 ■ を構築 パフォーマンス検証の事例（事後検知） ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

33 パフォーマンス課題に対する2つの検証体制を運用 ■ 複数の計測項目を設定 ■ 定期的にパフォーマンス ■ の計測を行い品質状況を ■ 可視化 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ■ リリース後にパフォーマ ■ ンス状況を監視する体制 ■ を構築 パフォーマンス検証の事例（事後検知） ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事後検知） 34 事例2 対象タイトル WFS社運用タイトル 対応概要 CSチームと連携した迅速な事後検知 対応内容 ■ SNSやお問い合わせ内容からバトルのクラッ ■ シュ率が高いことを検知 ■ 発生条件を整理し改善を実施 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事後検知） 35 クラッシュする条件の精査 ● テスト環境：特定端末で発生 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事後検知） 36 クラッシュする条件の精査 ● テスト環境：特定端末で発生 ● テスト条件 ○ バトルを連続で実施 ○ バトルはオートで進行 ○ 戦闘のパーティは固定（敵も固定） ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事後検知） 37 クラッシュする条件の精査 クラッシュ の条件を整理 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事後検知） 38 検証結果による課題の整理 ● 類似した端末を用意 ● 同様の環境を疑似的に作り再現 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

パフォーマンス検証の事例（事後検知） 39 検証結果による課題の整理 ● 類似した端末を用意 ● 同様の環境を疑似的に作り再現 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 開発チームの対応優先度が 明確に上がる 

パフォーマンス検証の事例（事後検知） 40 バトルでのクラッシュ率改善に貢献 クラッシュ 回数の改善 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

目次 ● 背景 / 導入 ● パフォーマンス検証 ○ 事前 検知 ○ 事後 検知 ● まとめ 41 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

42 パフォーマンス課題に対する2つの検証体制を運用 定期的なパフォーマンス 計測による事前検知 CSチームと連携した 迅速な事後検知 ■ 根本的な対策によりクラ ッシュ件数が90%減少 ■ 導入タイトルでの パフォーマンス関連着信が 50%減少 まとめ ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

まとめ 43 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS わかやすいグラフを用意することで 開発チームの対応優先度は 明確にあがる 

まとめ 44 今後の展望 ● 事前検知率の向上 ○ 端末、測定条件の網羅率を上げていく ● テスト自動化の拡大 ○ テスト結果判定などの自動化 ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

ご清聴ありがとうございました ©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

©WFS Developed by WRIGHT FLYER STUDIOS ©VISUAL ARTS/Key ©WFS 

WFSセッション一覧 WFSはCEDEC 2025で全8セッション登壇いたします ©2024 Magica Quartet/Aniplex,Magia Exedra Project ©WFS ©WFS Developed by WRIGHT FLYER STUDIOS © VISUAL ARTS/Key 7/22 第4会場 13:40-14:40 レギュラーセッション LLM翻訳ツールの開発と 海外のお客様対応等への社内導入事例 郡司 匡弘 / 松井 望 / 小野 幸人 BP 7/23 第1会場 09:30-10:30 レギュラーセッション ヘブンバーンズレッドにおける、 世界観を活かしたミニゲーム企画の作り 方 菊岡 大夢 GD 7/23 第1会場 10:50-11:50 レギュラーセッション ヘブンバーンズレッドの レンダリングパイプライン刷新 野口 顕弘 ENG 7/23 第2会場 13:20-14:20 レギュラーセッション 「魔法少女まどか☆マギカ Magia Exedra」の グローバル展開を支える、開発チームと翻訳チームの 「意識しない協創」を実現するローカライズシステム 原田 大志 / 篠原 功 PRD 7/23 第2会場 13:20-14:20 レギュラーセッション 「魔法少女まどか☆マギカ Magia Exedra」 の必殺技演出を徹底解剖！ -キャラクターの魅力を最大限にファンに届けるためのこだわり- 新谷 雄輝 / 金子 俊太朗 / 佐々木 文哉 VA 7/24 第5会場 15:00-15:25 ショートセッション ライブサービスゲームQAのパフォーマ ンス検証による品質改善の取り組み 小野 粋哉 / 勅使川原 大輔 BP 7/24 第5会場 18:00-18:25 ショートセッション ヒューリスティック評価を用いた ゲームQA実践事例 山本 幸寛 PRD 7/24 第8会場 18:00-18:25 ショートセッション 「魔法少女まどか☆マギカ Magia Exedra」での負荷試験の実践と学び 悦田 潤哉 ENG