「ヘブンバーンズレッド」の大規模アップデートにおける国内及び翻訳QAの取り組み

GREE Tech Conference 2023で発表された資料です。
https://techcon.gree.jp/2023/session/TrackB-5

Transcript

1. 「ヘブンバーンズレッド」の 大規模アップデートにおける 国内及び翻訳QAの取り組み 株式会社ExPlay QAエンジニア 勅使川原 大輔　瀬谷 涼太
2. Agenda 1. 登壇者紹介 2. ヘブンバーンズレッドについて 3. チーム体制について 4. 翻訳QA（LQA）の取り組み 5. 国内QAの取り組み 2
3. 登壇者紹介 氏名 所属 勅使川原　大輔　(てしがわら　だいすけ) 株式会社ExPlay Customer & Product Satisfaction部 QAチーム 略歴
 2016年グリー株式会社に入社。 2021年から「ヘ ブンバーンズレッド」のテスト管理、チームマネジメ ント、品質改善活動に従事。 共著『ゼロからはじめるゲームテスト ―壁抜けし たら無限ガチャで最強モードな件？』が発売中。 氏名 所属
 瀬谷　涼太　(せや　りょうた) 株式会社ExPlay Customer & Product Satisfaction部 LQAチーム　 略歴
 2021年グリー株式会社に入社。 QAとして新規タイトルのリリースなどを経験し、現 在は「ヘブンバーンズレッド」の海外ローカライズ 版の翻訳QA(LQA)として従事。 3
4. ヘブンバーンズレッドについて ライトフライヤースタジオとKeyがおくるドラマチックRPG App Store, Google Play Store, Steamにて配信中 日本, 韓国, 台湾, 香港, マカオの5つの地域で世界同時運営
5. 2022年 2023年 ▪2月10日 サービス開始 メインストーリー 第三章リリース 韓国&繁体字圏 サービス開始 ヘブンバーンズレッドについて ▪8月10日 0.5周年 ▪2月10日 1周年 メインストーリー 第四章前編リリース ▪8月10日 1.5周年 メインストーリー 第四章後編リリース メインストーリー 断章リリース サブスクリプション サービス開始 新機能追加 ・異時層 ・限界突破の器 Angel Beats! コラボイベント 新機能追加 ・リズムゲーム ゲームバランスの 大規模再構築 新機能追加 ・ジオラマモード ・ホーム画面改修 5
6. 2022年 2023年 ▪2月10日 サービス開始 メインストーリー 第三章リリース 韓国&繁体字圏 サービス開始 ヘブンバーンズレッドについて ▪8月10日 0.5周年 ▪2月10日 1周年 メインストーリー 第四章前編リリース ▪8月10日 1.5周年 メインストーリー 第四章後編リリース メインストーリー 断章リリース サブスクリプション サービス開始 新機能追加 ・異時層 ・限界突破の器 Angel Beats! コラボイベント 新機能追加 ・リズムゲーム ゲームバランスの 大規模再構築 新機能追加 ・ジオラマモード ・ホーム画面改修 6
7. チーム体制について 国内QA （QA） 翻訳QA （LQA） 開発チーム 翻訳チーム 翻訳依頼等 情報連携等 検証依頼等 検証依頼等 7
8. チーム体制について • 連携部分 ◦ 運用スケジュール上の変更、仕様変更などの情報共有 ◦ テスト設計 ▪ 翻訳QAでは、新機能などのテストケースは国内QAで設計したものをベー スに調整・作成を行っている 国内QA （QA） 翻訳QA （LQA） データ、国内海外含め た機能検証等 海外言語の 翻訳テキスト全般 • 検証範囲 8
9. 国内1周年と海外版同時リリースにおける 翻訳QA（LQA）の対応 9
10. Agenda（翻訳QA） • セッション内容 ◦ 検証範囲の対応区分の切り分け ◦ 翻訳～検証終了までのスケジュールの懸念 ◦ リリース対象各国にあわせたニュアンス調整 ◦ まとめ 10
11. 検証範囲の対応区分切り分け① 11 非ネイティブテスター 日本人のテスター 各テスターの検証範囲の切り分けが必要 ネイティブテスター 言語理解のあるテスター
12. 検証範囲の対応区分切り分け① ▶シナリオテキスト ADVパートの話者名、会話テキスト etc… 12 ▶マスタテキスト スキル名、アイテム名 etc… 検証対象の切り分け
13. 検証範囲の対応区分切り分け② ▶実機検証 • 主な観点 ◦ 設定言語通りの表示か ◦ 表示崩れ、はみ出し　etc… 13 ▶テキスト検証 • 主な観点 ◦ 誤字脱字 ◦ 文章のニュアンス　etc… 検証方法の切り分け
14. 検証範囲の対応区分切り分け③ • 以下のプランで検証を実施 ◦ 検証の範囲と人材の区分と振り分けを行った（以下の図） ◦ 検証漏れを防ぐため画面ベースでなくマスタをベースとした検証を実施 • 結果 ◦ 効果的なアサインができ、翻訳品質向上に繋げることができた ◦ 検証対象の検知漏れを極力抑えることができた 14
15. 翻訳～検証終了までのスケジュールの懸念① 15 検証開始 終了 国内QA 国内 検証開始 終了 翻訳QA 海外 データ・ 機能実装 翻訳実装 目標：検証期間が国内実装と翻訳実装を同時ラ インで進行すること 懸念：スケジュール上無理なく進行可能か
16. 翻訳～検証終了までのスケジュールの懸念② 16 • 目標 ◦ 国内と並行して海外版対応が可能となること • 打ち手 ◦ 国内で検証が動くストーリーイベントで国内/海外同時ラインで翻訳～検証を 実行 ▪ 進行を阻害する要因の見える化を行った • 結果 ◦ 人員やビルドトラブルなどの環境に問題なないか等の見直しをすることができ た ▪ リリース後も国内と同時進行を実現できている
17. リリース対象各国にあわせたニュアンス調整① キャラクターの方言やネットスラングなど、 国内でしか伝わりにくいニュアンスに対する翻訳の課題について 17
18. リリース対象各国にあわせたニュアンス調整① 「はあ？　何やねん今川焼って。これは回転焼 きやろ。」 • 方言は設定資料通り • 「回転焼き」は「車輪餅（繁体字圏での呼 称）」 18 「要は、ぬるぽと言ったらガッですね。」 • 「87分不能再高了」 ◦ 繁体字圏で使用されているネットスラ ング 繁体字での翻訳例
19. リリース対象各国にあわせたニュアンス調整② 19 • 課題 ◦ 国内でしか伝わりにくいニュアンスに対する翻訳QA • 打ち手 ◦ 開発担当へ設定資料、用語集の共有を促す ▪ テスターへ資料集の早期展開 ◦ ストーリー理解のあるバイリンガル人材の確保 ▪ ストーリーを中心に、ニュアンスに違和感がないかのテストを実施 • 結果 ◦ 海外コミュニティでのシナリオの評価 ▪ 現地のお客様からみて違和感のない翻訳となった • 品質の向上に繋げられた
20. まとめ（翻訳QA） • プロダクトの実績 ◦ リリース遅延なく韓国、台湾、香港、マカオ地域でのリリースを実現できた ◦ 台湾・香港のApp Storeセールスランキングで1位を獲得 • 翻訳QAとして ◦ 言語追加など大規模な翻訳検証を実施するにあたり注意すべきこと ▪ プロダクトの性質や作業量などを把握し検証範囲を早期に定める • 検証範囲の対応優先度から人員の割り当てやスケジュールを組み 立てる ◦ 結果 ▪ 遅延なくリリースすることができ、重篤な障害を抑制できた 20
21. ゲームバランスの再構築に対するQA 21
22. Agenda（国内QA） • セッション内容 ◦ サマリ ◦ ゲームバランスの再構築とは ◦ 既存データを変更する時のテスト手法 ▪ 変更内容の一覧化とステータス管理 ▪ プルリクエスト単位で全チェック ▪ 変更差分の異常値チェック ▪ 指差し確認 ◦ 結果 ◦ まとめ 22
23. サマリ ゲームバランスの再構築に対するQA 既存データを変更する時に漏れないようにテストする手法の紹介 • 変更内容の一覧化とステータス管理 • プルリクエスト単位で全チェック • 変更差分の異常値チェック • 指差し確認 23
24. ゲームバランスの再構築 新しくヘブンバーンズレッドをはじめる方、なかなか進めない方、 一度ヘブンバーンズレッドから離れてしまった方のために ゲームバランスを再構築 24 • 複雑な進行 / 育成フローをシンプル化 • 時間のかかる要素 / ストレス要素の緩和 • サポート機能の充実
25. ゲームバランスの再構築 追加・変更量が多い 影響範囲も広い 25 アップデートの お知らせも長い！
26. ゲームバランスの再構築 テストする上での課題 • 変更されるデータが膨大 影響範囲が広範囲かつ複雑に関係しあっているため、 必要な変更やテストが漏れやすくなる • ゲームバランス変更のため、テストプレイと調整を繰り返す 調整期間が長期化&何度も変更され、変更内容の把握が難しくなる 26
27. 既存データを変更する時のテスト手法 4つの取り組み • 変更内容の一覧化とステータス管理 • プルリクエスト単位で全チェック • 変更差分の異常値チェック • 指差し確認 27
28. 追加日 カテゴリ 内容 詳細 優先度 担当者 ステータス QAステータス 6/26 機能 オートバトル改善 ~~~ 中 Aさん 完了 完了 7/4 バトル エネミーの耐性緩和 ~~~ 高 Bさん 完了 保留 7/10 機能 ログボリニューアル ~~~ 中 Cさん 対応中 未着手 7/14 バトル エネミーの耐性緩和 ~~~ 高 Bさん 対応中 未着手 7/24 メイン 攻略のヒント追加 ~~~ 低 Aさん 完了 対応中 7/25 メイン ミッションの追加 ~~~ 中 Cさん 未着手 未着手 変更内容の一覧化とステータス管理 28 ※実際の調整内容とは異なります
29. 追加日 カテゴリ 内容 詳細 優先度 担当者 ステータス QAステータス 6/26 機能 オートバトル改善 ~~~ 中 Aさん 完了 完了 7/4 バトル エネミーの耐性緩和 ~~~ 高 Bさん 完了 保留 7/10 機能 ログボリニューアル ~~~ 中 Cさん 対応中 未着手 7/14 バトル エネミーの耐性緩和 ~~~ 高 Bさん 対応中 未着手 7/24 メイン 攻略のヒント追加 ~~~ 低 Aさん 完了 対応中 7/25 メイン ミッションの追加 ~~~ 中 Cさん 未着手 未着手 変更内容の一覧化とステータス管理 29 ※実際の調整内容とは異なります
30. 変更内容の一覧化とステータス管理 ポイント • タスクの内容 • タスクの追加タイミング • タスクのステータス • テストのステータス 30 変更内容の状況把握が容易に
31. プルリクエスト単位で全チェック • 全てのプルリクエストを自動でバージョン別に記載 • 原則プルリクエストにはQAに確認して欲しい内容を入力 • QAが全てチェックしてテストステータス、確認内容を記録 ※チケットやテストケースが別途ある場合は詳細はそちらで確認 31 テスト漏れを防止 開発チーム内でのテストに対する意識が向上
32. プルリクエスト単位で全チェック • 32
33. 変更差分の異常値チェック 33 名前 DP_変更前 DP_変更後 DP_比較 経験値_ 変更前 経験値_ 変更後 経験値_比較 スモールホッパー 1200 1000 ~30%減 20 140 5倍~ クレストホッパー 2200 1500 30~50%減 80 320 3~5倍 ノッカー 1000 1000 一致 60 260 3~5倍 アビスノッカー 12000 1200 50%~減 600 1200 ~3倍 デススラッグ 10000 10000 一致 600 1200 ~3倍 ※実際の調整内容とは異なります
34. 変更差分の異常値チェック 広範囲のデータの変更が加わったため 人力での確認では精度の不安や工数の増大が懸念 変更前後で比較し変化量を視覚化 桁の入力ミスなどの異常値を検知しやすく 34 確認精度の向上 テスト工数の削減
35. 指差し確認 ゲーム画面を一緒に見ながらプレイ 画面共有しながらマスタデータをチェック 古典的だが効果あり 35 安心感が得られる 実際ミスが見つかることもある ヨシ!

36. 結果 変更の規模に対して本番障害は狭小 ◦ 大きな進行不能や、ゲームバランスを崩す不具合はなし DAU、インストールは大きく増加 ◦ 特に再構築によりメインストーリーの進行度も改善 36
37. まとめ（国内QA） 既存データを大きく変更する時に漏れなくテストする手法 • 変更内容の一覧化とステータス管理 • プルリクエスト単位で全チェック • 変更差分の異常値チェック • 指差し確認 37
38. まとめ（国内QA） • バランス調整の内容／変更時期/ステータスを管理して状況を可視化する • 変更内容の確認はある程度自動的に把握できるように効率化を行う • 変更が意図通りに反映されているか開発者とQAが連携して確認を行う 38
39. 今後の展望(国内QA,翻訳QA) • プロダクトの品質を向上するために ◦ プロダクトが実現しようとすることに、 QAとして適切なアプローチを検討する ▪ プロダクトに寄り添って共に歩む QAであるべき • チーム間のさらなる連携強化 ◦ QA間で引き続き課題や対策の共有、連携しての取り組みを強化する ▪ 開発サイドからの情報をQA間で共有することで一定の効果を得られた 39
40. ご清聴ありがとうございました 40