「ヘブンバーンズレッド」の大規模アップデートにおける国内及び翻訳QAの取り組み

by gree_tech

Slide 1

Slide 1 text

「ヘブンバーンズレッド」の大規模アップデートにおける国内及び翻訳QAの取り組み株式会社ExPlay QAエンジニア勅使川原大輔　瀬谷涼太

Slide 2

Slide 2 text

Agenda 1. 登壇者紹介 2. ヘブンバーンズレッドについて 3. チーム体制について 4. 翻訳QA（LQA）の取り組み 5. 国内QAの取り組み 2

Slide 3

Slide 3 text

登壇者紹介氏名所属勅使川原　大輔　(てしがわら　だいすけ) 株式会社ExPlay Customer & Product Satisfaction部 QAチーム略歴  2016年グリー株式会社に入社。 2021年から「ヘブンバーンズレッド」のテスト管理、チームマネジメント、品質改善活動に従事。共著『ゼロからはじめるゲームテスト ―壁抜けしたら無限ガチャで最強モードな件？』が発売中。氏名所属  瀬谷　涼太　(せや　りょうた) 株式会社ExPlay Customer & Product Satisfaction部 LQAチーム　略歴  2021年グリー株式会社に入社。 QAとして新規タイトルのリリースなどを経験し、現在は「ヘブンバーンズレッド」の海外ローカライズ版の翻訳QA(LQA)として従事。 3

Slide 4

Slide 4 text

ヘブンバーンズレッドについてライトフライヤースタジオとKeyがおくるドラマチックRPG App Store, Google Play Store, Steamにて配信中日本, 韓国, 台湾, 香港, マカオの5つの地域で世界同時運営

Slide 5

Slide 5 text

2022年 2023年 ■2月10日サービス開始メインストーリー第三章リリース韓国&繁体字圏サービス開始ヘブンバーンズレッドについて ■8月10日 0.5周年 ■2月10日 1周年メインストーリー第四章前編リリース ■8月10日 1.5周年メインストーリー第四章後編リリースメインストーリー断章リリースサブスクリプションサービス開始新機能追加・異時層・限界突破の器 Angel Beats! コラボイベント新機能追加・リズムゲームゲームバランスの大規模再構築新機能追加・ジオラマモード・ホーム画面改修 5

Slide 6

Slide 6 text

Slide 7

Slide 7 text

チーム体制について国内QA （QA）翻訳QA （LQA）開発チーム翻訳チーム翻訳依頼等情報連携等検証依頼等検証依頼等 7

Slide 8

Slide 8 text

チーム体制について ● 連携部分 ○ 運用スケジュール上の変更、仕様変更などの情報共有 ○ テスト設計 ■ 翻訳QAでは、新機能などのテストケースは国内QAで設計したものをベースに調整・作成を行っている国内QA （QA）翻訳QA （LQA）データ、国内海外含めた機能検証等海外言語の翻訳テキスト全般 ● 検証範囲 8

Slide 9

Slide 9 text

国内1周年と海外版同時リリースにおける翻訳QA（LQA）の対応 9

Slide 10

Slide 10 text

Agenda（翻訳QA） ● セッション内容 ○ 検証範囲の対応区分の切り分け ○ 翻訳～検証終了までのスケジュールの懸念 ○ リリース対象各国にあわせたニュアンス調整 ○ まとめ 10

Slide 11

Slide 11 text

検証範囲の対応区分切り分け① 11 非ネイティブテスター日本人のテスター各テスターの検証範囲の切り分けが必要ネイティブテスター言語理解のあるテスター

Slide 12

Slide 12 text

検証範囲の対応区分切り分け① ▶シナリオテキスト ADVパートの話者名、会話テキスト etc… 12 ▶マスタテキストスキル名、アイテム名 etc… 検証対象の切り分け

Slide 13

Slide 13 text

検証範囲の対応区分切り分け② ▶実機検証 ● 主な観点 ○ 設定言語通りの表示か ○ 表示崩れ、はみ出し　etc… 13 ▶テキスト検証 ● 主な観点 ○ 誤字脱字 ○ 文章のニュアンス　etc… 検証方法の切り分け

Slide 14

Slide 14 text

検証範囲の対応区分切り分け③ ● 以下のプランで検証を実施 ○ 検証の範囲と人材の区分と振り分けを行った（以下の図） ○ 検証漏れを防ぐため画面ベースでなくマスタをベースとした検証を実施 ● 結果 ○ 効果的なアサインができ、翻訳品質向上に繋げることができた ○ 検証対象の検知漏れを極力抑えることができた 14

Slide 15

Slide 15 text

翻訳～検証終了までのスケジュールの懸念① 15 検証開始終了国内QA 国内検証開始終了翻訳QA 海外データ・機能実装翻訳実装目標：検証期間が国内実装と翻訳実装を同時ラインで進行すること懸念：スケジュール上無理なく進行可能か

Slide 16

Slide 16 text

翻訳～検証終了までのスケジュールの懸念② 16 ● 目標 ○ 国内と並行して海外版対応が可能となること ● 打ち手 ○ 国内で検証が動くストーリーイベントで国内/海外同時ラインで翻訳～検証を実行 ■ 進行を阻害する要因の見える化を行った ● 結果 ○ 人員やビルドトラブルなどの環境に問題なないか等の見直しをすることができた ■ リリース後も国内と同時進行を実現できている

Slide 17

Slide 17 text

リリース対象各国にあわせたニュアンス調整① キャラクターの方言やネットスラングなど、国内でしか伝わりにくいニュアンスに対する翻訳の課題について 17

Slide 18

Slide 18 text

リリース対象各国にあわせたニュアンス調整① 「はあ？　何やねん今川焼って。これは回転焼きやろ。」 ● 方言は設定資料通り ● 「回転焼き」は「車輪餅（繁体字圏での呼称）」 18 「要は、ぬるぽと言ったらガッですね。」 ● 「87分不能再高了」 ○ 繁体字圏で使用されているネットスラング繁体字での翻訳例

Slide 19

Slide 19 text

リリース対象各国にあわせたニュアンス調整② 19 ● 課題 ○ 国内でしか伝わりにくいニュアンスに対する翻訳QA ● 打ち手 ○ 開発担当へ設定資料、用語集の共有を促す ■ テスターへ資料集の早期展開 ○ ストーリー理解のあるバイリンガル人材の確保 ■ ストーリーを中心に、ニュアンスに違和感がないかのテストを実施 ● 結果 ○ 海外コミュニティでのシナリオの評価 ■ 現地のお客様からみて違和感のない翻訳となった ● 品質の向上に繋げられた

Slide 20

Slide 20 text

まとめ（翻訳QA） ● プロダクトの実績 ○ リリース遅延なく韓国、台湾、香港、マカオ地域でのリリースを実現できた ○ 台湾・香港のApp Storeセールスランキングで1位を獲得 ● 翻訳QAとして ○ 言語追加など大規模な翻訳検証を実施するにあたり注意すべきこと ■ プロダクトの性質や作業量などを把握し検証範囲を早期に定める ● 検証範囲の対応優先度から人員の割り当てやスケジュールを組み立てる ○ 結果 ■ 遅延なくリリースすることができ、重篤な障害を抑制できた 20

Slide 21

Slide 21 text

ゲームバランスの再構築に対するQA 21

Slide 22

Slide 22 text

Agenda（国内QA） ● セッション内容 ○ サマリ ○ ゲームバランスの再構築とは ○ 既存データを変更する時のテスト手法 ■ 変更内容の一覧化とステータス管理 ■ プルリクエスト単位で全チェック ■ 変更差分の異常値チェック ■ 指差し確認 ○ 結果 ○ まとめ 22

Slide 23

Slide 23 text

サマリゲームバランスの再構築に対するQA 既存データを変更する時に漏れないようにテストする手法の紹介 ● 変更内容の一覧化とステータス管理 ● プルリクエスト単位で全チェック ● 変更差分の異常値チェック ● 指差し確認 23

Slide 24

Slide 24 text

ゲームバランスの再構築新しくヘブンバーンズレッドをはじめる方、なかなか進めない方、一度ヘブンバーンズレッドから離れてしまった方のためにゲームバランスを再構築 24 ● 複雑な進行 / 育成フローをシンプル化 ● 時間のかかる要素 / ストレス要素の緩和 ● サポート機能の充実

Slide 25

Slide 25 text

ゲームバランスの再構築追加・変更量が多い影響範囲も広い 25 アップデートのお知らせも長い！

Slide 26

Slide 26 text

ゲームバランスの再構築テストする上での課題 ● 変更されるデータが膨大影響範囲が広範囲かつ複雑に関係しあっているため、必要な変更やテストが漏れやすくなる ● ゲームバランス変更のため、テストプレイと調整を繰り返す調整期間が長期化&何度も変更され、変更内容の把握が難しくなる 26

Slide 27

Slide 27 text

既存データを変更する時のテスト手法 4つの取り組み ● 変更内容の一覧化とステータス管理 ● プルリクエスト単位で全チェック ● 変更差分の異常値チェック ● 指差し確認 27

Slide 28

Slide 28 text

追加日カテゴリ内容詳細優先度担当者ステータス QAステータス 6/26 機能オートバトル改善 ~~~ 中 Aさん完了完了 7/4 バトルエネミーの耐性緩和 ~~~ 高 Bさん完了保留 7/10 機能ログボリニューアル ~~~ 中 Cさん対応中未着手 7/14 バトルエネミーの耐性緩和 ~~~ 高 Bさん対応中未着手 7/24 メイン攻略のヒント追加 ~~~ 低 Aさん完了対応中 7/25 メインミッションの追加 ~~~ 中 Cさん未着手未着手変更内容の一覧化とステータス管理 28 ※実際の調整内容とは異なります

Slide 29

Slide 29 text

Slide 30

Slide 30 text

変更内容の一覧化とステータス管理ポイント ● タスクの内容 ● タスクの追加タイミング ● タスクのステータス ● テストのステータス 30 変更内容の状況把握が容易に

Slide 31

Slide 31 text

プルリクエスト単位で全チェック ● 全てのプルリクエストを自動でバージョン別に記載 ● 原則プルリクエストにはQAに確認して欲しい内容を入力 ● QAが全てチェックしてテストステータス、確認内容を記録 ※チケットやテストケースが別途ある場合は詳細はそちらで確認 31 テスト漏れを防止開発チーム内でのテストに対する意識が向上

Slide 32

Slide 32 text

プルリクエスト単位で全チェック ● 32

Slide 33

Slide 33 text

変更差分の異常値チェック 33 名前 DP_変更前 DP_変更後 DP_比較経験値_ 変更前経験値_ 変更後経験値_比較スモールホッパー 1200 1000 ~30%減 20 140 5倍~ クレストホッパー 2200 1500 30~50%減 80 320 3~5倍ノッカー 1000 1000 一致 60 260 3~5倍アビスノッカー 12000 1200 50%~減 600 1200 ~3倍デススラッグ 10000 10000 一致 600 1200 ~3倍 ※実際の調整内容とは異なります

Slide 34

Slide 34 text

変更差分の異常値チェック広範囲のデータの変更が加わったため人力での確認では精度の不安や工数の増大が懸念変更前後で比較し変化量を視覚化桁の入力ミスなどの異常値を検知しやすく 34 確認精度の向上テスト工数の削減

Slide 35

Slide 35 text

指差し確認ゲーム画面を一緒に見ながらプレイ画面共有しながらマスタデータをチェック古典的だが効果あり 35 安心感が得られる実際ミスが見つかることもあるヨシ! 

Slide 36

Slide 36 text

結果変更の規模に対して本番障害は狭小 ○ 大きな進行不能や、ゲームバランスを崩す不具合はなし DAU、インストールは大きく増加 ○ 特に再構築によりメインストーリーの進行度も改善 36

Slide 37

Slide 37 text

まとめ（国内QA）既存データを大きく変更する時に漏れなくテストする手法 ● 変更内容の一覧化とステータス管理 ● プルリクエスト単位で全チェック ● 変更差分の異常値チェック ● 指差し確認 37

Slide 38

Slide 38 text

まとめ（国内QA） ● バランス調整の内容／変更時期/ステータスを管理して状況を可視化する ● 変更内容の確認はある程度自動的に把握できるように効率化を行う ● 変更が意図通りに反映されているか開発者とQAが連携して確認を行う 38

Slide 39

Slide 39 text

今後の展望(国内QA,翻訳QA) ● プロダクトの品質を向上するために ○ プロダクトが実現しようとすることに、 QAとして適切なアプローチを検討する ■ プロダクトに寄り添って共に歩む QAであるべき ● チーム間のさらなる連携強化 ○ QA間で引き続き課題や対策の共有、連携しての取り組みを強化する ■ 開発サイドからの情報をQA間で共有することで一定の効果を得られた 39