Bandai Namco DX Cloud Studios の全貌 株式会社バンダイナムコスタジオ 技術スタジオ 第4グループ オンラインテクノロジー部 八重樫 剛史 Takeshi Yaegashi 2022-10-13 Bandai Namco Studios Creators' Night ～ゲーム会社のリモートワークDXのご紹介～

自己紹介 2 • 八重樫 剛史 Takeshi Yaegashi • 株式会社バンダイナムコスタジオ (BNS) 技術スタジオ 第4グループ オンラインテクノロジー部 エンジニア • 1999 株式会社ナムコ(当時)入社 2012 株式会社バンダイナムコスタジオ転籍 2018 株式会社バンダイナムコアミューズメントラボ転籍 2020 現職 • 社内研究・開発環境のクラウドサービス導入推進 CI/CDパイプライン構築支援などの業務に従事 • 出没場所 (最近は社外活動は低調…) Twitter https://twitter.com/hogegashi GitHub https://github.com/yaegashi

質問です 3 「DX」という言葉の意味、あなたはいくつ思いつきますか？ 1つ・2つ・3つ・4つ以上 チャットにも「DX」と聞いて連想するものを書いてみてください (既出は気にせず)

ウィキペディアによれば DX とは… 4 Source: https://ja.m.wikipedia.org/wiki/DX https://en.m.wikipedia.org/wiki/DX

• 日本CTO協会の提唱する DX Criteria での「2つのDX」の説明 • Digital Transformation (デジタル変革) • Developer Experience (開発者体験) • 健全かつ強力な開発者組織を作り維持するためには DX(開発者体験)の改善は重要 • ゲーム開発インフラ担当チームのミッション ゲーム開発者のDX(開発者体験)の向上を目指す インフラ分野のDX(デジタル変革)の推進 • インフラ分野DXの重点方針 • インフラ オンプレミス (社内) → クラウド • サービス セルフホスト → マネージド (SaaS) • セキュリティ 境界型 (VPN) → ゼロトラスト ゲーム開発インフラにおける「2つのDX」 5 Source: https://dxcriteria.cto-a.org/

2020年以降のバンダイナムコスタジオにおけるゲーム開発インフラ改善の取り組み 6 • 2020/04 コロナ禍のはじまり・緊急事態宣言 • ほとんどの従業員が在宅勤務に移行・VPNで接続するオンプレミス(社内)リソースで業務遂行 • VPNのボトルネックが課題 → 業務のクラウド化の取り組みが加速 • 2020〜2021 CI/CDパイプラインを中心としたクラウド化の取り組み • UnityやUnreal Engineの自動ビルドなどを頑張ってクラウド化 • Game Stack Live 2021: Building a Cloud Native CI/CD Pipeline for Unity Games https://youtu.be/zT5r_B1ZtUc • CEDEC 2021: 2020年代のゲーム開発のためのクラウドネイティブCI/CDパイプラインの構築 https://cedec.cesa.or.jp/2021/session/detail/s606508703ba94.html • 2022〜 すべてのゲーム開発業務を対象とするクラウド化・DXの推進 • クラウド上のゲーム開発スタジオの構築を目指す ← イマココ • CEDEC 2022: DX(開発者体験)の向上を目指すゲーム開発インフラの進化とDX(デジタル変革) https://cedec.cesa.or.jp/2022/session/detail/184

バンダイナムコグループのクラウドインフラ活用推進 7 • バンダイナムコグループのITインフラ・開発環境は歴史的に Microsoft/Windows が基盤 • Microsoft 365 → オフィスアプリSaaS (グループ全体で10,000名以上のライセンス) • Visual Studio → 標準の開発ツール (BNSだけで数100名のVisual Studio サブスクライバ) • Azure → IaaS および PaaS (Visual Studio サブスクリプションで様々な利用特典) • Azure Active Directory (Azure AD) → グループ従業員のほとんどをカバーするクラウドID基盤 • Azure ADの積極活用によるゼロトラストセキュリティおよびDXの推進 • OpenID Connect, → ユーザー認証・認可・プロビジョニングの標準プロトコル OAuth2, SAML, SCIM 各種SaaSや他社クラウドとの連携によりID統合を実現 • Application Proxy → 社内Webサービスに社外からVPNなしで安全にアクセスできるプロキシ Google BeyondCorpのAzure版のようなもの • もちろんAWSやGCPなど他社のクラウドも適材適所で活用しています • ゲームサーバなどでは歴史的にAWSやGCPを使っている事例が多い • 今後はAWSやGCPでもAzure ADによる開発者のID統合を導入していきたい

バンダイナムコグループ 開発会社・関連会社の組織紹介 8 • バンダイナムコスタジオ(BNS)・バンダイナムコ研究所(BNKEN)・バンダイナムコアミューズメントラボ(BNAL) • 1955年創業の株式会社ナムコ (NAMCO LIMITED) を共通のルーツとして持つ開発会社 • 事業拠点やITインフラを共有し3社で一体管理されている • バンダイナムコビジネスアーク (BNBA) • グループの各事業会社の管理業務を統括し共通業務(シェアードサービス)を提供する会社 • Microsoft 365 や Azure AD の導入・運用も担当している Source: https://www.bandainamco.co.jp/group/ 株式会社バンダイナムコスタジオ (BNS) 株式会社バンダイナムコ研究所 (BNKEN) 株式会社バンダイナムコアミューズメントラボ (BNAL) 株式会社バンダイナムコビジネスアーク (BNBA)

2021〜2022: BNBA・BNS によるバンダイナムコグループ Azure AD の活用推進 9 • 2021/11: Azure AD 機能をフル活用できる体制への更新 • 全従業員に Enterprise Mobility + Security (EMS) E3 ライセンス付与 → Application ProxyなどAzure ADの様々な機能が利用可能になる • 2021/12: Azure AD Join ユーザー認証の実現 • AzureのWindow VMに対するRDP接続でクラウドユーザー認証が可能になる → Azure Virtual Desktop (DaaS) の利用準備が整う • 2021/12〜2022/04: GitHub Enterprise Managed Users の導入 • Azure AD SAML SSOによる認証とSCIMによるプロビジョニング → Visual Studio Subscription with GitHub Enterprise 数100名の GitHub Enterprise Cloud アカウントが自動開設 • 2022/07〜2022/08: Azure AD Application Proxy の導入 • オンプレミスネットワークでコネクタが稼働 → オンプレミスのWebサービスにVPN不要でゼロトラストにアクセスできる手段を獲得

2022: クラウド上のゲーム開発スタジオの構築 10 • これまで Azure AD を中心に積み上げてきた土台を踏まえた バンダイナムコスタジオの新世代クラウド開発環境の構築の取り組みを開始 • 「2つのDX」の推進を支援するクラウド上のゲーム開発スタジオ Bandai Namco DX Cloud Studios (仮称)

DX Cloud Studios のねらい 11 • Work From Anywhere • ゲーム開発にかかわるすべての従業員が利用できるリモートワークのインフラを提供 • エンジニア・アーティスト・テスターなど各職種の要件に対応できるクラウド仮想デスクトップを導入 • レガシーアセットのサポート • レガシーアセット ＝ ゼロトラストセキュリティに対応できないサービス、ソフトウェア、デバイスなどの従来資産 • サービスの例：Confluence/JIRAなどのセルフホストの社内Webサービス • ソフトウェアの例：分散ビルドシステム、高速リモートデスクトッププロトコルなど • デバイスの例：家庭用コンソールや業務用製品の開発検証機など • ゼロトラストセキュリティ実現までのつなぎとしてAzure AD App Proxyや専用VPNアプライアンスでサポート • 既存インフラの理解・活用・共存 • ID 基盤、クラウドサービスサブスクリプション、 ソフトウェアライセンスなどの既存インフラを理解し最大限に活用 • 従来のセキュリティポリシーを尊重、大規模なインフラの変更を回避、コストを削減 • つまりBNBAの管理するインフラを活用しさらに連携を深めていくということ

DX Cloud Studios の構成要素 • 開発・テスト隔離ネットワーク (DevTest DMZ) • 仮想マシンやレガシーアセットが接続できる隔離されたネットワークを各プロジェクトに割り当て • VDIやVPNによる手軽かつ安全なアクセス手段を提供 • クラウド仮想デスクトップ (VDI) • 1人1台の割り当てを基本とするオンプレミス環境と同等のWindowsデスクトップを提供 • PCだけでなくスマホ・タブレット・シンクライアントによるアクセスに対応 • 高速リモートデスクトップ技術：アーティスト向けDCCツールやゲームのテストプレイに対応 • クラウド仮想ネットワーク接続 (VPN) • オンプレミス(会社)環境ではなく在宅勤務環境をクラウドに接続する • オンプレミス環境とクラウド環境への同時VPN接続が可能 • 既存のセキュリティポリシーを維持しつつ、通信帯域・遅延のボトルネックを解消 12

DX Cloud Studios が実現するリモートワーク環境 13 • On-Prem Studio =オンプレミス(社内)の開発環境 ❶ • ConfluenceやJIRAなど業務上重要なサービスが存在 • VPNが開発のボトルネック • Cloud Studio = クラウド上の開発環境 ❷ • On-Prem Studio とは重ならない プライベートアドレス空間を割り当て • Cloud Studio VPN ❸ • 在宅勤務PCをCloud Studioに直結する高速なVPN • On-Prem Studio VPNと同時に接続可能 • Cloud Studio VDI ❹ • Cloud desktops = クラウド上のWindows PC • GPU搭載PCがタブレットなどでも利用可能 • DevTest DMZ ❺ • プロジェクトごとに専用アドレス空間が 割り当てられる開発・テスト用の隔離 ネットワーク ❶ ❷ ❸ ❹ ❺ ❺

DX Cloud Studios におけるオンラインゲームの開発環境 14 • DevTest DMZでAzure VMによるゲームサーバの開発や自動ビルド・テストなどを実施 ❶ • VPNにより在宅勤務PCからDevTest DMZに高速・安全なアクセスを提供 ❷ • VDIにより軽量端末からクラウドPCに接続 ❸ App Proxyでオンプレミス(社内)サービスにもアクセス可能 ❹ ❶ ❷ ❸ ❹

ゲーム開発のためのクラウド仮想デスクトップ (VDI) 15 • クラウド仮想デスクトップ導入のねらい • TCOの削減 → ハイスペックなワークステーションVMが納期に影響されず必要なときだけ利用できる → セットアップ・故障対応・バックアップなどのメンテナンスコストが大幅に削減できる • 利便性の向上 → ラップトップやタブレットなどの軽量端末で強力なGPU搭載VMのデスクトップが利用できる → 在宅勤務でも出社勤務でも同じVMで業務を続けることができる • セキュリティの向上 → 映像・音声のみを伝える仮想デスクトップからはファイルや情報の盗難や破壊が発生しにくい • Microsoft/Azureが注力するDesktop as a Service (DaaS)製品 • Azure Virtual Desktop (AVD) → DX Cloud Studios で利用中 • Windows 365 Enterprise (Win365E) • Microsoft Dev Box (2022/08 public preview)

ゲーム開発におけるクラウド仮想デスクトップの課題と懸念点 16 • 映像・音声の品質と通信遅延 • ゲーム開発作業においては非常に重要な要素 → Unity Editor・Unreal Editor・各種DCCツール・ゲームのテストプレイ • AVDのRDPでは間接接続となるため通信遅延が不利だが、それを補う技術やサードパーティのアプリが存在する → DX Cloud Studios では低遅延リモートデスクトップアプリ Parsec を導入 • GPU VMのコスト • クラウドにおけるGPU搭載VMは利用料金が非常に高く、大規模な導入にはかなりの覚悟がいる → 初期試算では物理機材の 4.4 倍のコスト (アーティスト向けPC 4年償却の費用総額と比較) → コスト削減対策: 平日昼間だけ動かす(22:00で自動シャットダウン)、予約インスタンスやスポットVMを使う → やってみて初めてわかるコスト増加・削減も多々あり正確なTCOの算出は難しい • GPU VMの需給逼迫 (現在は解消) • 2022年春以降、東日本リージョンのGPU搭載VMの確保が難しい時期があった • 通信遅延に影響するため、他の国のリージョンで置き換えられるわけではなく対応に苦慮

DX Cloud Studios による "フル" クラウド ゲーム開発インフラのチャレンジ 17 • 開発者全員がクラウド仮想デスクトップを利用しゲーム制作のパイプラインすべてをクラウドで完結させる • GEMiniプロジェクト(2022年度BNS新人制作研修)がフルクラウド開発にチャレンジ中 (社長肝入りのDX案件)

クラウド仮想デスクトップ デモンストレーション 18 • Parsec により DX Cloud Studios の Azure Virutal Desktop 仮想マシンに接続します

DX Cloud Studios クラウドデスクトップ利用者からのフィードバック 19 • Parsec の性能おかげでポジティブな感想が多いが、課題もある • 「Parsec はこれまで試したどのリモートデスクトップのソフトよりも遅延が少なく驚いた」 • 「Unity Editorが大きな問題なく使用でき、内容次第であるがアクションゲームのテストプレイも可能」 • 「映像のストリーミングで圧縮のブロックノイズが出ることがある」 • 「マイク・カメラ入力ができずZoomやTeamsの会議ができないのが残念」 • Unityのプロジェクトではスペックが低めのGPU搭載仮想マシンでも十分実用になる • スペック(後述): vCPUコア 6個・メモリ55GB・VRAM 4GB・コスト $0.658/h • 平日昼間のみ稼働した場合の月額コスト試算: $154.27 • 仮想マシン: $0.658×10時間×20日 = $131.60 • ストレージ: Premium SSD 128GB $22.67 → "フル" クラウド ゲーム開発インフラの実現に一応の手応え

Azure Virtual Desktop 関連価格表 (Japan East 2022/10) 20 Azure 仮想マシン (GPU 搭載) 価格 Azure ストレージ Premium SSD 価格 VM Size vCPU Mem GB GPU OnD 1h Spot 1h Description Standard_NV6ads_A10_v5 6 55 NVIDIA A10 1/6 4GB $0.6580 $0.4214 Unity/Unreal Editor・テスト作業⽤ Standard_NC8as_T4_v3 8 56 NVIDIA T4 16GB $1.0150 $0.6467 Unity/Unreal Editor・テスト作業⽤ Standard_NV12s_v3 12 112 NVIDIA M60 8GB $1.5800 $1.0065 Unity/Unreal Editor・テスト作業⽤ Source: https://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/windows/ https://azure.microsoft.com/ja-jp/pricing/details/managed-disks/ Storage Size GB IOPS Throughput MB/s Price 1m Price 1y Description SSD P10 128 500 100 $22.67 - OS 起動ディスク (C:) 向け SSD P15 256 1100 125 $43.73 - SSD P20 512 2300 150 $84.20 - SSD P30 1024 5000 200 $155.44 $147.67 データディスク向け

DX Cloud Studios クラウドデスクトップ稼働実績 2022-09-14 〜 2022-10-13 21 30分ごとの仮想マシン稼働数の記録 平日昼間のみ稼働が記録されている (9月は祝日が多かった) すべての仮想マシンはGPU搭載 (前ページ価格表に記載したサイズのいずれか)

DX Cloud Studios クラウドデスクトップ費用実績 2022-09-01 〜 2022-10-11 22 仮想マシンのコスト → 平日の就業時間(8時間程度)のみの従量課金 ストレージのコスト → 平日・休日関係なくVM台数に比例してかかる固定費 直近の平日で30台程度のVMが稼働 → $8/台/日 程度？ (今後の最適化で削減予定)

まとめ 23 • バンダイナムコスタジオにおけるゲーム開発インフラDXの取り組みを紹介しました • バンダイナムコグループのITクラウドインフラの紹介 • クラウド上のゲーム開発スタジオ Bandai Namco DX Cloud Studios の解説 • "フル" クラウド ゲーム開発インフラのチャレンジと進捗状況 • バンダイナムコスタジオのゲーム開発環境に興味を持っていただければ幸いです • 今後も様々な機会をとらえて情報発信していきますのでよろしくお願いします

Thank You!! 24