$30 off During Our Annual Pro Sale. View Details »

No.10_マルチプレイ対応VRAR連動アプリ「VARAEMON」

 No.10_マルチプレイ対応VRAR連動アプリ「VARAEMON」

PLATEAU AWARD 2022 ファイナリスト作品No.10
チーム名:きっポジ@KITPOSITION
作品名:マルチプレイ対応VRAR連動アプリ「VARAEMON」

More Decks by 国土交通省都市政策課

Transcript

  1. 1
    ~バラエモン 巨大ロボット対戦編~
    ネットワークマルチプレイ対応VR/AR連動アプリケーション
    @kitposition
    PLATEAU AWORD 2022応募作品 決勝プレゼン資料

    View Slide

  2. 自己紹介
    2
    コンテンツメーカー
    Unityクリエイター
    きっポジ@kitposition
    @kitposition
    ・主にUnityを使った映像作品や小ネタの制作
    ・最近はXRにハマり中
    ・XRを利用した学習教材の研究
     →今春より放課後等デイサービスの学習活動にて実践予定

    View Slide

  3. 3
    VARAEMON
    Virtual and Augumented Reality Application
    Equipped with Multiplayer On the Network
    ネットワークマルチプレイ対応VR/AR連動アプリケーション

    View Slide

  4. 4
    現実の街でロボットを操縦したい!
    やりたかったこと
    PLATEAUを知った瞬間にアイデアはできていた
    VRで操縦 ARで召喚

    View Slide

  5. 5
    ギャラリー~① AR(スマホ) SIDE
    タイトル画面
    座標推定完了 オクルージョン用PLATEAU
    微調整モード
    (調整が完了するとモデルは透明化)
    プレイ画面

    View Slide

  6. 6
    ギャラリー~② VR SIDE
    プレイ画面(歩行時) プレイ画面(発砲時) プレイ画面(ジャンプ時)

    View Slide

  7. 7
    AR
    SIDE
    アプリ構成の概要(詳細は次頁の「参考」にて)
    現実
    SIDE
    VR
    SIDE
    Photon Fusion
    座標同期・通信
    Server
    (全体制御)
    Geospatial API
    座標推定
    コリジョン&
    オクルージョン
    PLATEAU(不可視)
    国土交通省
    PLATEAU 3DTiles
    配信サービス
    PLATEAU(可視)
    ステージ
    オブジェクト
    座標同期
    Cesium
    for Unity
    座標同期
    Cesium
    for Unity
    座標送信
    マップ
    選択
    国土地理院
    逆ジオコーディング
    API
    点線内は準備中
    現状のマップは
    札幌のみ
    (ここが実現すると
    全国に対応)

    View Slide

  8. 8
    (参考)PLATEAUモデルの配置手法について
    LT03登壇時点 一次審査時点 現在
    手法
    単一エリアのモデルを
    単純に配置
    札幌全域のモデルを
    事前にエリア毎に分割作成し
    サーバーから動的にロード
    Cesium for Unityで
    現在地を中心としたマップを
    動的に生成
    対応可能
    エリア
    モデルを
    用意したエリア(単一)
    モデルを
    用意したエリア(複数)
    Cesium対応エリア全域
    〇 実装が簡単
    アプリ容量を気にせず
    広いエリアに対応
    モデルに色々な
    ギミックを仕込みやすい
    対応エリアが広い
    現実との位置誤差が
    最も小さい
    (気がする)
    × 単一エリアしか対応しない
    (モックアップ向け)
    エリアごとのモデルを
    作るのが大変
    (PLATEAU SDK for Unityが便利)
    生成の待ち時間がある
    モデルにギミックを
    仕込みにくい

    View Slide

  9. 9
    (参考)Photon Fusionのネットワークトポロジー(構造)について
    LT03登壇時点 一次審査時点 現在
    手法 共有モード Hostモード 専用サーバーモード
    特徴
    特定のホストが存在しない
    全クライアントが対等に接続
    プレイヤーのうち1台(今回はAR端末)が
    ホストを兼ねる
    サーバーがホストとして
    ゲーム全体の管理権を持つ

    サーバーの設置が不要
    1人でもプレイヤーがいれば
    セッションは維持される
    旧バージョンに類似
    サーバーの設置が不要
    Fusionの新機能に対応
    多人数でも安定した
    プレイが可能
    Fusionの新機能に対応
    × Fusionの新機能が
    一部使えない
    ホストを兼任するプレイヤーに
    負荷がかかる
    ホストが退出すると
    セッションが終了する
    ※ホストマイグレーション(移譲)機能はある
    サーバーの設置が必要
    (サーバー用アプリ自体は
    Unityでビルドできる)

    View Slide

  10. 苦労したところ
    10
    ① 全く異なる世界(現実とARとVR)を同期させるのが大変
     ・オンラインゲームは「同じ世界で同じように動く存在」を同期するケースが多い(右図)
     →ARとVRの同期は全く情報がなく試行錯誤の連続
    ② デバッグが超メンドクサイ
    ・手伝ってもらったり… ・隙間から覗いたり…
    ③ 冬はARの大敵
    ・認識精度の低下 ・寒くて
     スマホ操作無理
    Player A Player B
    ・邪魔なリア充
    @jun_mh4g(じゅん)さん(DoMCN)
    @s_haya_0820(さって~)さん(株式会社ProVision様)
    最終デバッグへのご協力ありがとうございました!

    View Slide

  11. 苦労したところ
    11
    ④ ロボへの拘り
     ・ロボットの各部が独立して同期する仕組みの実装
      →「操縦している感」を出すために妥協できない部分
    妖精の姿煮様
    「ワンコインロボット」
     ・自分ではモデリングできないのでネットを探しまくる
     →BOOTHに凄いロボットがあったので使わせていただきました!
    ロボットボディ
     VRHMDのコントローラーのボタンで操縦
    カメラ・手(=中の人)
     コックピットに追従しつつ
     VRHMD・コントローラーの動きをトレース
    コックピット
     ボディに追従しつつ
     水平と正面を極力保つように独立駆動

    View Slide

  12. 12
    今後の課題
    ① 一次審査プレゼン資料より
    ほぼ解決
     URP用マスクシェーダーの採用と
     Cesium採用による精度向上で実現
    ほぼ解決
     Cesiumの採用で
     常にAR開始位置をモデル原点にできた
    進行中
     FusionのServerモードに対応したので
     遅延対策を実施可能になった

    View Slide

  13. 13
    今後の課題
    ② ゲームとしての完成度アップ
     現状は「辛うじてプレイできる」程度でゲームとはいえない…
     ・ロビー、マッチングシステムなどオンラインゲームとして必要なシステムの整備
     ・武器・ルールなどの充実・整備
     ・機体・中の人(現状はカメラと手だけ)のバリエーション充実
    ③ ARとVRどちらに中心を置くか?
     現状はARで座標を決定しなければ遊べない
     ・ARに中心を置いた場合…よりイベント的
     ・VRに中心を置いた場合…よりパーソナル

    View Slide

  14. 14
    ARを中心とした場合のイベント例
    現地オーディエンス
    (AR観戦)
    ※現地特典あり
    全国の
    VARAEMONパイロット
    (VR参戦)
    ※各自のオリジナル機体
    ARプロカメラマン
    オンライン配信オーディエンス
    ・プロカメラマン、現地オーディエンスによる
     AR映像
    ・各プレイヤー視点・俯瞰視点によるCG映像
    VARAEMON BATTLE ARENA SAPPORO 202X(仮称)
    パイロット:現地に行かずに参戦できる
    観戦者:自宅でも現地でも観戦できるが、
          現地観戦者にはパイロットとのライブ交流などの特典を用意
    イベンター:選手のマッチングと集客が容易になる
    ※現在未搭載の機能の実装や社会的通信インフラの発展を前提とした
      将来のイメージです。

    View Slide

  15. 15
    ゲーム以外でのユースケース~① 教育用途
    現地在住の
    案内人
    遠隔地の
    学校など
    ここが札幌の
    中心部だべさ
    ここが札幌の
    中心部だべさ
    すごーい
    行って
    みたい
    札幌の放課後等デイサービス(私が働いている会社)で
    学習活動に活用すべく現在開発中です!
    遠隔地の
    学校など
    VRで操縦 ARで表示
    VARAEMON 紹介!おらが街(仮称)
    最新情報はコチラ

    View Slide

  16. 16
    ゲーム以外でのユースケース~② 映像制作
    モーションアクター
    ARカメラマン
    監督
    VARAEMONムービーメーカー(仮称)
    データを記録して
    スタジオで編集し
    クオリティアップ
    バーチャル技術で「CGを実際に現地で撮影する」ことで
    より臨場感を持った動き・カメラワークを実現します

    View Slide

  17. その他のユースケース~③ その他
    17
    ・VARAEMONライブ
    バーチャルのライブを現地でもARサテライト観戦
    ・現地サテライトの観客のみインセンティブ付与など
    ・VARAEMON学術セミナー
    PLATEAUのオープンデータを現地で可視化
    →専門家が現地でバーチャル登壇して解説
    ・VARAEMON選挙演説会
    候補者はバーチャル演説、
    支援者は現地に集合して演説を拝聴
    興味ない人には見えない、聞こえない
    札幌市の
    災害対策は…

    View Slide

  18. 18
    @kitposition
    ありがとうございました!

    View Slide