STYLY_Net_Syncを用いたVR_MR_VJシステム_World_Jockey_の振り返り.pdf

本資料は、「Audio Visual勉強会 #19 」にて発表した、STYLY Net Syncを活用してAR/MR環境のVJシステム「World Jockey」を構築した振り返り資料です。
HMDを装着していない観客もスクリーン投影で体験を共有できるよう、VRとAR間でリアルタイムに演出を同期する仕組みについて解説しています。映像データではなくパーティクルの発火信号のみを送る設計や、AR空間に影やポスプロを反映させてクオリティを上げる工夫、そして位置合わせや画面のカクツキといった今後の技術的な課題についてまとめました。
発表イベント： Audio Visual勉強会 #19
発表時期： 2026年8月31日

==

Title: Reflections on "World Jockey" for the LBE VR Prototype Event
Overview:
This slide deck covers my presentation at the "Audio Visual Study Session #19". It details the development and reflection of building an AR/MR VJ system named "World Jockey" using STYLY Net Sync.
This presentation from "Audio Visual Study Session #19" looks back on the making of "World Jockey," an AR/MR VJ system built with STYLY Net Sync.
It breaks down how we synced VR and AR performances in real time so that people without VR headsets could also enjoy the experience on a projected screen. I’ve summarized our approach of sending only particle trigger signals instead of heavy video files, our tricks for boosting visual quality with shadows and post-processing in AR, and the technical hurdles we still need to tackle, like spatial alignment and screen stuttering.
Presented at: Audio Visual Study Session #19
Date: August 2026

Transcript

1. AudioVisual Study Session #19 STYLY Net Syncを用いた VR/MR VJシステム「World Jockey」の振り返り 2026-08-31 (Mon) AudioVisual勉強会 #19 / さきやま 2026-08-31
2. AudioVisual Study Session #19 さきやま 2026-08-31 VJ VJ / 測量会社勤務 3D都市モデル「PLATEAU」を中心に、地理空間データの整備 からユースケースの企画・開発を行う。 「グループ展中庭」主催。 X: @sakiyama_VRC Instagram: @sakiyama_info Portfolio: https://sakiyama-info.notion.site Live VJ / Performance 2025.03 Iwaken Lab. Performer Fes @横浜 2025.06 INFINITY @VRC 2025.06 INTERNET FLOATING @VRC 2025.07 DoomBox @横浜 2025.08 EXCEED×INFINITY @VRC 2025.08 Remember Future Tea Party vol.5 @VRC 2025.10 draw(tokyo);#3|#function_draw @clubasia 2025.10 INTERNET FLOATING @VRC 2026.03 グループ展 中庭 オープニングイベント 2026.08 Strawberry Rush @PUBLICPUBLIC 主な最近の作品（左：グループ展中庭 主催、右：PLATEAU×Rector） 2
3. AudioVisual Study Session #19 2026-08-31 アジェンダ ・STYLY Net Syncで「World Jockey」として、AR/MRのVJを作った ・VRとARでリアルタイムで演出の同期ができるようになった ・ 背景・モチベーション ・ つくりたいもの ・ 実装環境 ・ LBE VRプロトタイプ体験会 ・ 当日やってよかったこと ・ 課題・やり残し ・ 概念図 3
4. AudioVisual Study Session #19 2026-08-31 背景・モチベーション① ・Rectorやり始めた時から、この「VRでも見れるのでは」というアイデアはあった ・やり方がわからなかったし、コンセプトも持っていなかったが、SNSでVR内で（HMDを 使って）VJする事例は観測していた VRでRectorをやっている様子（理さん） 4
5. AudioVisual Study Session #19 2026-08-31 背景・モチベーション② ・今年の3月に「XRだけどHMDを被っている人だけが楽しめるものは作らない」という コンセプトの展示会（中庭）を行って、このコンセプトで何か作れないかと考え始めた ・同タイミングで「LBE」の存在を知り、やってみるかと決意 展示会の様子 5
6. AudioVisual Study Session #19 2026-08-31 つくりたいもの 子(VR) ・PCでも映像をレンダリングし、スクリーンに投影し、HMDを被っ ていない人も楽しめるようにしたい 親(Master) ・映像ごと送るのは大変なので、「パーティクル」発火の信号だけ 送って、VR側でレンダリングするという運用がいいのではという 話が上がっていた ・VR側のアクションを演出に反映（でもVR側に依存しない） 値だけを送るイメージ（当初の想定） 6
7. AudioVisual Study Session #19 2026-08-31 実装環境 ・Unity 6000.3.9f1 ・STYLY NetSync ・Rector v0.1.3 ・NodeJS, uv, OpenUPM-CLI ・（個人的につくっていたUMPのRector拡張） 7
8. AudioVisual Study Session #19 2026-08-31 プロトタイプ ・ 2026.04.26 の LBEワークショップでプロトタイプを作成 ・ ユーザーのアクションでパーティクルを発火させることはできた リアルタイムで演出の同期ができるようになった。 8
9. AudioVisual Study Session #19 2026-08-31 LBE VRプロトタイプ体験会 概要 若手のXR作り手 (ラボメン) 7名が、それぞれ5〜7分のLBE （Location-Based Entertainment）VRコンテンツを制作し。全7作品 を、実際に体験できる会。 日時：2026年8月8日（土）13:00〜16:00 受付 13:00〜13:15 / オープニング 13:15〜13:30 / 体験タイム 13:30〜15:45 / クロージング 15:45〜16:00 会場：Tokyo Innovation Base（TIB）東京都千代田区丸の内3-8-3 主催：イワケンラボ 共催：TIB FAB 技術サポート：STYLY 当日の様子 : https://posfie.com/@iwaken71/p/aVy5tqT 集合写真 9
10. AudioVisual Study Session #19 2026-08-31 LBE VRプロトタイプ体験会 ・ 体験者 約10名、体験時間 約20分 ・ 決められた体験時間はなかったので立ち替わり交代 体験者(VR) 私(PC) 体験会の様子（左：体験者、右：さきやまが見ている画面） MRの様子 10
11. AudioVisual Study Session #19 2026-08-31 当日やってよかったこと① ・MRモードでも影を生成するようにした。 透明の床を設置し、そこに影を投影するようにした ・ポスプロ、グロー等がVRでも反映できた https://zenn.dev/miyamotyi/articles/pico4-mr-hdr-passthrough-bloom 11
12. AudioVisual Study Session #19 2026-08-31 当日やってよかったこと② ・自分が前に出て「ビジュアルパフォーマンス」としたこと ・VR側の口元からポコポコ空気が出るようにした 「追いととのう」: https://x.com/iwaken71/status/1819332992382488751?s=20 ・本番直前でも直らなかった位置ずれを、VFXGraphを脳筋補正で乗り切った 位置補正できない（する前提ではない）パーティクルもあったので本当はやるべきではない 12
13. AudioVisual Study Session #19 2026-08-31 課題・やり残し ・位置合わせ 起動時に位置同期ボタンを押さないといけなかった ・Sceneを複数発生させるRectorと、TiB templeteの位置合わせがうまくいかない 同期が合っていない（かもしれない、そんなこと見る時間はなかった） ・PC画面のカクツキ NDIやOSCを受け取るようにすると、Rectorの画面が数秒に一回カクつく マイコン経由でOSCを受け取った時もそんなことがあったのでそれかも、PCのス ペックの問題かもしれない ・VR側のアクションによる演出の同期 13
14. AudioVisual Study Session #19 2026-08-31 概念図 概念図 （こういうイベントできたら楽しそう） 14