歌詞駆動パーティクルライブ制作支援ツールの提案 / wiss2025-kamimura

WISS2025発表ポスター

Transcript

1. 歌詞駆動パーティクルライブ制作支援ツールの提案 上村 宙¹，加藤 淳²，中野 倫靖²，後藤 真孝²，湯村 翼¹ 1北海道情報大学 2産業技術総合研究所 1.はじめに 4.ParticleAlive パーティクルライブとは Unityの拡張機能として実装 • VRSNSなどで実施されるライブ演出 • 音楽に合わせてパーティクルや歌詞が動く テンプレート 編集 楽曲インポート ※1 ※2 ※3 課題 • 制作に専門知識と労力を要する • 初心者：参入障壁が高い • 熟練者：時間・工数がかかる パーティクルライブ制作支援ツール ParticleAlive を提案 初心者から熟練者までを対象 効率的な制作、豊かな表現力 ジェスチャーを用いた制作手法[4] 没入型オーサリング[5] Unityのパーティクル一括編集機能[8] テキストアニメーション用の拡張機能[9] 演出の詳細な編集ができない 1. 楽曲インポート • 楽曲情報を元に演出を自動生成 • 歌詞駆動タイムラインの構築 • 歌詞やパーティクルなどの演出テンプレート • テンプレートを組み合わせたスタイル • 独自のUIから容易に編集 3. 歌詞駆動タイムライン • 歌詞の発声タイミングを元にした演出の調整 5.提案ツールの制作フロー TextAlive [7] • リリックビデオ制作 支援ツール • 歌詞に同期して演出 1. 曲を決め、楽曲情報を取得する ↓ 2. 楽曲インポート&演出の自動生成 3次元的な演出ができない ↓ 3. 歌詞との同期の微調整 歌詞の発話タイミングに合わせた演出同期 3.従来の制作フロー 4. アップロード 1. 曲と演出を考える ↓ 6.今後の展望 ↓ 2. 演出の制作 ・3Dオブジェクト演出の支援機能の開発 歌詞やパーティクル、3Dオ ブジェクトなどを作成 ・アバターパフォーマンス用の機能の開発 ・テンプレートやスタイルの拡充 ・一般公開 ↓ 3. 歌詞との同期 Timelineを使って曲と演出の Unity Particle Systemの 設定画面。150以上の タイミングを同期 ↓ 3つの機能を実装 2. 演出テンプレート・スタイル 2.関連研究 • • • • 歌詞駆動タイムライン パラメータがある。 4. アップロード Unity Timelineの画面 参考文献 [4] J. C. T. R. Ara´ujo. Virtual Reality for Lighting Simulation in Events. Technical report, Instituto Superior T´ecnico, 2014. [5] H. Coelho, M. Melo, J. Martins, and M. Bessa.Collaborative immersive authoring tool for real-time creation of multisensory VR experiences. Multimedia Tools and Applications, 78(14):19473–19493, 2019. [4] F. Tools. [7] J. Kato, T. Nakano, and M. Goto. TextAlive: Integrated Design Environment for Kinetic Typography. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, CHI ’15, p. 3403–3412, New York, NY, USA, 2015. [8] J. Moreno. Particle System Toolbox for Unity. https://realtimevfx.com/t/particle-system-toolbox-for-unity/710 (2025). [9]F. Tools. Text Animator for Unity. https://assetstore.unity.com/packages/tools/gui/text-animator-for-unity-254677 (2025). ※1 キヌ.【VRChat】kinu 6th live "まわる、ひらく。“. https://www.youtube.com/watch?v=ECPqCSZREy0 (2025). ※2 Norimaki_. ルミナスデイズ -Particle live-. https://vrchat.com/home/world/wrld_152f9dd9-ae14-48fb-ada9-54c5c712dd69 (2025). ※3 Gyle. A Place For Golden Beings. https://vrchat.com/home/world/wrld_84aa3e31-cde4-4f7a-ac5e-0fc3f11c454b (2025).