Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork...
Search
にー兄さん
April 12, 2025
Technology
0
41
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork guitar with vfx
PerformersFes振り返り感想会にて登壇した資料です
https://iwakenlab.connpass.com/event/350632/
にー兄さん
April 12, 2025
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
XRエンジニアの視点から XRのイマと社会実装の実現について考える / thinking-about-xr-popularization
drumath2237
0
10
軽率にプログラミング言語のシンタックスについて考えてみよう / lets-think-about-programming-lang-syntax
drumath2237
0
56
エンジニアが軽率に趣味から始める、OSS貢献を軸とした個人活動 / oss-contribution-as-a-hoby-project
drumath2237
0
36
Babylon.js 8.0のアプデ情報を 軽率にキャッチアップ / catch-up-babylonjs-8
drumath2237
0
200
軽率に始まった Babylon.js勉強会運営の 1年間をふりかえって / look back babylonjs japan activity
drumath2237
0
68
利己的利他、 あるいは軽率2.0に備えよ。 / prepare-for-keisotsu-2.0
drumath2237
0
55
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
130
あなたの知らないWebXR Device APIの話を軽率に / about-webxr-device-api-you-dont-know
drumath2237
0
59
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
4
1.6k
Other Decks in Technology
See All in Technology
Automating Web Accessibility Testing with AI Agents
maminami373
0
1.3k
roppongirb_20250911
igaiga
1
240
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの?
smt7174
4
190
DroidKaigi 2025 Androidエンジニアとしてのキャリア
mhidaka
2
380
Snowflake Intelligence × Document AIで“使いにくいデータ”を“使えるデータ”に
kevinrobot34
1
110
2025/09/16 仕様駆動開発とAI-DLCが導くAI駆動開発の新フェーズ
masahiro_okamura
0
120
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.8k
人工衛星のファームウェアをRustで書く理由
koba789
15
8.2k
スクラムガイドに載っていないスクラムのはじめかた - チームでスクラムをはじめるときに知っておきたい勘所を集めてみました! - / How to start Scrum that is not written in the Scrum Guide 2nd
takaking22
1
160
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
1.1k
テストを軸にした生き残り術
kworkdev
PRO
0
210
20250913_JAWS_sysad_kobe
takuyay0ne
2
250
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
850
Building an army of robots
kneath
306
46k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Unsuck your backbone
ammeep
671
58k
Into the Great Unknown - MozCon
thekraken
40
2k
Side Projects
sachag
455
43k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.7k
Become a Pro
speakerdeck
PRO
29
5.5k
How to Ace a Technical Interview
jacobian
279
23k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Speed Design
sergeychernyshev
32
1.1k
Music & Morning Musume
bryan
46
6.8k
Transcript
フォークギター with VFXの 制作を軽率に振り返ろう! にー兄さん@ninisan_drumath PerformersFestこだわり解説感想戦
アジェンダ - はじめに - フォークギター with VFXの概要 - 制作について -
VFX Graphのこだわり - おわりに
はじめに
にー兄さん(@ninisan_drumath) ソフトウェアエンジニア “Babylon.jsとWebXR Device APIの宣教師” 株式会社ホロラボ Babylon.js勉強会運営 Iwaken Lab. Microsoft
MVP for Developer Technologies
本日のお話 2025/3/25のIwakenLab Performers Festで披露した フォークギター with VFXの制作について - どんなことを考えて -
どんなツールを使って - どんなものを作ったのか 本日のゴール: - お客さんやラボメンに演出のこだわりについて知ってもらう - Unity VFX Graphええやん!って思ってもらう - 自分がインタラクティブなクリエイティブについて言語化して整理する
フォークギター with VFX の概要
オーディオリアクティブな動点群ビジュアルエフェクト これまでKinectを使ったVFXをいくつか制作 →その流れで今回お誘い フェスということで音楽と組み合わせよう →自分が好きなフォークギターで
パフォーマンス風景
使用技術 - Azure Kinect (Sensor SDK) - Unity 6000.0.42 -
HDRP - VFX Graph - Cinemachine
Unityプロジェクト GitHubに公開しています(AzureKinectがないと動かないですが) https://github.com/drumath2237/PerformersFes2025
機材構成 センサリング対象は人とギター 演奏してる手前にAzureKinect を配置 ギターはマイク録り(エレアコではない) 後ろのスクリーンに投影
処理フロー センサリングや演出のシステムはUnity フォークギターの音を取得 AzureKinectからデータを取得 Unityで演出を加えてレンダリング 全画面ビルドしたアプリ画面を スクリーンに投影
AzureKinectとは Microsoftが製品開発するカメラデバイス カラーは720p~4Kまで Depth画像の取得も可能 IMUもついてるので加速度もとれる Body-Trackingもできる 9つのマイクアレイも搭載 使うと楽しくなるおもちゃ!
Depth画像 深度画像と呼ばれる カメラからの距離を画素で 示したもの ToFセンサによって取得可能 他にIntel RealSenseとか https://lightbuzz.com/azure-kinect-masterclass-depth/
制作について
制作進行 GitHub Projectsを使ってissue管理
ベロシティ 直前から初めて前々日から加速するのはやめよう!
VFX Graphのこだわり
制作の方針 - あまりコードを書かない - 演出処理の過度な共通化を避ける
演出の実装スピードを重視 見た目が大事な制作において 見た目のFBループを早くすることが大事 C#のコンパイル時間がもったいないので Scriptによる演出制御はなるべく避けた →インスペクタなどからシーン再生中にリアルタイムに設定値変更 処理の共通化はばらすのが大変 →スクラップアンドビルドしやすくしたい
なるべくポチポチ変更で対応する Unityのクリエイティブツールを使っていく VFX Graph! Cinemachineも導入してよかった
VFX Graph GPUベースでリッチなビジュアルエフェクトを作れる ノードベースツール 炎・煙・魔法・爆発などをリアルタイムで制御&表現可能 https://unity.com/ja/features/visual-effect-graph
(本資料は作りかけです)
続きはFigJam
None