Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Audio Experience is greatly improved in VR: A W...
Search
cannorin
November 19, 2019
Technology
0
1.6k
Audio Experience is greatly improved in VR: A Worked Example
cannorin
November 19, 2019
Tweet
Share
More Decks by cannorin
See All by cannorin
AltJS を作るなら型変換を入れた方がいい
cannorin
0
1.3k
A Journey to Type-safe Vectors in F#
cannorin
6
11k
TidalCycles - Haskell meets Music
cannorin
0
1.4k
Making Indian Curries - at Home!
cannorin
2
1.5k
On Space Filling Curves: Its Beauty and Applications
cannorin
0
280
A brief introduction to type inference
cannorin
4
2.3k
Other Decks in Technology
See All in Technology
2時間で300+テーブルをデータ基盤に連携するためのAI活用 / FukuokaDataEngineer
sansan_randd
0
120
MCP認可の現在地と自律型エージェント対応に向けた課題 / MCP Authorization Today and Challenges to Support Autonomous Agents
yokawasa
4
1.3k
解消したはずが…技術と人間のエラーが交錯する恐怖体験
lamaglama39
0
180
【新卒研修資料】数理最適化 / Mathematical Optimization
brainpadpr
20
9.3k
【Λ(らむだ)】最近のアプデ情報 / RPALT20250729
lambda
0
220
少人数でも回る! DevinとPlaybookで支える運用改善
ishikawa_pro
5
2.2k
Perlアプリケーションで トレースを実装するまでの 工夫と苦労話
masayoshi
1
400
Nx × AI によるモノレポ活用 〜コードジェネレーター編〜
puku0x
0
290
JAWS AI/ML #30 AI コーディング IDE "Kiro" を触ってみよう
inariku
3
240
リリース2ヶ月で収益化した話
kent_code3
1
130
KubeCon + CloudNativeCon Japan 2025 Recap
donkomura
0
140
With Devin -AIの自律とメンバーの自立
kotanin0
2
1.1k
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Designing for Performance
lara
610
69k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
The Cult of Friendly URLs
andyhume
79
6.5k
Building an army of robots
kneath
306
45k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Code Review Best Practice
trishagee
69
19k
Agile that works and the tools we love
rasmusluckow
329
21k
Transcript
VRC-LT XR フェスタ特別編 最高の音響 in VR cannorin
だれ • Twitter: @cannorin_vrc • Study: 数理論理学 プログラム言語の理論 • Job:
F# プログラマ • in VRC: VOLT Enthusiast VRC-LT (#2~) Club: The Underground
だれ • Twitter: @cannorin_vrc • Study: 数理論理学 プログラム言語の理論 • Job:
F# プログラマ • in VRC: VOLT Enthusiast VRC-LT (#2~) Club: The Underground
VRChat 世界のクラブ ワールド型 ユーザー運営 / イベント型 • VOLT Dance Club
• VOID Club • Club VGL • Club Rogue • MOGRA (再現ワールド) • etc • Silent Club • Club Ruins/RE:Builds/ARTRIUM • GHOST CLUB • アルテマ音楽祭 • Club: The Underground • etc (順不同)
人はなぜ VR のハコを求めるのか 参加者目線では 主催者目線では • 入場料がかからない • 終電を気にしなくてよい •
配信よりも臨場感がある • 知り合いと集まりやすい • 好きな音楽をかけられる (ワールド型) • ハコ代がかからない • 風営法を気にしなくてよい • イベント開催のコストが低い • あまり人が来なくても気にならない • (配信と異なり)フロアのほぼリア ルタイムの反応が得られる
それでもハコでしか味わいにくいもの • DJ パフォーマンスとフロアの熱狂 ( VR 入力デバイスの技術的限界) • 凝った VJ・エフェクト
( VRChat の技術的限界) • 身体に響く低音の振動 ( VR 出力デバイスの技術的限界) • 前から飛んでくる音とその反響 (物理的限界)
それでもハコでしか味わいにくいもの • DJ パフォーマンスとフロアの熱狂 ( VR 入力デバイスの技術的限界) → 高度なモーキャプソフト・ハードの導入 •
凝った VJ・エフェクト ( VRChat の技術的限界) → シェーダー技術の応用 • 身体に響く低音の振動 ( VR 出力デバイスの技術的限界) → 新しい出力デバイスの普及 (e.g. Hapbeat) • 前から飛んでくる音とその反響 (物理的限界) → VRChat SDK のみで改善可能 (今日はこれの話)
VRChat の立体音響 VRChat は ONSP(Oculus Audio Spatializer Plugin) という 3D
音響システム SDK を使っている. モノラル音声 + 頭や音源の位置・動きの情報 + 環境データ ↓ONSP で再現 バイノーラル音声 ※ バイノーラル音声 …… 鼓膜に届く状態で録音された音声
3D 音響のしくみ (1) 3D 音響 … Spatialization + Environmental Modeling
・ Spatialization = 音源の方向・距離の再現 - 左右方向 : 左右での音量差 (ILD) と時間差 (ITD) - 上下前後方向 : 身体や耳介の形状による反射・減衰 → まとめて 頭部伝達関数 (HRTF) でエンコード (+頭の動きに応じて音を変化させて補完) - 距離 : 音量の変化や ITD, 高周波減衰など
3D 音響のしくみ (2) 3D 音響 … Spatialization + Environmental Modeling
・ Env. Modeling = 音の反響(・遮蔽)の再現 - 環境情報から適切なエコー・リバーブを導出 - エコー : 壁などでの音の反射 (early reflections) → 部屋の形状を表現 - リバーブ : 部屋全体での音の残響 (late reverb. tail) → 部屋の大きさを表現
頭部伝達関数 (HRTF) についてちょっと詳しく δ(t) ( インパルス信号 ) h(t) ( インパルス応答
) HRTF は θ (= 15°,30°,etc) 刻みの角度・平均的体型で事前計算 → なめらかな方向変化は難しい・合う人と合わない人がいる H(f) (→ HRTF) フーリエ変換 任意の入力(スピーカー) x(t) → X(f) 欲しい出力(耳のマイク) y(t) → Y(f) Y(f) = H(f)X(f) 逆フーリエ変換で y(t) を得られる
Club: The Underground の音響設定 スピーカー x2 (ステレオを左右分割) (反射・残響は今後実装予定) シームレスに切り替え 3D
音響が合わない人向けの 2D 音響ゾーン
Thank you for listening!