Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Audio Experience is greatly improved in VR: A W...
Search
cannorin
November 19, 2019
Technology
0
1.4k
Audio Experience is greatly improved in VR: A Worked Example
cannorin
November 19, 2019
Tweet
Share
More Decks by cannorin
See All by cannorin
AltJS を作るなら型変換を入れた方がいい
cannorin
0
1.1k
A Journey to Type-safe Vectors in F#
cannorin
6
11k
TidalCycles - Haskell meets Music
cannorin
0
1.3k
Making Indian Curries - at Home!
cannorin
2
1.4k
On Space Filling Curves: Its Beauty and Applications
cannorin
0
210
A brief introduction to type inference
cannorin
4
2.2k
Other Decks in Technology
See All in Technology
Amazon Kendra GenAI Index 登場でどう変わる? 評価から学ぶ最適なRAG構成
naoki_0531
0
110
マイクロサービスにおける容易なトランザクション管理に向けて
scalar
0
130
組織に自動テストを書く文化を根付かせる戦略(2024冬版) / Building Automated Test Culture 2024 Winter Edition
twada
PRO
13
3.8k
終了の危機にあった15年続くWebサービスを全力で存続させる - phpcon2024
yositosi
10
8.5k
社外コミュニティで学び社内に活かす共に学ぶプロジェクトの実践/backlogworld2024
nishiuma
0
260
社内イベント管理システムを1週間でAKSからACAに移行した話し
shingo_kawahara
0
180
私なりのAIのご紹介 [2024年版]
qt_luigi
1
120
宇宙ベンチャーにおける最近の情シス取り組みについて
axelmizu
0
110
PHP ユーザのための OpenTelemetry 入門 / phpcon2024-opentelemetry
shin1x1
1
210
多領域インシデントマネジメントへの挑戦:ハードウェアとソフトウェアの融合が生む課題/Challenge to multidisciplinary incident management: Issues created by the fusion of hardware and software
bitkey
PRO
2
100
Oracle Cloud Infrastructure:2024年12月度サービス・アップデート
oracle4engineer
PRO
0
180
watsonx.ai Dojo #5 ファインチューニングとInstructLAB
oniak3ibm
PRO
0
160
Featured
See All Featured
Building an army of robots
kneath
302
44k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.3k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
The World Runs on Bad Software
bkeepers
PRO
65
11k
BBQ
matthewcrist
85
9.4k
Automating Front-end Workflow
addyosmani
1366
200k
How to Ace a Technical Interview
jacobian
276
23k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.9k
Why Our Code Smells
bkeepers
PRO
335
57k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Transcript
VRC-LT XR フェスタ特別編 最高の音響 in VR cannorin
だれ • Twitter: @cannorin_vrc • Study: 数理論理学 プログラム言語の理論 • Job:
F# プログラマ • in VRC: VOLT Enthusiast VRC-LT (#2~) Club: The Underground
だれ • Twitter: @cannorin_vrc • Study: 数理論理学 プログラム言語の理論 • Job:
F# プログラマ • in VRC: VOLT Enthusiast VRC-LT (#2~) Club: The Underground
VRChat 世界のクラブ ワールド型 ユーザー運営 / イベント型 • VOLT Dance Club
• VOID Club • Club VGL • Club Rogue • MOGRA (再現ワールド) • etc • Silent Club • Club Ruins/RE:Builds/ARTRIUM • GHOST CLUB • アルテマ音楽祭 • Club: The Underground • etc (順不同)
人はなぜ VR のハコを求めるのか 参加者目線では 主催者目線では • 入場料がかからない • 終電を気にしなくてよい •
配信よりも臨場感がある • 知り合いと集まりやすい • 好きな音楽をかけられる (ワールド型) • ハコ代がかからない • 風営法を気にしなくてよい • イベント開催のコストが低い • あまり人が来なくても気にならない • (配信と異なり)フロアのほぼリア ルタイムの反応が得られる
それでもハコでしか味わいにくいもの • DJ パフォーマンスとフロアの熱狂 ( VR 入力デバイスの技術的限界) • 凝った VJ・エフェクト
( VRChat の技術的限界) • 身体に響く低音の振動 ( VR 出力デバイスの技術的限界) • 前から飛んでくる音とその反響 (物理的限界)
それでもハコでしか味わいにくいもの • DJ パフォーマンスとフロアの熱狂 ( VR 入力デバイスの技術的限界) → 高度なモーキャプソフト・ハードの導入 •
凝った VJ・エフェクト ( VRChat の技術的限界) → シェーダー技術の応用 • 身体に響く低音の振動 ( VR 出力デバイスの技術的限界) → 新しい出力デバイスの普及 (e.g. Hapbeat) • 前から飛んでくる音とその反響 (物理的限界) → VRChat SDK のみで改善可能 (今日はこれの話)
VRChat の立体音響 VRChat は ONSP(Oculus Audio Spatializer Plugin) という 3D
音響システム SDK を使っている. モノラル音声 + 頭や音源の位置・動きの情報 + 環境データ ↓ONSP で再現 バイノーラル音声 ※ バイノーラル音声 …… 鼓膜に届く状態で録音された音声
3D 音響のしくみ (1) 3D 音響 … Spatialization + Environmental Modeling
・ Spatialization = 音源の方向・距離の再現 - 左右方向 : 左右での音量差 (ILD) と時間差 (ITD) - 上下前後方向 : 身体や耳介の形状による反射・減衰 → まとめて 頭部伝達関数 (HRTF) でエンコード (+頭の動きに応じて音を変化させて補完) - 距離 : 音量の変化や ITD, 高周波減衰など
3D 音響のしくみ (2) 3D 音響 … Spatialization + Environmental Modeling
・ Env. Modeling = 音の反響(・遮蔽)の再現 - 環境情報から適切なエコー・リバーブを導出 - エコー : 壁などでの音の反射 (early reflections) → 部屋の形状を表現 - リバーブ : 部屋全体での音の残響 (late reverb. tail) → 部屋の大きさを表現
頭部伝達関数 (HRTF) についてちょっと詳しく δ(t) ( インパルス信号 ) h(t) ( インパルス応答
) HRTF は θ (= 15°,30°,etc) 刻みの角度・平均的体型で事前計算 → なめらかな方向変化は難しい・合う人と合わない人がいる H(f) (→ HRTF) フーリエ変換 任意の入力(スピーカー) x(t) → X(f) 欲しい出力(耳のマイク) y(t) → Y(f) Y(f) = H(f)X(f) 逆フーリエ変換で y(t) を得られる
Club: The Underground の音響設定 スピーカー x2 (ステレオを左右分割) (反射・残響は今後実装予定) シームレスに切り替え 3D
音響が合わない人向けの 2D 音響ゾーン
Thank you for listening!