Slide 1
Slide 1 text
No content
Slide 2
Slide 2 text
Software Used
Alex ORSHOLITS
東京大学工学系研究科
小渕研究室
PhD Candidate
@highvis_supply
Yiyuan QIAN
株式会社日建設計
Digital Design Lab
Computational Designer
@seleca789
Credits
● GP-01 Positional System
○ ESP-IDF (Espressif Systems - Apache 2.0)
○ ArduinoJSON (Benoît Blanchon - MIT)
○ ArduinoWebsockets (Gil Maimon - GPL-3.0)
○ FreeRTOS (Amazon.com, Inc - MIT)
○ Mbed TLS (ARM Limited - Apache 2.0)
○ Arduino (Arduino Team - GPL-3.0)
● Listener Device (smartphone)
○ Termux-app (Termux developers - GPL-3.0-only)
● Reverse Proxy/Firewall/Router
○ pfSense Community Edition (Rubicon Communications, LLC - Apache 2.0)
○ HAProxy (Willy Tarreau - GPL-2.0)
○ Wireguard (Jason A. Donenfeld - GPL-2.0)
● Stream Handler
○ Node-RED (IBM Emerging Technology/OpenJS Foundation - Apache 2.0)
● Audio Spatializer
○ Unreal Engine 5.0.2 (Epic Games, Inc. - Standard license (Royalty-free under 1’000’000 USD))
○ Cesium-unreal (Cesium - Apache 2.0)
○ Cesium Ion (Cesium - Personal non-commercial)
○ Project Acoustics (Microsoft Corporation - CC-BY-4.0)
○ Blueprint WebSockets (Zephyr Entertainment - Epic Content License Agreement)
○ GStreamer (GStreamer Team - LGPL-2.1-or-later)
● Plateau 3D Tileset Host
○ NodeJS (Ryan Dahl/OpenJS Foundation - MIT)
○ Express (Several credited authors/OpenJS Foundation - MIT)
○ 3D都市モデル（ Project PLATEAU）
Project Supporter:
Eric NARDINI
Swiss Federal Institute of
Technology Lausanne
Audio Designer
@e_garbage_
Slide 3
Slide 3 text
No content
Slide 4
Slide 4 text
都市に新たなレイヤー（視覚UI） 都市に新たなレイヤー（聴覚UI）
アイデア Idea | Why Plateau | System Development | Use Case
？
Image Source: Scape Technologies
Slide 5
Slide 5 text
背景: 現存の聴覚体験の応用 Idea | Why Plateau | System Development | Use Case
Image Source: サウンドウォーク ～ムーミン谷の冬～
Image Source: Dolby Laboratories, Inc. Dolby Professional Cinema Solutions
Image Source: Apple Inc., Sony Corporation
空間オーディオヘッドフォン
〇 スモールスケールの空間
中の立体音体験
✕ 都市スケールは不可
オーディオガイド・ワーク
〇 バーチャルと現実の融和体験
✕ 空間オーディオ応用していない
ため、没入感が弱い
立体音響スピーカーアレイ
〇 空間オーディの品質
✕ 個人ユーザーに対して設
置のハードルが高い
Microsoft Soundscape
〇 視覚障害者向け
✕ トラッキング精度が低いため、
実用性が低い
ハードウェア ソフトウェア
Image Source: Mehedi Hassan. Microsoft Soundscape Now Supports
Bose Frames to Better Help the Blind, Thurrott.
Slide 6
Slide 6 text
提案： PLATONE Idea | Why Plateau | System Development | Use Case
Location-based spatial audio experience
A georeferenced, real-time spatial soundscape platform
地理参照情報を基づいたリアルタイム空間サウンドスケーププラットフォーム
Slide 7
Slide 7 text
No content
Slide 8
Slide 8 text
空間オーディオ生成のため物理環境3Dデータの必要性 Idea | Why Plateau | System Development | Use Case
Open Space Narrow Space Occlusion
Matching spatial audio to the actual physical environment is critical for creating an immersive experience.
空間オーディオを実際の物理的環境にマッチングさせることは、没入感のある体験を実現するために非常に重要である。
Slide 9
Slide 9 text
Idea | Why Plateau | System Development | Use Case
シミュレーション結果による空間オーディオのリアルタイム生成
Audio Spatializer
Unreal Engine 5 上 Plateau データによるシミュ
レーションの例
Wave Propagator
都市の中の音伝搬例の可視化（イメージ）
Slide 10
Slide 10 text
No content
Slide 11
Slide 11 text
フローダイアグラム Idea | Why Plateau | System Development | Use Case
都市スケールアウトドアトラッキン
グのため、高精度&低遅延が必要
Slide 12
Slide 12 text
GP-01 プロトタイプ （69.2g） 開放型モニターヘッドホンの改造
高精度位置・方位検出システムプロトタイプ Idea | Why Plateau | System Development | Use Case
装着イメージ
Slide 13
Slide 13 text
GNSSトラッキング実測比較 (歩行@東京都新宿区、千代田区, 1Hz)
VLBI observation stations and GPS
continuous observation network.
Image Source: GSI
アウトドア位置トラッキング: RTK-GNSS Idea | Why Plateau | System Development | Use Case
RTK-GNSS. Image Source: GSI
Slide 14
Slide 14 text
アウトドア方位トラッキング: 9DoF IMU Idea | Why Plateau | System Development | Use Case
IMUデータストリーミング実装テスト
✕ 6DoF IMU:
ドリフト蓄積問題と地磁気センサなし問題
があり、アウトドア利用は困難。
〇 9DoF IMU (BNO055):
地磁気センサにより都市の中でユーザー
の向き(絶対方位)取得が可能。
Image Source: twitter @ConcreteSciFi
Image Source: 秋月電子通商
Slide 15
Slide 15 text
低遅延ソフトウェアネットワーク 2022/12 Idea | Why Plateau | System Development | Use Case
Total: 135[ms]
Slide 16
Slide 16 text
低遅延ソフトウェアネットワーク 2023/02 Idea | Why Plateau | System Development | Use Case
Total: 15~89[ms]
Slide 17
Slide 17 text
位置と方位情報をクラウドサーバーにリアルタイム反映 Idea | Why Plateau | System Development | Use Case
Slide 18
Slide 18 text
No content
Slide 19
Slide 19 text
USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System Development | Use Case
麒麟の唸り
ベルチャイム 日本橋周辺オーディオソース配置ダイアグラム
Slide 20
Slide 20 text
USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System Development | Use Case
Slide 21
Slide 21 text
USE CASE 2: 交差点の立体合奏 Idea | Why Plateau | System Development | Use Case
ある交差点周辺オーディオソース配置ダイアグラム
Slide 22
Slide 22 text
For Tourists | 観光客向け
Immersive Spatial Audio Augmented Walk
PLATONE: フィジカル空間を聴覚的に拡張するプラットフォーム Idea | Why Plateau | System Development | Use Case
For Developers | 開発者向け
City Scale Audio Spatilization Open Data
For Visually Impaired | 視覚障害者向け
High-precision outdoor positioning system
For Music Lovers | 音楽好きな人向け
City Scale Spatial Music Experience
…
…
Slide 23
Slide 23 text
Alex ORSHOLITS @highvis_supply
Yiyuan QIAN @seleca789
Eric NARDINI @e_garbage_