No.9_PLATONE プラトーン

PLATEAU AWARD 2022 ファイナリスト作品No.9
チーム名：ORSHOLITS Alex
作品名：PLATONE プラトーン

Transcript

2. Software Used Alex ORSHOLITS 東京大学工学系研究科 小渕研究室 PhD Candidate @highvis_supply Yiyuan QIAN 株式会社日建設計 Digital Design Lab Computational Designer @seleca789 Credits • GP-01 Positional System ◦ ESP-IDF (Espressif Systems - Apache 2.0) ◦ ArduinoJSON (Benoît Blanchon - MIT) ◦ ArduinoWebsockets (Gil Maimon - GPL-3.0) ◦ FreeRTOS (Amazon.com, Inc - MIT) ◦ Mbed TLS (ARM Limited - Apache 2.0) ◦ Arduino (Arduino Team - GPL-3.0) • Listener Device (smartphone) ◦ Termux-app (Termux developers - GPL-3.0-only) • Reverse Proxy/Firewall/Router ◦ pfSense Community Edition (Rubicon Communications, LLC - Apache 2.0) ◦ HAProxy (Willy Tarreau - GPL-2.0) ◦ Wireguard (Jason A. Donenfeld - GPL-2.0) • Stream Handler ◦ Node-RED (IBM Emerging Technology/OpenJS Foundation - Apache 2.0) • Audio Spatializer ◦ Unreal Engine 5.0.2 (Epic Games, Inc. - Standard license (Royalty-free under 1’000’000 USD)) ◦ Cesium-unreal (Cesium - Apache 2.0) ◦ Cesium Ion (Cesium - Personal non-commercial) ◦ Project Acoustics (Microsoft Corporation - CC-BY-4.0) ◦ Blueprint WebSockets (Zephyr Entertainment - Epic Content License Agreement) ◦ GStreamer (GStreamer Team - LGPL-2.1-or-later) • Plateau 3D Tileset Host ◦ NodeJS (Ryan Dahl/OpenJS Foundation - MIT) ◦ Express (Several credited authors/OpenJS Foundation - MIT) ◦ 3D都市モデル（ Project PLATEAU） Project Supporter: Eric NARDINI Swiss Federal Institute of Technology Lausanne Audio Designer @e_garbage_
4. 都市に新たなレイヤー（視覚UI） 都市に新たなレイヤー（聴覚UI） アイデア Idea | Why Plateau | System Development | Use Case ？ Image Source: Scape Technologies
5. 背景: 現存の聴覚体験の応用 Idea | Why Plateau | System Development | Use Case Image Source: サウンドウォーク　～ムーミン谷の冬～ Image Source: Dolby Laboratories, Inc. Dolby Professional Cinema Solutions Image Source: Apple Inc., Sony Corporation 空間オーディオヘッドフォン 〇 スモールスケールの空間 中の立体音体験 ✕ 都市スケールは不可 オーディオガイド・ワーク 〇 バーチャルと現実の融和体験 ✕ 空間オーディオ応用していない ため、没入感が弱い 立体音響スピーカーアレイ 〇 空間オーディの品質 ✕ 個人ユーザーに対して設 置のハードルが高い Microsoft Soundscape 〇 視覚障害者向け ✕ トラッキング精度が低いため、 実用性が低い ハードウェア ソフトウェア Image Source: Mehedi Hassan. Microsoft Soundscape Now Supports Bose Frames to Better Help the Blind, Thurrott.
6. 提案： PLATONE Idea | Why Plateau | System Development | Use Case Location-based spatial audio experience A georeferenced, real-time spatial soundscape platform 地理参照情報を基づいたリアルタイム空間サウンドスケーププラットフォーム
8. 空間オーディオ生成のため物理環境3Dデータの必要性 Idea | Why Plateau | System Development | Use Case Open Space Narrow Space Occlusion Matching spatial audio to the actual physical environment is critical for creating an immersive experience. 空間オーディオを実際の物理的環境にマッチングさせることは、没入感のある体験を実現するために非常に重要である。
9. Idea | Why Plateau | System Development | Use Case シミュレーション結果による空間オーディオのリアルタイム生成 Audio Spatializer Unreal Engine 5 上 Plateau データによるシミュ レーションの例 Wave Propagator 都市の中の音伝搬例の可視化（イメージ）
11. フローダイアグラム Idea | Why Plateau | System Development | Use Case 都市スケールアウトドアトラッキン グのため、高精度&低遅延が必要
12. GP-01 プロトタイプ （69.2g） 開放型モニターヘッドホンの改造 高精度位置・方位検出システムプロトタイプ Idea | Why Plateau | System Development | Use Case 装着イメージ
13. GNSSトラッキング実測比較 (歩行@東京都新宿区、千代田区, 1Hz) VLBI observation stations and GPS continuous observation network. Image Source: GSI アウトドア位置トラッキング: RTK-GNSS Idea | Why Plateau | System Development | Use Case RTK-GNSS. Image Source: GSI
14. アウトドア方位トラッキング: 9DoF IMU Idea | Why Plateau | System Development | Use Case IMUデータストリーミング実装テスト ✕ 6DoF IMU: ドリフト蓄積問題と地磁気センサなし問題 があり、アウトドア利用は困難。 〇 9DoF IMU (BNO055): 地磁気センサにより都市の中でユーザー の向き(絶対方位)取得が可能。 Image Source: twitter @ConcreteSciFi Image Source: 秋月電子通商
15. 低遅延ソフトウェアネットワーク 2022/12 Idea | Why Plateau | System Development | Use Case Total: 135[ms]
16. 低遅延ソフトウェアネットワーク 2023/02 Idea | Why Plateau | System Development | Use Case Total: 15~89[ms]
17. 位置と方位情報をクラウドサーバーにリアルタイム反映 Idea | Why Plateau | System Development | Use Case
19. USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System Development | Use Case 麒麟の唸り ベルチャイム 日本橋周辺オーディオソース配置ダイアグラム
20. USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System Development | Use Case
21. USE CASE 2: 交差点の立体合奏 Idea | Why Plateau | System Development | Use Case ある交差点周辺オーディオソース配置ダイアグラム
22. For Tourists | 観光客向け Immersive Spatial Audio Augmented Walk PLATONE: フィジカル空間を聴覚的に拡張するプラットフォーム Idea | Why Plateau | System Development | Use Case For Developers | 開発者向け City Scale Audio Spatilization Open Data For Visually Impaired | 視覚障害者向け High-precision outdoor positioning system For Music Lovers | 音楽好きな人向け City Scale Spatial Music Experience … …
23. Alex ORSHOLITS @highvis_supply Yiyuan QIAN @seleca789 Eric NARDINI @e_garbage_