Share
Embed
No.9_PLATONE プラトーン
PLATEAU AWARD 2022 ファイナリスト作品No.9
チーム名:ORSHOLITS Alex
作品名:PLATONE プラトーン
国土交通省都市政策課
March 08, 2023
Transcript
23 slides
-
Software Used Alex ORSHOLITS 東京大学工学系研究科 小渕研究室 PhD Candidate @highvis_supply Yiyuan
QIAN 株式会社日建設計 Digital Design Lab Computational Designer @seleca789 Credits • GP-01 Positional System ◦ ESP-IDF (Espressif Systems - Apache 2.0) ◦ ArduinoJSON (Benoît Blanchon - MIT) ◦ ArduinoWebsockets (Gil Maimon - GPL-3.0) ◦ FreeRTOS (Amazon.com, Inc - MIT) ◦ Mbed TLS (ARM Limited - Apache 2.0) ◦ Arduino (Arduino Team - GPL-3.0) • Listener Device (smartphone) ◦ Termux-app (Termux developers - GPL-3.0-only) • Reverse Proxy/Firewall/Router ◦ pfSense Community Edition (Rubicon Communications, LLC - Apache 2.0) ◦ HAProxy (Willy Tarreau - GPL-2.0) ◦ Wireguard (Jason A. Donenfeld - GPL-2.0) • Stream Handler ◦ Node-RED (IBM Emerging Technology/OpenJS Foundation - Apache 2.0) • Audio Spatializer ◦ Unreal Engine 5.0.2 (Epic Games, Inc. - Standard license (Royalty-free under 1’000’000 USD)) ◦ Cesium-unreal (Cesium - Apache 2.0) ◦ Cesium Ion (Cesium - Personal non-commercial) ◦ Project Acoustics (Microsoft Corporation - CC-BY-4.0) ◦ Blueprint WebSockets (Zephyr Entertainment - Epic Content License Agreement) ◦ GStreamer (GStreamer Team - LGPL-2.1-or-later) • Plateau 3D Tileset Host ◦ NodeJS (Ryan Dahl/OpenJS Foundation - MIT) ◦ Express (Several credited authors/OpenJS Foundation - MIT) ◦ 3D都市モデル( Project PLATEAU) Project Supporter: Eric NARDINI Swiss Federal Institute of Technology Lausanne Audio Designer @e_garbage_ -
都市に新たなレイヤー(視覚UI) 都市に新たなレイヤー(聴覚UI) アイデア Idea | Why Plateau | System Development
| Use Case ? Image Source: Scape Technologies -
背景: 現存の聴覚体験の応用 Idea | Why Plateau | System Development |
Use Case Image Source: サウンドウォーク ~ムーミン谷の冬~ Image Source: Dolby Laboratories, Inc. Dolby Professional Cinema Solutions Image Source: Apple Inc., Sony Corporation 空間オーディオヘッドフォン 〇 スモールスケールの空間 中の立体音体験 ✕ 都市スケールは不可 オーディオガイド・ワーク 〇 バーチャルと現実の融和体験 ✕ 空間オーディオ応用していない ため、没入感が弱い 立体音響スピーカーアレイ 〇 空間オーディの品質 ✕ 個人ユーザーに対して設 置のハードルが高い Microsoft Soundscape 〇 視覚障害者向け ✕ トラッキング精度が低いため、 実用性が低い ハードウェア ソフトウェア Image Source: Mehedi Hassan. Microsoft Soundscape Now Supports Bose Frames to Better Help the Blind, Thurrott. -
提案: PLATONE Idea | Why Plateau | System Development |
Use Case Location-based spatial audio experience A georeferenced, real-time spatial soundscape platform 地理参照情報を基づいたリアルタイム空間サウンドスケーププラットフォーム -
空間オーディオ生成のため物理環境3Dデータの必要性 Idea | Why Plateau | System Development | Use
Case Open Space Narrow Space Occlusion Matching spatial audio to the actual physical environment is critical for creating an immersive experience. 空間オーディオを実際の物理的環境にマッチングさせることは、没入感のある体験を実現するために非常に重要である。 -
Idea | Why Plateau | System Development | Use Case
シミュレーション結果による空間オーディオのリアルタイム生成 Audio Spatializer Unreal Engine 5 上 Plateau データによるシミュ レーションの例 Wave Propagator 都市の中の音伝搬例の可視化(イメージ) -
フローダイアグラム Idea | Why Plateau | System Development | Use
Case 都市スケールアウトドアトラッキン グのため、高精度&低遅延が必要 -
GP-01 プロトタイプ (69.2g) 開放型モニターヘッドホンの改造 高精度位置・方位検出システムプロトタイプ Idea | Why Plateau |
System Development | Use Case 装着イメージ -
GNSSトラッキング実測比較 (歩行@東京都新宿区、千代田区, 1Hz) VLBI observation stations and GPS continuous observation
network. Image Source: GSI アウトドア位置トラッキング: RTK-GNSS Idea | Why Plateau | System Development | Use Case RTK-GNSS. Image Source: GSI -
アウトドア方位トラッキング: 9DoF IMU Idea | Why Plateau | System Development
| Use Case IMUデータストリーミング実装テスト ✕ 6DoF IMU: ドリフト蓄積問題と地磁気センサなし問題 があり、アウトドア利用は困難。 〇 9DoF IMU (BNO055): 地磁気センサにより都市の中でユーザー の向き(絶対方位)取得が可能。 Image Source: twitter @ConcreteSciFi Image Source: 秋月電子通商 -
低遅延ソフトウェアネットワーク 2022/12 Idea | Why Plateau | System Development |
Use Case Total: 135[ms] -
低遅延ソフトウェアネットワーク 2023/02 Idea | Why Plateau | System Development |
Use Case Total: 15~89[ms] -
USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System
Development | Use Case 麒麟の唸り ベルチャイム 日本橋周辺オーディオソース配置ダイアグラム -
USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System
Development | Use Case -
USE CASE 2: 交差点の立体合奏 Idea | Why Plateau | System
Development | Use Case ある交差点周辺オーディオソース配置ダイアグラム -
For Tourists | 観光客向け Immersive Spatial Audio Augmented Walk PLATONE:
フィジカル空間を聴覚的に拡張するプラットフォーム Idea | Why Plateau | System Development | Use Case For Developers | 開発者向け City Scale Audio Spatilization Open Data For Visually Impaired | 視覚障害者向け High-precision outdoor positioning system For Music Lovers | 音楽好きな人向け City Scale Spatial Music Experience … …