No.9_PLATONE プラトーン

PLATEAU AWARD 2022 ファイナリスト作品No.9
チーム名：ORSHOLITS Alex
作品名：PLATONE プラトーン

Transcript

1. View Slide

2. Software Used
   Alex ORSHOLITS
   東京大学工学系研究科
   小渕研究室
   PhD Candidate
   @highvis_supply
   Yiyuan QIAN
   株式会社日建設計
   Digital Design Lab
   Computational Designer
   @seleca789
   Credits
   ● GP-01 Positional System
   ○ ESP-IDF (Espressif Systems - Apache 2.0)
   ○ ArduinoJSON (Benoît Blanchon - MIT)
   ○ ArduinoWebsockets (Gil Maimon - GPL-3.0)
   ○ FreeRTOS (Amazon.com, Inc - MIT)
   ○ Mbed TLS (ARM Limited - Apache 2.0)
   ○ Arduino (Arduino Team - GPL-3.0)
   ● Listener Device (smartphone)
   ○ Termux-app (Termux developers - GPL-3.0-only)
   ● Reverse Proxy/Firewall/Router
   ○ pfSense Community Edition (Rubicon Communications, LLC - Apache 2.0)
   ○ HAProxy (Willy Tarreau - GPL-2.0)
   ○ Wireguard (Jason A. Donenfeld - GPL-2.0)
   ● Stream Handler
   ○ Node-RED (IBM Emerging Technology/OpenJS Foundation - Apache 2.0)
   ● Audio Spatializer
   ○ Unreal Engine 5.0.2 (Epic Games, Inc. - Standard license (Royalty-free under 1’000’000 USD))
   ○ Cesium-unreal (Cesium - Apache 2.0)
   ○ Cesium Ion (Cesium - Personal non-commercial)
   ○ Project Acoustics (Microsoft Corporation - CC-BY-4.0)
   ○ Blueprint WebSockets (Zephyr Entertainment - Epic Content License Agreement)
   ○ GStreamer (GStreamer Team - LGPL-2.1-or-later)
   ● Plateau 3D Tileset Host
   ○ NodeJS (Ryan Dahl/OpenJS Foundation - MIT)
   ○ Express (Several credited authors/OpenJS Foundation - MIT)
   ○ 3D都市モデル（ Project PLATEAU）
   Project Supporter:
   Eric NARDINI
   Swiss Federal Institute of
   Technology Lausanne
   Audio Designer
   @e_garbage_
   

   View Slide

3. View Slide

4. 都市に新たなレイヤー（視覚UI） 都市に新たなレイヤー（聴覚UI）
   アイデア Idea | Why Plateau | System Development | Use Case
   ？
   Image Source: Scape Technologies
   

   View Slide

5. 背景: 現存の聴覚体験の応用 Idea | Why Plateau | System Development | Use Case
   Image Source: サウンドウォーク　～ムーミン谷の冬～
   Image Source: Dolby Laboratories, Inc. Dolby Professional Cinema Solutions
   Image Source: Apple Inc., Sony Corporation
   空間オーディオヘッドフォン
   〇 スモールスケールの空間
   中の立体音体験
   ✕ 都市スケールは不可
   オーディオガイド・ワーク
   〇 バーチャルと現実の融和体験
   ✕ 空間オーディオ応用していない
   ため、没入感が弱い
   立体音響スピーカーアレイ
   〇 空間オーディの品質
   ✕ 個人ユーザーに対して設
   置のハードルが高い
   Microsoft Soundscape
   〇 視覚障害者向け
   ✕ トラッキング精度が低いため、
   実用性が低い
   ハードウェア ソフトウェア
   Image Source: Mehedi Hassan. Microsoft Soundscape Now Supports
   Bose Frames to Better Help the Blind, Thurrott.
   

   View Slide

6. 提案： PLATONE Idea | Why Plateau | System Development | Use Case
   Location-based spatial audio experience
   A georeferenced, real-time spatial soundscape platform
   地理参照情報を基づいたリアルタイム空間サウンドスケーププラットフォーム
   

   View Slide

7. View Slide

8. 空間オーディオ生成のため物理環境3Dデータの必要性 Idea | Why Plateau | System Development | Use Case
   Open Space Narrow Space Occlusion
   Matching spatial audio to the actual physical environment is critical for creating an immersive experience.
   空間オーディオを実際の物理的環境にマッチングさせることは、没入感のある体験を実現するために非常に重要である。
   

   View Slide

9. Idea | Why Plateau | System Development | Use Case
   シミュレーション結果による空間オーディオのリアルタイム生成
   Audio Spatializer
   Unreal Engine 5 上 Plateau データによるシミュ
   レーションの例
   Wave Propagator
   都市の中の音伝搬例の可視化（イメージ）
   

   View Slide

10. View Slide

11. フローダイアグラム Idea | Why Plateau | System Development | Use Case
    都市スケールアウトドアトラッキン
    グのため、高精度&低遅延が必要
    

    View Slide

12. GP-01 プロトタイプ （69.2g） 開放型モニターヘッドホンの改造
    高精度位置・方位検出システムプロトタイプ Idea | Why Plateau | System Development | Use Case
    装着イメージ
    

    View Slide

13. GNSSトラッキング実測比較 (歩行@東京都新宿区、千代田区, 1Hz)
    VLBI observation stations and GPS
    continuous observation network.
    Image Source: GSI
    アウトドア位置トラッキング: RTK-GNSS Idea | Why Plateau | System Development | Use Case
    RTK-GNSS. Image Source: GSI
    

    View Slide

14. アウトドア方位トラッキング: 9DoF IMU Idea | Why Plateau | System Development | Use Case
    IMUデータストリーミング実装テスト
    ✕ 6DoF IMU:
    ドリフト蓄積問題と地磁気センサなし問題
    があり、アウトドア利用は困難。
    〇 9DoF IMU (BNO055):
    地磁気センサにより都市の中でユーザー
    の向き(絶対方位)取得が可能。
    Image Source: twitter @ConcreteSciFi
    Image Source: 秋月電子通商
    

    View Slide

15. 低遅延ソフトウェアネットワーク 2022/12 Idea | Why Plateau | System Development | Use Case
    Total: 135[ms]
    

    View Slide

16. 低遅延ソフトウェアネットワーク 2023/02 Idea | Why Plateau | System Development | Use Case
    Total: 15~89[ms]
    

    View Slide

17. 位置と方位情報をクラウドサーバーにリアルタイム反映 Idea | Why Plateau | System Development | Use Case
    

    View Slide

18. View Slide

19. USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System Development | Use Case
    麒麟の唸り
    ベルチャイム 日本橋周辺オーディオソース配置ダイアグラム
    

    View Slide

20. USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System Development | Use Case
    

    View Slide

21. USE CASE 2: 交差点の立体合奏 Idea | Why Plateau | System Development | Use Case
    ある交差点周辺オーディオソース配置ダイアグラム
    

    View Slide

22. For Tourists | 観光客向け
    Immersive Spatial Audio Augmented Walk
    PLATONE: フィジカル空間を聴覚的に拡張するプラットフォーム Idea | Why Plateau | System Development | Use Case
    For Developers | 開発者向け
    City Scale Audio Spatilization Open Data
    For Visually Impaired | 視覚障害者向け
    High-precision outdoor positioning system
    For Music Lovers | 音楽好きな人向け
    City Scale Spatial Music Experience
    …
    …
    

    View Slide

23. Alex ORSHOLITS @highvis_supply
    Yiyuan QIAN @seleca789
    Eric NARDINI @e_garbage_
    

    View Slide