$30 off During Our Annual Pro Sale. View Details »

No.9_PLATONE プラトーン

No.9_PLATONE プラトーン

PLATEAU AWARD 2022 ファイナリスト作品No.9
チーム名:ORSHOLITS Alex
作品名:PLATONE プラトーン

More Decks by 国土交通省都市政策課

Transcript

  1. View Slide

  2. Software Used
    Alex ORSHOLITS
    東京大学工学系研究科
    小渕研究室
    PhD Candidate
    @highvis_supply
    Yiyuan QIAN
    株式会社日建設計
    Digital Design Lab
    Computational Designer
    @seleca789
    Credits
    ● GP-01 Positional System
    ○ ESP-IDF (Espressif Systems - Apache 2.0)
    ○ ArduinoJSON (Benoît Blanchon - MIT)
    ○ ArduinoWebsockets (Gil Maimon - GPL-3.0)
    ○ FreeRTOS (Amazon.com, Inc - MIT)
    ○ Mbed TLS (ARM Limited - Apache 2.0)
    ○ Arduino (Arduino Team - GPL-3.0)
    ● Listener Device (smartphone)
    ○ Termux-app (Termux developers - GPL-3.0-only)
    ● Reverse Proxy/Firewall/Router
    ○ pfSense Community Edition (Rubicon Communications, LLC - Apache 2.0)
    ○ HAProxy (Willy Tarreau - GPL-2.0)
    ○ Wireguard (Jason A. Donenfeld - GPL-2.0)
    ● Stream Handler
    ○ Node-RED (IBM Emerging Technology/OpenJS Foundation - Apache 2.0)
    ● Audio Spatializer
    ○ Unreal Engine 5.0.2 (Epic Games, Inc. - Standard license (Royalty-free under 1’000’000 USD))
    ○ Cesium-unreal (Cesium - Apache 2.0)
    ○ Cesium Ion (Cesium - Personal non-commercial)
    ○ Project Acoustics (Microsoft Corporation - CC-BY-4.0)
    ○ Blueprint WebSockets (Zephyr Entertainment - Epic Content License Agreement)
    ○ GStreamer (GStreamer Team - LGPL-2.1-or-later)
    ● Plateau 3D Tileset Host
    ○ NodeJS (Ryan Dahl/OpenJS Foundation - MIT)
    ○ Express (Several credited authors/OpenJS Foundation - MIT)
    ○ 3D都市モデル( Project PLATEAU)
    Project Supporter:
    Eric NARDINI
    Swiss Federal Institute of
    Technology Lausanne
    Audio Designer
    @e_garbage_

    View Slide

  3. View Slide

  4. 都市に新たなレイヤー(視覚UI) 都市に新たなレイヤー(聴覚UI)
    アイデア Idea | Why Plateau | System Development | Use Case

    Image Source: Scape Technologies

    View Slide

  5. 背景: 現存の聴覚体験の応用 Idea | Why Plateau | System Development | Use Case
    Image Source: サウンドウォーク ~ムーミン谷の冬~
    Image Source: Dolby Laboratories, Inc. Dolby Professional Cinema Solutions
    Image Source: Apple Inc., Sony Corporation
    空間オーディオヘッドフォン
    〇 スモールスケールの空間
    中の立体音体験
    ✕ 都市スケールは不可
    オーディオガイド・ワーク
    〇 バーチャルと現実の融和体験
    ✕ 空間オーディオ応用していない
    ため、没入感が弱い
    立体音響スピーカーアレイ
    〇 空間オーディの品質
    ✕ 個人ユーザーに対して設
    置のハードルが高い
    Microsoft Soundscape
    〇 視覚障害者向け
    ✕ トラッキング精度が低いため、
    実用性が低い
    ハードウェア ソフトウェア
    Image Source: Mehedi Hassan. Microsoft Soundscape Now Supports
    Bose Frames to Better Help the Blind, Thurrott.

    View Slide

  6. 提案: PLATONE Idea | Why Plateau | System Development | Use Case
    Location-based spatial audio experience
    A georeferenced, real-time spatial soundscape platform
    地理参照情報を基づいたリアルタイム空間サウンドスケーププラットフォーム

    View Slide

  7. View Slide

  8. 空間オーディオ生成のため物理環境3Dデータの必要性 Idea | Why Plateau | System Development | Use Case
    Open Space Narrow Space Occlusion
    Matching spatial audio to the actual physical environment is critical for creating an immersive experience.
    空間オーディオを実際の物理的環境にマッチングさせることは、没入感のある体験を実現するために非常に重要である。

    View Slide

  9. Idea | Why Plateau | System Development | Use Case
    シミュレーション結果による空間オーディオのリアルタイム生成
    Audio Spatializer
    Unreal Engine 5 上 Plateau データによるシミュ
    レーションの例
    Wave Propagator
    都市の中の音伝搬例の可視化(イメージ)

    View Slide

  10. View Slide

  11. フローダイアグラム Idea | Why Plateau | System Development | Use Case
    都市スケールアウトドアトラッキン
    グのため、高精度&低遅延が必要

    View Slide

  12. GP-01 プロトタイプ (69.2g) 開放型モニターヘッドホンの改造
    高精度位置・方位検出システムプロトタイプ Idea | Why Plateau | System Development | Use Case
    装着イメージ

    View Slide

  13. GNSSトラッキング実測比較 (歩行@東京都新宿区、千代田区, 1Hz)
    VLBI observation stations and GPS
    continuous observation network.
    Image Source: GSI
    アウトドア位置トラッキング: RTK-GNSS Idea | Why Plateau | System Development | Use Case
    RTK-GNSS. Image Source: GSI

    View Slide

  14. アウトドア方位トラッキング: 9DoF IMU Idea | Why Plateau | System Development | Use Case
    IMUデータストリーミング実装テスト
    ✕ 6DoF IMU:
    ドリフト蓄積問題と地磁気センサなし問題
    があり、アウトドア利用は困難。
    〇 9DoF IMU (BNO055):
    地磁気センサにより都市の中でユーザー
    の向き(絶対方位)取得が可能。
    Image Source: twitter @ConcreteSciFi
    Image Source: 秋月電子通商

    View Slide

  15. 低遅延ソフトウェアネットワーク 2022/12 Idea | Why Plateau | System Development | Use Case
    Total: 135[ms]

    View Slide

  16. 低遅延ソフトウェアネットワーク 2023/02 Idea | Why Plateau | System Development | Use Case
    Total: 15~89[ms]

    View Slide

  17. 位置と方位情報をクラウドサーバーにリアルタイム反映 Idea | Why Plateau | System Development | Use Case

    View Slide

  18. View Slide

  19. USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System Development | Use Case
    麒麟の唸り
    ベルチャイム 日本橋周辺オーディオソース配置ダイアグラム

    View Slide

  20. USE CASE 1: PLATONE日本橋観光ウォーク Idea | Why Plateau | System Development | Use Case

    View Slide

  21. USE CASE 2: 交差点の立体合奏 Idea | Why Plateau | System Development | Use Case
    ある交差点周辺オーディオソース配置ダイアグラム

    View Slide

  22. For Tourists | 観光客向け
    Immersive Spatial Audio Augmented Walk
    PLATONE: フィジカル空間を聴覚的に拡張するプラットフォーム Idea | Why Plateau | System Development | Use Case
    For Developers | 開発者向け
    City Scale Audio Spatilization Open Data
    For Visually Impaired | 視覚障害者向け
    High-precision outdoor positioning system
    For Music Lovers | 音楽好きな人向け
    City Scale Spatial Music Experience


    View Slide

  23. Alex ORSHOLITS @highvis_supply
    Yiyuan QIAN @seleca789
    Eric NARDINI @e_garbage_

    View Slide