デジタルツイン無線システムを支える 地理空間データモデリング 移動通信ワークショップ 2023/3/1(水) 電気通信大学 人工知能先端研究センター 佐藤 光哉 E-mail: [email protected] ※本研究の一部はJST ACT-X JPMJAX21AA の支援を受けたものである ※本資料は講演当日に使用した内容を一部改変・削除したものである

デジタルツイン無線システム 2 データの更新 制御 L. U. Khan et al., “Digital Twin of Wireless Systems: Overview, Taxonomy, Challenges, and Opportunities,” IEEE COMST, 4Q 2022. 根底にある問題 • フィジカル空間上での安易な電 波発信は避けたい (or 規制) • かといって無線システムの特性 は動かしてみてわかる部分も多 く、最適化の素材を集める必要 デジタルツイン • 広大な無線ネットワークをサイ バー空間上で再現 • サイバー空間上でネットワーク を適応化、その結果からフィジ カル上のシステムを制御

デジタルツイン無線システム 3 データの更新 制御 L. U. Khan et al., “Digital Twin of Wireless Systems: Overview, Taxonomy, Challenges, and Opportunities,” IEEE COMST, 4Q 2022. 根底にある問題 • フィジカル空間上での安易な電 波発信は避けたい (or 規制) • かといって無線システムの特性 は動かしてみてわかる部分も多 く、最適化の素材を集める必要 デジタルツイン • 広大な無線ネットワークをサイ バー空間上で再現 • サイバー空間上でネットワーク を適応化、その結果からフィジ カル上のシステムを制御 データの更新 制御 • 精度良くサイバー空間を構成するためにはフィジカル空間上の構造物等 の情報の取得が重要では？ Ø本発表では屋内外の地理空間データに焦点を当ててみる

地理空間データ (Geospatial Data)とは 4 地球の表面上またはその近くに位置するオブジェクト、イベント、または その他の機能を説明する情報です。 地理空間データは通常、位置情報と 属性情報を時間情報と組み合わせます。 提供される場所は、短期的には 静的または動的の場合があります 出典: IBM, 地理空間データとは. https://www.ibm.com/jp-ja/topics/geospatial-data 無線システムへ強く影響を与える地理空間データの例 • 構造物 • 地図情報の変化 • 屋内の障害物 • 木々や車両, 歩行者 動的 静的 これらの取得方法は異分野の話題ではあるが… • 取得可能な情報や不足情報の補完方法 • その精度や無線シミュレータへの影響の理解 など重要であり、デジタルツインの設計と両輪で進めることが不可欠

関連検討の例 5 エミュレータの設計 • 松村他, “サイバーフィジカル融合によるワイヤレスシステムエミュレーション用プラット フォーム,” SRW2021-26, 2021年8月. • DARPA, “World’s Most Powerful RF Emulator to Become National Wireless Research Asset,” https://archive.darpa.mil/sc2/news/worlds-mostpowerful-rf-emulator-to- become-national-wirelessresearch-asset/, Sept. 2020. 理論検討 • Y. Lu et al., "Adaptive Edge Association for Wireless Digital Twin Networks in 6G," IEEE JIoT, Nov. 2021. • Y. Lu et al., "Low-Latency Federated Learning and Blockchain for Edge Association in Digital Twin Empowered 6G Networks," IEEE TII, July 2021. イメージセンサ応用による不足情報のモデリング • P. Koivumäki et al., “Impacts of Point Cloud Modeling on the Accuracy of Ray-Based Multipath Propagation Simulations, ” IEEE TAP, Aug. 2021. • 吉敷 他, “CPS ワイヤレスエミュレータのためのレイトレーシングレイヤの電波伝搬モデ ル,” 信学論, 2022年11月. • (広い意味で) T. Nishio et al., "Proactive Received Power Prediction Using Machine Learning and Depth Images for mmWave Networks," IEEE JSAC, Nov. 2019.

6 屋外編

オープン3D都市モデル 7 • 各国で急速に3D都市モデルの整備とオープンデータ化が推進 Øサイバー-フィジカル融合に向けた動き • 国内：国土交通省主導によるProject PLATEAU Ø2021年8月に全国56都市のオープンデータ化が完了 これらをデジタルツイン無線システムへ活用できないか？ 出典：https://plateauview.jp/

オープン3D都市モデルの国際的な動向 8 Note CityGML形式による整備が進められている • 地理的なデータ構造をXMLベースで表現 • オブジェクトごとに情報を粒度に応じて階層的に紐付け可能 • objのような簡易なベクタへの変換も容易 ヘルシンキ3D バーチャルシンガポール https://www.nrf.gov.sg/programmes/virtual-singapore https://kartta.hel.fi/3d/#/

PLATEAU公開データについて 9 出典：https://www.mlit.go.jp/plateau/learning/ 主要都市 整備済み 一部公開 未対応 • データの詳細さに応じてレベル分け (LOD: Level of Detail) • 全国的に展開されているデータはLOD1 • 位置精度 Ø 水平方向：標準偏差1.75m 以内 → 171.3MHzの1波長分 Ø 垂直方向：標準偏差0.66m 以内 → 454.2MHzの1波長分

シミュレータの構築と初期評価 10 • Python+numpyで3Dモデルネイティブ対応のシミュレータを構築 • 観測対象：屋外LTE商用局@青山 • 車両の屋根へ搭載したアンテナにより移動観測 Ø主要な取得情報：セルID，チャネル，受信位置，通信時間，受信電力 • 観測機材 ：PCTEL IBflex • 受信側アンテナ ：無指向性 • 観測時期 ：2020年11月 (6日間) ※本データは電通大 藤井威生 研究室より提供いただきました．関係者各位に感謝します 評価シナリオ 2615.20MHz 3530.20MHz • メッシュ平均等は施さず全て瞬時値

Root Mean Squared Error (RMSE) 特性 11 2.6GHz 2.6GHz 3.5GHz 3.5GHz w/ オープン3D地図 理論モデル • レイトレーシング (RT)の結果へ単回帰 (OLS)を適用す ることで，安定した精度 Ø “大まかな傾向は上手く掴めるが、スペシフィックな 変動推定に改善の余地あり”との傾向を示唆 データ RT RT w/ OLS Friis Two Ray Case A 4.074 3.099 6.032 6.627 Case B 4.953 4.088 4.358 7.625 Case C 4.100 4.257 4.118 6.909 Case D 4.402 4.025 4.285 7.009

12 屋内編

LOD1データにおける不足情報 13 出典：https://www.mlit.go.jp/plateau/learning/ 23区整備済み ごく一部公開 未対応 • LOD4の整備(≒屋内データの整備)は遠い向こうの話 Øローカル5Gや過密Wi-Fi等で重要…だが、自前でモデリングする必要 • LOD1の不足情報補完に向けたイメージセンサ応用の一例を紹介します ※菅 宣理 先生(芝浦工大), 前田 慶博 先生 (東京理科大) との成果です

三次元再構成による電波伝搬シミュレーション 14 RGB images ・ ・ ・ Depth images ・ ・ ・ Point clouds ・ ・ ・ Integrated point cloud Semantic segmentation based on PointNet++ Semantic-segmented point cloud ICP Ray tracing with approximated cuboids (a) RGB-D image acquisition (b) 3D reconstruction and semantic segmentation (c) Cuboid approximation for indoor room Received Signal Power Transmitter (d) Ray tracing Point Cloud for objects Cuboid approximation for objects Cuboids Cuboid approximation for walls, ceilings, and floors Modeled indoor information Cuboids Plane estimation Conversion • 屋内環境をRGB-Dセンサで撮影、三次元再構成により立方体近似 • レイトレーシングで任意の送信位置における伝搬特性を評価 • 佐藤, 菅, 前田, "イメージセンサおよび三次元再構成を用いた屋内電波伝搬シミュレーションの自動化に向けた検 討," SR2022-12, 2022年5月. • N. Suga, Y. Maeda and K. Sato, “Indoor Radio Map Construction via Ray Tracing with RGB-D Sensor-Based 3D Reconstruction: Concept and Experiments in WLAN Systems,” IEEE Access, March 2023 (accepted).

提案方式(1/3): 点群の取得 15 RGB-Dセンサを用いて 移動撮影 RGB+Depth情報から、各 撮影位置における点群とそ の三次元座標を取得

提案方式(2/3): 三次元再構成+ラベル付け 16 各画像中の点群の位置合わせを行い1つの点群データに落とし込む • ICP (Iterative Closest Point)アルゴリズムを用いた 各点をセマンティックセグメンテーションによりラベル付け • 深層学習器であるPointNet++を用いた Ø{天井、床、壁、梁、棚、窓、ドア、 Øテーブル、椅子、ソファ、書架、ボード、その他}

提案方式(3/3): 物体の立方体近似 17 1. 点群を部屋情報と物体に分離 Ø部屋情報：{天井、床、壁、梁、棚、窓、ドア} Ø物体：{テーブル、椅子、ソファ、書架、ボード、その他} 2. ラベルごと、距離が近い点群をクラスタリングの上で立方体近似 Ø “距離が近い”：点間の最小距離をハイパーパラメータとする

屋内無線LANを用いた観測実験 18 (a) (b) 9.65 m 3.25 m desk desk desk shelf shelf shelf locker window door door Tx Rx position (LOS) photo angle Rx position (NLOS) A B C D 撮影概要 • 使用センサ：Intel RealSense D455 • 小型三脚に固定した上で手で持ち、歩行しな がら部屋を周回して撮影した Ø30fpsの動画像として約1.5分間取得 • 画像総数3248枚 (a) (b) 9.65 m 3.25 m desk desk desk shelf shelf shelf locker window door door Tx Rx position (LOS) photo angle Rx position (NLOS) A B C D E F

屋内無線LANを用いた観測実験 19 無線観測概要 • 使用周波数：2452MHz, 5180MHz • WLANドングル：Buffalo, WI-U2- 433DHP • 使用OS: Ubuntu 20.04 LTS • ビーコン信号のdBm値を観測 • 10cm間隔, 各地点1秒ごと10サンプル 観測 (a) (b) 9.65 m 3.25 m desk desk desk shelf shelf shelf locker window door door Tx Rx position (LOS) photo angle Rx position (NLOS) A B C D (a) (b) 9.65 m 3.25 m desk desk desk shelf shelf shelf locker window door door Tx Rx position (LOS) photo angle Rx position (NLOS) A B C D E F

屋内無線LANにおける受信電力推定の実験 20 (b) 9.65 m 3.25 m desk desk desk shelf shelf shelf locker window door door Tx Rx position (LOS) photo angle Rx position (NLOS) A B C D E F 三次元再構成 • エリア全体に渡って精度よく伝搬特 性の推定が可能 • 2452MHzでも同様の傾向を確認 周波数: 5180MHz

ハイパーパラメータの影響 21 点群-立方体間の距離 (平均絶対誤差) ψ (m) 0.5 0.1 0.05 0.025 0.15 0.10 0.05 0.05 Mean absolute error (m) 0.15 0.10 0.05 0.05 Mean absolute error (m) ψ (m) 0.5 0.1 0.05 0.025 (a) Objects (experimental room) (b) Walls, floor, and ceil (experimental room) (c) Objects (office room) (d) Walls, floor, and ceil (office room) 三次元再構成例 28.8dB 3.46dB 6.36dB 3.27dB 机、棚など 壁、天井など ※数値は2452MHzの受信電力に 対するRMSE • 点群の座標に対し0.1m未満のMAEで立方体近似可能 • 再構成結果が視覚的に微妙でも良好な伝搬予測の精度が得られる可能性

ここまでの検討を通しての雑感 22 • 屋外の構造物情報の整備は急速に進んでいる Ø不足情報もGoogle Earth等から補完可能 (要具体検討) Ø海外の動向を鑑みてもオープン3D都市モデルの活用がよさそう • オープンデータでの対応が困難な領域 Ø屋内環境情報 • ローカル5Gなど、屋内外の設計に関する需要は高い Øリアルタイムな変動情報 (車両、人流、…) • センサ活用により精度良く再現できるが、通信側の負荷が増大 Øリアルタイム性-通信負荷のトレードオフとどう付き合うか • もはや無線分野内だけでどうにかできる領域ではない Ø関連分野との連携が重要では？ Ø空間情報学、計算科学、画像処理、測量、…