地上と車載のLiDARによる協調移動物体追跡システムのシミュレーション環境構築

ITS（高度道路交通システム）の分野において、安全運転支援や交通事故防止のため、自車周辺の車両や歩行者などの移動物体を高精度センサにより追跡し、クラウド空間を介して車と交通インフラなどが相互に情報を共有する仕組みがある。これにより追跡した周辺移動物体の情報をGoogle Mapに表示・配信することで、潜在的な危険の予測に活用するためのシミュレーション環境を構築する研究である。

Transcript

1. Doshisha University 地上と車載のLiDARによる協調移動物体追跡システムの シミュレーション環境構築 卒業論文発表会 知能メカトロ情報システム研究室 1116180014 井戸 春希
2. Doshisha University 目次 2 1. 緒論 2. 実験システムの構成 3. シミュレーション環境 4. 実験 5. 結論
3. Doshisha University 目次 3 1. 緒論 2. 実験システムの構成 3. シミュレーション環境 4. 実験 5. 結論
4. Doshisha University 緒論|研究背景(1) • ITSの分野において，安全走行支援やアクティブセーフティの研究 が盛んに行われている • LiDARにより車両や歩行者などの移動物体を追跡（位置・速度・ 大きさを推定）する技術は重要 • 交通事故防止のため，自車周辺の歩行者や車両に危険を知らせる 仕組みが必要 LiDARを用いた周辺認識 velodyne LiDAR ITS：Intelligent Transport Systems(高度道路交通システム) LiDAR：Light Detection and Ranging 4
5. Doshisha University 緒論|研究背景(2) 追跡情報をアップロード • 周辺の車両や歩行者へ配信 ➢ 潜在的な危険の予測に活用 Source: TED, Chris Urmson, How a driverless car sees the road, 2015. Cloud空間 V2X通信 • V2V (車と車) • V2P (車と歩行者) • V2I (車とインフラ) 5
6. Doshisha University 緒論|研究背景(3) 地上LiDAR －インフラに設置したLiDAR 車載LiDAR －車両の搭載したLiDAR 1)M. Ozaki, K. Kakinuma, M. Hashimoto, and K. Takahashi,“ Laser Based Pedestrian Tracking in Outdoor Environments by Multiple Mobile Robots, ” Sensors, vol.12, pp.14489-14507, 2012. 6 ◼ 車載LiDARだけでなく地上LiDARの情報も共有し環境を認識 協調移動物体追跡1) －死角を低減 －追跡の精度と信頼性の向上 サーバ
7. Doshisha University 緒論|研究背景(4) 7 ◼ 仮想道路環境を使用 仮想道路環境 ◼ 実環境での実験 従来 本研究 実環境 • 天候や時間帯により，実験が左右される • 実験者の安全性に不安 • 多種多様な交通シナリオを再現 • 事故や危険を伴う実験も実施可能
8. Doshisha University  仮想道路環境で作成したシナリオでシミュレーションが正常に 動作するか確認 緒論|研究要旨 8 ◼ 交通事故防止のため，歩行者や車両に危険を知らせる仕組みが必要 ➢ 地上と車載のLiDARによる周辺移動物体の追跡情報を 他の車両や歩行者に配信するためのシミュレーション環境を構築 実験 研究概要 危険を通知 追跡情報送信
9. Doshisha University 目次 9 1. 緒論 2. 実験システムの構成 3. シミュレーション環境 4. 実験 5. 結論
10. Doshisha University 実験システムの構成｜LiDAR 10 車載LiDAR 地上LiDAR LiDAR (Light Detection and Ranging) 32 Layers -30.67[deg] +10.67[deg] 最大計測可能距離 50[m] 水平視野角 (分解能) 360 (0.16) [deg] 垂直視野角(分解能) 44.6 (1.33) [deg] スキャン周期 100[ms]
11. Doshisha University 実験システムの構成｜仮想道路環境 11 3D都市モデルデータ Simcenter PreScan • 自動運転などのロボットアプリケーション用の ソフトウェアプラットフォーム • 実際の街を忠実に3Dモデル化 • 国内21都市のモデルデータを提供 読み込む ◼ 仮想道路環境の構築
12. Doshisha University 実験システムの構成｜仮想道路環境 12 3D都市モデルデータ Simcenter PreScan ◼ 構築した仮想道路環境 京都の御池通
13. Doshisha University 目次 13 1. 緒論 2. 実験システムの構成 3. シミュレーション環境 4. 実験 5. 結論
14. Doshisha University シミュレーション環境 14 サーバ データベース クライアント LiDAR 追跡情報保存 協調移動物体追跡 地図を作成・表示 スマートフォン タブレット ② ③ ④ 地上LiDAR 車載LiDAR 環境センシング ①
15. Doshisha University シミュレーション環境 15 サーバ データベース クライアント LiDAR 追跡情報保存 協調移動物体追跡 地図を作成・表示 スマートフォン タブレット ② ③ ④ 地上LiDAR 車載LiDAR 環境センシング ①
16. Doshisha University シミュレーション環境|LiDAR/サーバ 16 移動物体検出情報 の統合 移動物体検出 環境センシング 環境センシング 移動物体検出 協調移動物体追跡 LiDAR サーバ LiDAR データベース 単独移動物体追跡 単独移動物体追跡 ◼ 協調移動物体追跡システム －LiDARが取得した情報をサーバで処理する集中型システム
17. Doshisha University シミュレーション環境|LiDAR/サーバ 17 観測点群情報取得の様子 LiDAR 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡 ◼ LiDARにより観測点群を取得 データベース クライアント サーバ LiDAR
18. Doshisha University シミュレーション環境|LiDAR/サーバ 18 自車 歩行者 (移動中) 建物 ◼ 観測点群を立体物観測点と路面観測点に分類 ◼ 立体物観測点を抽出 車両 （移動中） データベース クライアント サーバ LiDAR 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡
19. Doshisha University シミュレーション環境|LiDAR/サーバ 19 占有セル エレベーションマップ：高さ情報を含む格子状のセル ◼ 立体物観測点をエレベーションマップにマッピング データベース クライアント サーバ LiDAR 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡
20. Doshisha University シミュレーション環境|LiDAR/サーバ 20 占有時間が長い→静止物体 占有時間が短い→移動物体 ◼ セルの占有時間に基づく占有グリッド法により 移動物体を検出 データベース クライアント サーバ LiDAR 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡
21. Doshisha University シミュレーション環境|LiDAR/サーバ 21 長さ L 幅 W 高さ H ◼ 移動物体の大きさを推定 →幅W，長さL，高さHで表現 直方体の重心：移動物体の位置 データベース クライアント サーバ LiDAR 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡
22. Doshisha University シミュレーション環境|LiDAR/サーバ 22 ◼ 一定速度モデルに基づくカルマンフィルタにより 移動物体の位置を予測 前時刻 現時刻 位置 予測値 データベース クライアント サーバ LiDAR 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡
23. Doshisha University シミュレーション環境|LiDAR/サーバ 23 前時刻 現時刻 予測値 位置 データベース クライアント サーバ LiDAR 位置 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡 ◼ 予測値と実際の位置を対応付ける
24. Doshisha University シミュレーション環境|LiDAR/サーバ 24 データベース クライアント サーバ LiDAR ◼ 地上と車載のLiDAR情報を相互に交換しながら 移動物体を追跡 協調移動物体追跡の様子 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡
25. Doshisha University シミュレーション環境 25 サーバ データベース クライアント LiDAR 追跡情報保存 協調移動物体追跡 地図を作成・表示 スマートフォン タブレット ② ③ ④ 地上LiDAR 車載LiDAR 環境センシング ①
26. Doshisha University シミュレーション環境|DB/Client 26 ◼ Google Mapを使用 ◼ 汎用性が高い データベース クライアント サーバ LiDAR ◼ 地図作成に必要な情報 ◼ LiDAR ：位置・進行方向 ◼ 追跡物体：位置・進行方向，種別(車両 or 歩行者) Google Map
27. Doshisha University 27 シミュレーション環境|DB/Client ：地上LiDAR ：車載LiDAR ：地上LiDARの単独移動物体追跡による物体 ：車載LiDARの単独移動物体追跡による物体 ：協調移動物体追跡による物体 追跡物体 LiDAR マーカー P：歩行者 V：車両 データベース クライアント サーバ LiDAR ◼ 種類
28. Doshisha University 目次 28 1. 緒論 2. 実験システムの構成 3. シミュレーション環境 4. 実験 5. 結論
29. Doshisha University 実験|実験環境 29 10[m] ©2021 Google 御池通りを再現した仮想道路 10[m] 京都の御池通(上面図) ◼ 実際の道路環境をもとに，仮想道路環境を再現
30. Doshisha University 10[m] ©2021 Google 実験|実験環境 30 10[m] 10[m] ：車両 ：歩行者 地上LiDAR 車載LiDAR 配置したLiDARと移動物体(上面図) ◼ LiDARと移動物体を配置 京都の御池通(上面図)
31. Doshisha University 実験|シミュレーションの結果 31 協調移動物体追跡の様子(上面図) 3Dグラフィックスを用いて描画 Google Map上での追跡の様子 追跡物体 車載LiDAR ◼ 追跡情報をGoogle Mapに表示 ：地上LiDAR ：車載LiDAR ：地上LiDARの追跡物体 ：車載LiDARの追跡物体 ：協調移動物体追跡による物体
32. Doshisha University 実験|シミュレーションの結果 32 ◼ 追跡結果の比較 協調移動物体追跡の結果(上面図) Google Map上での追跡情報表示結果 追跡情報がGoogle Mapに正しく反映されていることを確認 ©2021 Google 10[m]
33. Doshisha University 目次 33 1. 緒論 2. 実験システムの構成 3. シミュレーション環境 4. 実験 5. 結論
34. Doshisha University 地上と車載のLiDARによる周辺移動物体の追跡情報を 他の車両や歩行者に配信するシミュレーション環境を構築 結論 34 ◼ シミュレーション環境 • LiDAR，サーバ，データベース，クライアントで構成 ◼ 協調移動物体追跡システム • 各LiDARが取得した情報をサーバで処理する集中型システムを使用 ◼ 実験 • ZENRIN 社の3D 都市モデルデータをPreScan に読み込み，仮想道路環境を構築 • 仮想センサ情報を生成し，構築したシミュレーション環境の動作を確認 ◼ 構築したシミュレーション環境に衝突警告等の危険予測機能の追加 ◼ 様々な交通シナリオでのシミュレーション環境の構築 今後の課題
35. Doshisha University ご清聴ありがとうございました
36. Doshisha University シミュレーション環境の評価 36 ◼ Apache JMeter  クライアント/サーバ用の負荷テストツール  Webサーバに対してリクエストを送り，そのレスポンスを受け取るまでの 応答時間を計測  多数ユーザーが一度にアクセスした際にも使用できるか検証 ◼ 評価項目：応答時間(平均・最小・最大値)，応答時間が300[ms]以下の割合 ※総務省の文献2)では，システムの応答時間が300[ms]以下であることを推奨 2)総務省, “700MHz 帯安全運転支援システムについて,” https://www.soumu.go.jp/main_content/000281445.pdf, 2016.(参照日, 2022 年1 月15 日) リクエスト レスポンス Webサーバ クライアント 応答時間
37. Doshisha University シミュレーション環境の評価|結果 37 台数 [台] アクセス回数 [回] 応答時間[ms] 300[ms]以下の サンプル数の割合 [%] 平均 最小 最大 20 2000 3 1 31 100 40 4000 5 2 415 99.78 60 6000 9 2 1221 99.30 80 8000 11 2 1508 99.25 100 10000 13 2 1930 99.14 200 20000 17 2 2375 99.24 300 30000 18 2 2571 99.23 400 40000 23 2 3293 99.12  20~400台それぞれの台数で100回接続 ➢ 20台以下でアクセス → 推奨されている応答時間を100[%]満たす ➢ 400台でアクセス → 99[%]以上満たす 総務省が推奨する 応答時間
38. Doshisha University シミュレーション環境の評価 38 実施目的 • 「作成したアプリケーションが想定のユーザー数の利用に耐えうるか？」 これまでの研究では、一台の端末のみからアクセス 本研究では、複数端末からの同時アクセスを想定 複数ユーザからのアクセスに耐えうるか(システムダウン)をテストしたい 実用を考えると，あらゆるアクセスパターンを予測して， テストを行う必要がある →機能が単純で開発初期段階のアプリに対して様々なテストを行うため には払う工数を考えると、現状最低限に抑えることにした
39. Doshisha University その他のテスト 39 • ユーザビリティテスト • UIテスト • Katalon Studio • 互換性テスト • パフォーマンステスト • セキュリティテスト
40. Doshisha University 難しかったところ 40 • PreScanのカスタマイズ性が高いがゆえに考慮すべき点が多数あった • 簡単便利ではあるが、実機データの代替として扱うには難しかった • 実環境での実験に近づけるのが難しかった • 自由度が高いソフト→利用者が目的に合わせてカスタマイズ • 色々試す必要があった。 • 信号機が赤になったら停止させる、前方車両が停止したら自車もブレーキをかけ るなど • 車両ダイナミクスの設定、速度の調整、ほかの車両と干渉しないように制御 • PreScanからデータを取得し，プログラムに取り込むところ • 実機のデータ形式と違うため，PreScan用にプログラムを作り直す必要があった • PreScanに3D都市モデルデータを読み込み終わりではない • PreScan側で用意された道路を張り付ける作業 • LiDAR・移動物体の配置などの調整など骨の折れる作業 • 何度も実験を繰り返す必要があった
41. Doshisha University 3D都市モデルデータ 41 • ゼンリンの詳細地図情報と専用車両で計測したデータにより， 現実の街を忠実に3Dモデル化 • 対象都市 • 東京・さいたま・千葉・川崎・横浜・相模原 • 札幌・仙台・新潟・京都・大阪・堺・神戸・名古屋・浜松・静岡 • 岡山・広島・北九州・福岡・熊本 • 他のモデルデータは？ • OpenDrive，OpenStreetMapなど • 3Dではない • 精密ではない • インポートした際に，狭隘な道路などが再現できなかった
42. Doshisha University PreScanの物理エンジン 42 ◼ 内部の具体的な計算方法は不明 ◼ ただし、利用者はNone，2D，3D，User-specified modelを選択可能 • None 車両ダイナミクスを使わない（物理法則に従わない運動） 強制変位 • 2D 2Dダイナミクス 平坦な道路のみ走行時に使用 自車の傾きなどの情報を取得可能 • 3D 3Dダイナミクス 坂道やバンク道路などの立体道路を走行時に使用 計算コストが高く，シミュレーション実行にかなり負荷がかかる • User-specified model • PreScan以外の車両ダイナミクス 本研究では， 自車（LiDAR搭載） → 2Dダイナミクス それ以外の移動物体 → Noneを設定 車両ダイナミクス： ブレーキやサスペンションによる ピッチング，スロットルや転がり 抵抗による加速バンクやロールな ど，車両の挙動を計算したモデル
43. Doshisha University PreScanの天候 43 • 夜間，昼間 • 太陽の種類 • 西日、曇り、夕日など • 天候 • 晴、雨、雪、霧 • 速度、ベクトル、密度、粒の大きさ(直径)を設定可能
44. Doshisha University ROS・GAZEBOとの違い 44 • ROS・GAZEBOと違い，PreScanは自動車分野に特化したソフトウェア →天候の詳細な設定や現実の地図を取り込むことができる • 今後LiDARに限らず，カメラやミリ波レーダを使う研究に着手した際， 天候条件や環境をより自由に設定できる • オープンソースではない • 企業採用が主なため，ツールのノウハウが公開されていない ◼ メリット ◼ デメリット
45. Doshisha University 周辺環境認識センサの種類・特徴 45 • カメラ ：安価，システムの実現が容易，環境の明度変化に弱い • ミリ波レーダ：電波によって周囲環境を観測するため悪天候に強い， 横方向の観測精度が低い • LiDAR ：ミリ波レーダよりもはるかに短い波長のレーザ光を用いているため， 精度良く対象物体との距離を観測し車両周囲の環境を正確に認識 LiDAR ミリ波レーダ カメラ 波長 0.8～0.9μm 1～10mm 0.4～0.78μm 基本性能 最大探知距離 〇 ◎ 〇 距離分解能 ◎ 〇 △ 方位分解能 〇 △ ◎ 認識性能 △ × ◎ 対自然環境性 雨・霧・雪 △ 〇 × 西日・薄暮 △ 〇 × 夜間 〇 〇 △ 照度変化 〇 〇 ×
46. Doshisha University 物体種別の方法 46 長さ L 幅 W 高さ H ◼ 移動物体の大きさを推定 →幅W，長さL，高さHで表現 データベース クライアント サーバ LiDAR 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡
47. Doshisha University 物体種別の方法 47 長さ L 幅 W 高さ H ◼ 幅W≥1.0[m] or 長さL ≥ 1.0[m] → 車両 ◼ それ以外 → 歩行者 データベース クライアント サーバ LiDAR 環境センシング 移動物体検出 単独移動物体追跡 協調移動物体追跡
48. Doshisha University なぜGoogle マップにしたのか • 一般的に地図として普及しているのがGoogle マップ Source: https://lab.testee.co/map4result 48
49. Doshisha University Google Maps API 49 • Google Maps APIとはJavaScriptを用いてアクセス • Google Maps APIの標準機能 • マーカーを立てること • 地図上に情報を表示させこと • Google Maps APIのメリット • 有料の地図サービスのほとんどが，地図サービス会社の用意したウェブページ にリンクするような形や，用意されたフォーマットを用いるような形 • Google Maps APIではほとんど自由に地図を配置することができる • Google Maps APIのデメリット • ロゴや広告が表示されるなど
50. Doshisha University 先行研究との違い • 先行研究1 • 移動物体の位置情報：スマホのセンサ(GPS)を使用 • 車両や歩行者が全員がスマホを持っている必要がある • 先行研究2 • 1台のLiDARで取得した情報を1台の端末に配信 • サーバ用のPCに直接送信 • 本研究 • 移動物体の位置情報：LiDARの追跡情報を使用 • 車両や歩行者が全員がスマホを持っている必要がない • 複数台のLiDARで取得した情報を複数台の端末に配信 • データベースに保存 50
51. Doshisha University 追跡物体の位置・速度推定 51 一定速度モデルに基づくカルマンフィルタにより移動物 体の位置・速度を推定する 1. 移動物体はほぼ一定の速度で移動すると仮定 2. 状態方程式が得られる 3. 前時刻の追跡物体の位置を用いて観測方程式が成り立つ 4. 2と3の方程式を用いて追跡物体の位置・速度を推定する
52. Doshisha University 追跡物体の位置・速度推定 52 ・状態方程式 ・システム行列 ・観測方程式 τ=0.1 LiDARスキャン周期 𝒙 = 𝒙, 𝒚, ሶ 𝒙, ሶ 𝒚 𝑻 Δ𝒙 = Δ ሷ 𝒙, Δ ሷ 𝒚 𝑻 𝒛 = 𝒛𝒙 , 𝒛𝒚 𝑻 前時刻の追跡物体の位置 観測雑音
53. Doshisha University その他 • 何%追跡することができたか？ • 95%ぐらい • 難しかった場合：木などの静止物体の近くを歩く歩行者 • 違う環境でも追跡することができたか？ • 今回は違う環境で実験を行っていないので， 将来的にはいろんな環境下で実験を行っていきたい • 追跡精度の向上 • 今は32層LiDARを用いているが64層のLiDARを使うこ とで，より遠くの物体を追跡できる 53