Three.jsと高精度測位システムによる除雪支援ARガイダンスシステムの開発

近年、人口減少や高齢化などに伴い除雪作業の担い手不足が深刻な社会問題となっています。とりわけ、除雪車を用いた除雪作業には一定以上の熟練度が必要となるため、オペレーターの育成や作業を支援するシステムの開発が課題になっています。
これらの課題を解決するため、移動体に対応可能なThree.jsを活用したARアプリとRTK技術による高精度測位システム（パナソニックコネクト社）を融合し、除雪作業支援向けARガイダンスシステムを開発しました。
本発表では、ARガイダンスシステムの構成と積雪地域における実証結果をご紹介いたします。

Transcript

1. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく three.jsと高精度測位システムによる 除雪支援ARガイダンスシステムの開発 北島 理司、白井 正孝、加瀬 秀征、髙橋 颯太（朝日航洋株式会社） 吉野 一幸、宮崎 浩行（パナソニックコネクト株式会社） 田島 逸郎、松澤 太郎（合同会社Georepublic Japan） satoshi-kitashima@aeroasahi.co.jp
2. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく 自己紹介 • 所属： – 朝日航洋株式会社 – 社会基盤情報流通推進協議会（兼務出向）、OSGeo日本支部 運営委員 • 経歴： – G空間情報センターの開発、保守（2016～ – 自治体向けデータカタログサービスの開発、保守（2017～ – 林地台帳システムの開発、保守（2018～ – QGISプラグインの開発（2018～ – 土地改良連合会様向け農地管理システムのクラウド化、保守（2018～ – ARアプリケーションの開発（2019～ – 圃場の調査・管理用のAndroidアプリの開発（2021～2022）
3. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく はじめに • 除雪作業には様々な課題が存在する – 社会課題 – 作業環境の課題 – 人的課題 etc… https://digital-construction.jp/news/76 担い手不足 ホワイトアウトによる視界不良 雪害の増加、深刻化 https://www.weblio.jp/wkpja/content/%E5%86%AC%E5% AD%A3%E4%BD%9C%E6%A5%AD%E8%BB%8A%E4 %B8%A1_%E5%86%AC%E5%AD%A3%E4%BD%9C% E6%A5%AD%E8%BB%8A%E4%B8%A1%E3%81%AE %E6%A6%82%E8%A6%81 https://www.j-cast.com/2014/02/17196975.html?p=all
4. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく はじめに • 除雪作業の効率化、安全性の向上に資する技術開発が重要 • 当社の持っているリソース（MMS）とAR技術を活用して課題解決に繋 がるシステムの開発ができないか？ 北海道開発局「ライティング技術、AR技術等の除雪 作業の効率化に寄与する技術」へ応募
5. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく ARアプリの構成 Tile 点群データ （表示用/ 標高取得用） Obj 接近警告 表示用データ three.js GeoJSON ARアプリケーション 接近警告 計算用データ 接近警告機能 Turf.js Androidタブレット 高精度測位システム 補正 処理 朝日航洋株式会社、合同会社Georepublic Japan パナソニックコネクト株式会社 ARデータ GNSSアンテナ GNSSアンテナ ・ 緯度 ・ 経度 ・ 方位角
6. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく ARアプリの特長 • cm級の誤差でリアルタイムにARデータを表示 • 標高は点群データの値を利用 • Potree形式にすることでサイズの大きい点群データも効率的に描画 雪覆い 電柱
7. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく ARアプリの特長 • 投雪禁止区間や外側線などと車両が重なった際にアラートを発報 （表示＋音） • Turf.jsで現在位置から接近禁止エリアとの重なりをリアルタイムに判定 車幅を表すオブジェクト 接近警告エリアデータ
8. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく ARアプリの特長 • 上り坂や下り坂でARデータとカメラ映像がズレないようにリアルタイム に表示を補正 上り坂 下り坂
9. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく 現地実証の概要 ①目的 除雪作業における直接目視確認の補完を主眼に、高精度測位技術と道路3 次元データを搭載したAR技術を融合した「除雪作業支援システム」の要素技術 について、車両走行による実証試験を行うことを目的とする。 ②実施期間 ・令和6年 1月29日（月）～ 2月2日（金） ③主な使用機材・データ ・朝日航洋：ARシステム（Android版） 3次元点群データ（2018年11月MMS計測） ・パナソニックコネクト：高精度測位機能付きタフパッド （7インチ、 Android版） ④特許 ・朝日航洋： 特許第6849634号 端末装置および端末装置の制御方法 特願2024-039766 AR映像表示装置、及び、AR映像表示 プログラム（特許出願中） ⑤その他 共同実証の結果については、2018、19年の実証結果を基にNETISへ登録 ・NETIS登録番号：KT-200040-A 至 留萌市 道の駅 石狩 「あいろーど厚田」 石狩市八幡１丁目の 道道81号交差点（南端） 石狩市厚田区濃昼橋を 越えた浜益区境界（北端） 厚田除雪ST 厚田除雪ST 北端 南端
10. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく 車両天井の前後にアンテナ２か所設置アンテナと端末内臓の 外向きカメラが一直 線になるように設置 AR端末 ARシステム社内設置状況 DCアダプタと接続 シガーソケット GNSSアンテナ GNSSアンテナ DCアダプタ 車体天井に２台のGNSSアンテナを設置 正面から見た状況 設置概要 ①端末（高精度測位機能付き）とGNSSアンテナはパ ナソニック社製 ②端末は車両中央付近に設置。 ③電源は安定的に取得できるよう、シガーソケットに接続 ④車両位置を軸として取得できるよう２台のGNSSアン テナを設置 ⑤GNSSアンテナと端末は出来るだけ一直線となるように 設置
11. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく スケルトンデータ フルデータ オリジナルデータ 道路構造物 R G B 備 考 路面標示 0 255 0 外側線、センターライン 警告ライン（道路縁） 255 0 0 橋梁のジョイント含む 防雪柵 200 0 255 ガードレール・パイプ 255 0 0 矢羽付きポール 255 0 255 道路標識 255 145 0 電柱 0 0 255 信号機 200 0 255 建物 ― ― ― オリジナルデータのカラー ARシステム上で表示対象とした道路構造物 AR表示用の点群データ
12. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく 評価結果 ▪評価条件 端末：FZ-S1 ▪評価結果 高精度測位出力レート：5Hz ◎：非常に良い（パフォーマンス面、精度面、機能面それぞれで要求水準を満たしている） ARアプリレンダリングレート：200ms ◦：良い（基本的な要求水準は満たしているが、一部軽微な改善余地が認められる） Far：40m △：可（一部要求水準は満たしているが、一部に重要な改善余地が認められる） Yaw Filter: 0.5 ×：不可（要求水準を満たしていない） アンテナ間距離: 1.3m 項目 内容 1 AR表示の更新間隔 ARアプリ内で既定された描画レートでレ ンダリングされ、遅延が発生していない こと 目視で遅延が発生していないか確認する ◎ 高精度、ARともに5Hz設定で接近警告オフの状態で遅延が無いことを確認した a 除雪車のブレードを示す黄色の台形オブ ジェクトと接近警告エリア（obj）が重 なった際に、遅滞なく警告テキストが表 示されること ◦ 車内のエアコンによる熱でFZ-S1が熱くなり、接近警告がオンの状態で表示が遅延 する場面があったが、そのままGPS追跡を継続していたら遅延が解消した b 画面表示は両オブジェクトが重なってす ぐに警報テキストが表示され、ビープ音 は両オブジェクトが1秒以上重なっていた ら鳴動すること。鳴動間隔などの設定は 変更可能。 ◦ 車内のエアコンによる熱でFZ-S1が熱くなり、接近警告がオンの状態で表示が遅延 する場面があったが、そのままGPS追跡を継続していたら遅延が解消した a 登り坂・下り坂でのカメラ映像とARデー タのズレがないこと（Farパラメータ値ご とに確認する） ◎ 登り坂や下り坂のズレがないことはもちろん、下りからそのまま登りに差し掛かる 場面や、登りから下りに差し掛かる場面などでも安定して表示が追従していること を確認できた 最終的にtiltAverageはオフ、補正倍率は上り下りともに1.1倍 b チルト角が安定して過剰に上下に移動し ないこと ◎ 登り坂や下り坂のズレがないことはもちろん、下りからそのまま登りに差し掛かる 場面や、登りから下りに差し掛かる場面などでも安定して表示が追従していること を確認できた a 平坦区間でのカメラ映像とARデータのズ レがないこと（Farパラメータ値ごとに確 認する） ◎ 平坦でも安定してズレが無いことを確認できた b チルト角が安定して過剰に上下に移動し ないこと ◎ 平坦でも安定してズレが無いことを確認できた 5 カーブでのARデータの追 従性 カーブ区間の走行終了時にカメラ映像と ARデータの表示のズレがないこと 現地確認：目視でカメラ映像とARデータの ズレを確認する ◎ 高精度測位側のyawフィルタのパラメータ値は0.5で安定することを確認した 6 ARアプリの耐久性の確認 実証区間の開始地点から終了地点までAR アプリでGPS追跡を行い、強制終了せずに 稼働すること 目視でARアプリが強制終了やフリーズして いないことを確認する ◦ 実証中に片道フルで走行した際（濃昼側から石狩市内への復路ルート）に、最後の データ終了間際でメモリリークによるUI強制終了の現象を確認した 7 ARアプリの表示精度の確 認 ▪計測場所 厚田除雪ステーション近辺のバス停留所 （前回冬季試験時と同様） （路側帯など安全に停車でき、かつAR データがある場合） 停車時のARデータとカメラ映像のズレが ±20cm以内 ARアプリを見ながら白線（ARデータ）にタ イヤを寄せ、白線とタイヤが重なって停車 した時点での実際の白線とのズレを計測す る 合計20回を目途に計測を行い、結果を記入 する － 現場の天候が非常に悪く、白線を視認できる状態ではなかったため、後日川越で検 証を実施することとした a 昼間のARデータの視認性が良好なカメラ とARデータそれぞれの透過率を確認する ◦ 最終的にカメラ透過度100％、AR透過度100％、点群の粒の大きさを0.5で検証を 行った。 ホワイトアウトでかつ日差しが出ている状態だと、カメラ画像がほぼ真っ白の状態 b 夜間（夕方）のARデータの視認性が良好 なカメラとARデータそれぞれの透過率を 確認する ◎ 夜間は上記透過度と粒の大きさの設定で視認性は良好だった 9 受信不通からの復帰時間 の確認 ▪計測区間 ◦◦～◦◦ 高精度測位の受信ステータスが“受信不 可（灰色）”から“RTK FIX（緑色）”に なるまでの時間が30秒以内（参考値） トンネルを出た直後に計測を開始、RTK FIXになった直後に計測を終了する 合計30回を目途に計測を行い、結果を記入 する ◎ 平均15秒程度（正確な数字は後日）で非常に良好な結果となった 10 OffsetX、OffsetYの精度 検証 OffsetXを調整した状態で30km/h, 40km/h でそれぞれ走行した際に前後方向の表示 ズレが軽減されること 目視でズレの大きさを確認する ◎ OffsetXは概ね5.5m程度で最終設定し、40km/hでもズレが非常に小さいことを確認 できた 昼間と夜間（夕方）のARデータの視認性が 良好なカメラとARデータそれぞれの透過率 を確認する 2 3 4 8 表示性能 表示精度 ARアプリの視認性の確認 チルト機能の平坦区間で の追従性 接近警告機能の鳴動間隔 目視で警告表示と警告音の発報時間の妥当 性を確認する 坂道でのチルト機能の追 従性 登り坂・下り坂でのカメラ映像とARデータ のズレを目視で確認する チルト機能の表示精度が一番良い傾斜角の 補正係数を確認する 平坦区間でのカメラ映像とARデータのズレ を目視で確認する チルト機能の表示精度が一番良い傾斜角の 補正係数を確認する メモ # 評価基準 評価方法 評価結果 性能評価項目
13. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく 評価結果（表示性能） ▪評価条件 端末：FZ-S1 ▪評価結果 高精度測位出力レート：5Hz ◎：非常に良い（パフォ ARアプリレンダリングレート：200ms ◦：良い（基本的な要求 Far：40m △：可（一部要求水準は Yaw Filter: 0.5 ×：不可（要求水準を満 アンテナ間距離: 1.3m 項目 内容 1 AR表示の更新間隔 ARアプリ内で既定された描画レートでレ ンダリングされ、遅延が発生していない こと 目視で遅延が発生していないか確認する ◎ 高精度、ARと a 除雪車のブレードを示す黄色の台形オブ ジェクトと接近警告エリア（obj）が重 なった際に、遅滞なく警告テキストが表 示されること ◦ 車内のエアコ する場面があ b 画面表示は両オブジェクトが重なってす ぐに警報テキストが表示され、ビープ音 は両オブジェクトが1秒以上重なっていた ら鳴動すること。鳴動間隔などの設定は 変更可能。 ◦ 車内のエアコ する場面があ a 登り坂・下り坂でのカメラ映像とARデー タのズレがないこと（Farパラメータ値ご とに確認する） ◎ 登り坂や下り 場面や、登り を確認できた 最終的にtilt b チルト角が安定して過剰に上下に移動し ないこと ◎ 登り坂や下り 場面や、登り を確認できた a 平坦区間でのカメラ映像とARデータのズ レがないこと（Farパラメータ値ごとに確 認する） ◎ 平坦でも安定 b チルト角が安定して過剰に上下に移動し ないこと ◎ 平坦でも安定 5 カーブでのARデータの追 従性 カーブ区間の走行終了時にカメラ映像と ARデータの表示のズレがないこと 現地確認：目視でカメラ映像とARデータの ズレを確認する ◎ 高精度測位側 6 ARアプリの耐久性の確認 実証区間の開始地点から終了地点までAR アプリでGPS追跡を行い、強制終了せずに 稼働すること 目視でARアプリが強制終了やフリーズして いないことを確認する ◦ 実証中に片道 データ終了間 7 ARアプリの表示精度の確 認 ▪計測場所 厚田除雪ステーション近辺のバス停留所 （前回冬季試験時と同様） （路側帯など安全に停車でき、かつAR データがある場合） 停車時のARデータとカメラ映像のズレが ±20cm以内 ARアプリを見ながら白線（ARデータ）にタ イヤを寄せ、白線とタイヤが重なって停車 した時点での実際の白線とのズレを計測す る 合計20回を目途に計測を行い、結果を記入 する － 現場の天候が 証を実施する 2 3 4 表示性能 表示精度 チルト機能の平坦区間で の追従性 接近警告機能の鳴動間隔 目視で警告表示と警告音の発報時間の妥当 性を確認する 坂道でのチルト機能の追 従性 登り坂・下り坂でのカメラ映像とARデータ のズレを目視で確認する チルト機能の表示精度が一番良い傾斜角の 補正係数を確認する 平坦区間でのカメラ映像とARデータのズレ を目視で確認する チルト機能の表示精度が一番良い傾斜角の 補正係数を確認する # 評価基準 評価方法 評価結果 性能評価項目
14. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく 評価結果（表示精度） を確認できた a 平坦区間でのカメラ映像とARデータのズ レがないこと（Farパラメータ値ごとに確 認する） ◎ 平坦でも安定し b チルト角が安定して過剰に上下に移動し ないこと ◎ 平坦でも安定し 5 カーブでのARデータの追 従性 カーブ区間の走行終了時にカメラ映像と ARデータの表示のズレがないこと 現地確認：目視でカメラ映像とARデータの ズレを確認する ◎ 高精度測位側の 6 ARアプリの耐久性の確認 実証区間の開始地点から終了地点までAR アプリでGPS追跡を行い、強制終了せずに 稼働すること 目視でARアプリが強制終了やフリーズして いないことを確認する ◦ 実証中に片道フ データ終了間際 7 ARアプリの表示精度の確 認 ▪計測場所 厚田除雪ステーション近辺のバス停留所 （前回冬季試験時と同様） （路側帯など安全に停車でき、かつAR データがある場合） 停車時のARデータとカメラ映像のズレが ±20cm以内 ARアプリを見ながら白線（ARデータ）にタ イヤを寄せ、白線とタイヤが重なって停車 した時点での実際の白線とのズレを計測す る 合計20回を目途に計測を行い、結果を記入 する － 現場の天候が非 証を実施するこ a 昼間のARデータの視認性が良好なカメラ とARデータそれぞれの透過率を確認する ◦ 最終的にカメラ 行った。 ホワイトアウト b 夜間（夕方）のARデータの視認性が良好 なカメラとARデータそれぞれの透過率を 確認する ◎ 夜間は上記透過 9 受信不通からの復帰時間 の確認 ▪計測区間 ◦◦～◦◦ 高精度測位の受信ステータスが“受信不 可（灰色）”から“RTK FIX（緑色）”に なるまでの時間が30秒以内（参考値） トンネルを出た直後に計測を開始、RTK FIXになった直後に計測を終了する 合計30回を目途に計測を行い、結果を記入 する ◎ 平均15秒程度（ 10 OffsetX、OffsetYの精度 検証 OffsetXを調整した状態で30km/h, 40km/h でそれぞれ走行した際に前後方向の表示 ズレが軽減されること 目視でズレの大きさを確認する ◎ OffsetXは概ね できた 昼間と夜間（夕方）のARデータの視認性が 良好なカメラとARデータそれぞれの透過率 を確認する 4 8 表示精度 ARアプリの視認性の確認 チルト機能の平坦区間で の追従性 平坦区間でのカメラ映像とARデータのズレ を目視で確認する チルト機能の表示精度が一番良い傾斜角の 補正係数を確認する
15. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく ARアプリの今後の展望 • ３DTilesへの対応 • より高いFPS表示への対応 • 外部カメラへの対応 • 他分野への展開
16. Copyright 2020 Aero Asahi Corporation. All Rights Reserved. 空にさきがけ 未来をひらく ARアプリにご興味のある方はお気軽にご連絡ください！ 本実証の実施にあたって、多大なご協力をいただきました 北海道開発局様に心より感謝申し上げます。