Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ポイントクラウドデータを用いた三人称視点ドローンの検討

D9d3c166ce6428c0f035d14db3e832e5?s=47 22hero1072
November 09, 2020

 ポイントクラウドデータを用いた三人称視点ドローンの検討

古橋研究室 卒論中間発表

D9d3c166ce6428c0f035d14db3e832e5?s=128

22hero1072

November 09, 2020
Tweet

Transcript

  1. ©HironoriMorita/Furuhashilabs 1A117163 森田浩徳

  2. 序論 Let’s start with the first set of slides 1

    2
  3. 背景 ドローンの事故が多い ❏ 2019~現在までに最低130件ものド ローンの事故や問題が発生(国土交通 省, 2019, 2020) ❏ 接触による事故は全体の55%

    ドローンの事故を減らしたい ❏ 2021年におけるドローン業界の市場価 値は48億ドル(Radiant Insights, 2017) →ドローンの需要は計り知れない社会 ❏ 防げるドローンの事故が多数 3
  4. ドローンの事故や問題 4 平成31年度 ❏ 合計:83件 ❏ 接触による事故:42件 令和2年度 ❏ 合計:47件

    ❏ 接触による事故:30件 (令和2年11月3日現在) 総計 ❏ 合計:130件 ❏ 接触による事故:72件 (令和2年11月3日現在)
  5. ドローンの事故や問題 5 接触事故 ❏ 合計:72件 →事故全体の55% 接触対象 ❏ 電線:18件 ❏

    家屋:12件 ❏ 樹木:12件 ❏ 地上以外の接触対象:64件 →全体の89% (令和2年11月3日現在)
  6. 安全飛行の重要性 ❏ ドローンにおける最も重要な2つの指標として, 公共の安全とプライバシー への影響の管理の適切性について慎重に検討する必要がある(Clarke, 2014) ❏ ドローン操縦において, 安全の確保は最優先事項である(Yao, 2017)

    ➢ 事故を減らす, 安全飛行のための, 新しいドローンの検討が必要 6
  7. 状況認知の影響 ❏ 状況認知(Situational Awareness)は, 知覚(Perception), 理解(comprehension), 予測(projection)のステップで構成 ❏ 周囲認知を高めることは, 動的環境における適切な判断やより良いパフォーマン

    スが期待される(Endsley, 1995) ❏ 目視外飛行が困難である要因は, 操縦者によるドローン周囲の状況認知が乏しく なるため ❏ 状況認識ができないまま操縦をすると, 操縦者は身体的ストレスが発生し、操縦 の質が低下する可能性がある(天間ら, 2019) ❏ 状況認識の改善は認知作業量を減らすためのシステムインターフェースの設計, 個人およびチームレベルでの状況認識のトレーニングが大切(Stanton, 2001) ➢ パイロットがストレスなくドローンを操縦するには, よりシンプルなシステムイ ンターフェースの構築をし, 状況認知を高めやすい環境を創造させる必要がある 7
  8. 三人称視点ドローンの提案 8

  9. なぜ三人称視点なのか 9 一人称視点 三人称視点

  10. なぜ三人称視点なのか ❏ 操作対象を世界全体に移動させるのに適している (Rouse, 1999) ❏ 存在感と視野の拡大(World View)を供給し, 周りの環境をより把握させやすい ❏

    通常移動アクションやその対象との相互作用には三人称視点, 不動の対象物や近 距離を操作する場合は一人称視点が有効 ❏ 距離をより適切に判断し, 操作対象の軌道を予測・推定することが可能 ❏ さまざまなアクションで構成されるシミュレーションでは, FPV, TPV両方の視点 が必要であり, それらを切り替えることによって, より効果的に操作することが可 能(Salamin, 2006) ➢ ドローンは移動することが必然的であるため, 三人称視点での操作が効率的 ➢ ドローンとその他障害物との距離感の把握がしやすくなるため, 接触を防ぐ可能 性は高まる 10
  11. 三人称視点のドローン 上後部にカメラを設置 クワッドコプターに取り 付けられた動的な外部カ メラを使用して, 地上車両に第三者の視点 を提供するための新しい 設計を探求. (Saakes, 2013)

    ドローンを2機使用 空間的に連動する 2 台 のドローン用いてインタ ラクティブに操作可能な 三人称視点を提案.パイ ロ ットのドローン周囲 の状況理解を高めるイン タフェースを提案. (天 間ら, 2020) リアルタイム適応視 点システム リアルタイム適応視点シ ステムを導入することに より, 位置, 向き、およ び3Dポイントクラウド データを可視化. △点群データを再構築す る際に, ノイズや遅延な どが結果に影響を与える 可能性. (Thomasonら, 2017) 11
  12. ポイントクラウドデータ 三人称視点ドローン ❏ カメラを上後部に設置すると, より不安定な飛行になる可能性 ❏ 限られた範囲では, 2機のドローンを飛ばすことは難しい ➢ ポイントクラウドデータを用いた三人称視点ドローンの提案

    ➢ Thomasonらの研究では, ノイズや遅延の発生を防ぐ必要 ❏ 既存のポイントクラウドデータを先に可視化 ❏ 静岡県交通基盤部建設支援局建設技術企画課が高精度点群データを公開 ➢ そのデータを用いて静岡県の街を可視化 ➢ ドローンの操縦に組み込む 12
  13. 研究方法 2 13

  14. 三人称視点のドローン ❏ 静岡県のデータはLASファイル形式で保管されている ➢ LASファイルを再構築するためのツールとしてPotreeを使用 14

  15. なぜPotreeなのか ❏ Potreeをウェブサーバーに紐付けし, 実行環境を整えホームページの一要素として利用 ❏ 実行環境とは, three.jsというJavaScriptプログラム, chromeなどの一般的なブラウザ のこと(藤井, 2016)

    ❏ ウェブブラウザによるポイントクラウドデータの可視化は, ユーザーがサードパーティ 製アプリケーションを導入することなく, 莫大なデータをユーザー間で転送することが 可能(Schuetz, 2016) ❏ WebGLベースのインターフェイスでポイントクラウドをレンダリングするため, 効率的 な移植性(共有・配布・公開)が可能 ❏ ポイントクラウドのリアルタイムレンダリングをサポートしているため, レンダラーの 読み込み時間が大幅に短縮 ❏ Potreeレンダラーを使用して測定された点群の寸法は, 構造の実際の寸法と良好な相関 関係を示している(Kumarら, 2019) ➢ 将来的にドローンの操縦に組み込むという点から, 誰もが利用しやすいPotreeで実行 15
  16. 研究の流れ 16 Potreeを活用 Potree Converter ポイント クラウド データを 可視化 ユーザー

    インター フェース 構築 TPV ドローン 完成
  17. 途中成果 3 17

  18. Potreeの活用 18 Potree ダウンロード Node.js インストール Homebrew インストール Gulp インストール

    npm インストール npm起動 ブラウザ を開く
  19. Potreeの活用 19 Potreeのダウンロード https://github.com/potree/potree/releases

  20. Potreeの活用 20 Homebrewをインストール https://brew.sh/index_ja ※すでにインストールされているため, 確認として

  21. Potreeの活用 21 Node.jsをインストール https://nodejs.org/ja/download/ Gulpをインストール https://nodejs.org/ja/download/ ※すでにインストールされているため, 確認として

  22. Potreeの活用 22 npmをインストール $ npm install npm起動 usernombp:potree user$ npm

    start →サーバーが起動
  23. Potreeの活用 23 ブラウザを起動 http://localhost:1234

  24. Potreeの活用 24 ブラウザを起動 http://localhost:1234でサンプルデータを扱え るようになる

  25. Potreeの活用 25 ブラウザを起動 http://localhost:1234でサンプルデータを扱え るようになる

  26. Potreeの活用 26 サーバーを停止させる Ctrl+Cで停止できる

  27. Potreeの活用 27 サーバーを停止させる ブラウザでアクセスできなくなる

  28. Potree Converterの活用 28 Potree Converter ダウンロード 実行

  29. Potree Converterの活用 29 Potree Converterをインストール https://github.com/potree/PotreeConverter /releases 実行する ./PotreeConverter.exeC:/pointclouds/data.las -o

    C:/pointclouds/data_converted
  30. Potree Converterの活用 30 なぜかエラーが発生 https://github.com/furuhashilab/2020gsc_H ironoriMorita/issues/14

  31. 今後 4 31

  32. 今後の流れ ➢ Potree ConverterでLASファイルをPotree用にコンバートさせる ➢ 静岡市のポイントクラウドデータを可視化 ➢ ドローン操縦画面へのユーザーインターフェース構築 ➢ TPVドローン完成

    32
  33. 参考文献 ➢ Clarke, R. (2014). Understanding the drone epidemic. Computer

    Law & Security Review, 30(3), 230-246. ➢ Endsley, M. R. (1995). Toward a theory of situation awareness in dynamic systems. Human factors, 37(1), 32-64. ➢ Kumar, A. Y., Noufia, M. A., Shahira, K. A., & Ramiya, A. M. (2019). Building Information Modelling of a Multi Storey Building Using Terrestrial Laser Scanner and Visualisation Using Potree: AN Open Source Point Cloud Renderer. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 42, 421-426. ➢ Radiant Insights, I. (2016). Commercial drones: Highways in the sky, commercial unmanned aerial systems (UAS), market shares, strategies, and forecasts, worldwide, 2015-2021. ➢ Rouse III, R. (1999). What's your perspective?. ACM SIGGRAPH Computer Graphics, 33(3), 9-12. ➢ Saakes, D., Choudhary, V., Sakamoto, D., Inami, M., & Lgarashi, T. (2013, December). A teleoperating interface for ground vehicles using autonomous flying cameras. In 2013 23rd International Conference on Artificial Reality and Telexistence (ICAT) (pp. 13-19). IEEE. ➢ Salamin, P., Thalmann, D., & Vexo, F. (2006, November). The benefits of third-person perspective in virtual and augmented reality?. In Proceedings of the ACM symposium on Virtual reality software and technology (pp. 27-30). ➢ Schuetz, M. (2016). Potree: Rendering large point clouds in web browsers. Technische Universität Wien, Wiedeń. ➢ Stanton, N. A., Chambers, P. R., & Piggott, J. (2001). Situational awareness and safety. Safety science, 39(3), 189-204. ➢ Salamin, P., Thalmann, D., & Vexo, F. (2006, November). The benefits of third-person perspective in virtual and augmented reality?. In Proceedings of the ACM symposium on Virtual reality software and technology (pp. 27-30). ➢ Thomason, J., Ratsamee, P., Kiyokawa, K., Kriangkomol, P., Orlosky, J., Mashita, T., ... & Takemura, H. (2017, March). Adaptive view management for drone teleoperation in complex 3D structures. In Proceedings of the 22nd International Conference on Intelligent User Interfaces (pp. 419-426). ➢ Yao, Y., Xia, H., Huang, Y., & Wang, Y. (2017, May). Free to fly in public spaces: Drone controllers' privacy perceptions and practices. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (pp. 6789-6793). ➢ 国土交通省. (2019). 平成31年度 無人航空機に係る事故トラブル等一覧 https://www.mlit.go.jp/common/001292055.pdf (参照2020-11-03) ➢ 国土交通省. (2020). 令和2年度 無人航空機に係る事故等の一覧 https://www.mlit.go.jp/common/001342842.pdf (参照2020-11-03) ➢ 天間遼太郎, 高嶋和毅, 藤田和之, 末田航, & 北村喜文. (2020). 空間連動する 2 つのカメラ視点を用いたドローン操縦インタフェースの拡張. 情報処理学会論文誌, 61(8), 1319-1332. ➢ 藤井十章. (2016). 3Dポイントデータをブラウザで表示するフリーソフト“Potree”. 知っ得ソフト, The Journal of survey 測量, 日本測量業界, 2016(3), 41. 33
  34. THANKS! Any questions? You can find me at github.com/@22hero1072 GitHubレポジトリ

    https:/ /github.com/furuhashilab/2020gsc_HironoriMorita 34
  35. Thank You for your attention! 35