ポイントクラウドデータを用いた三人称視点ドローンの検討

Transcript

1. ©HironoriMorita/Furuhashilabs 1A117163 森田浩徳

2. 序論 Let’s start with the first set of slides 1

   2

3. 背景 ドローンの事故が多い ❏ 2019~現在までに最低130件ものド ローンの事故や問題が発生（国土交通 省, 2019, 2020） ❏ 接触による事故は全体の55%

   ドローンの事故を減らしたい ❏ 2021年におけるドローン業界の市場価 値は48億ドル（Radiant Insights, 2017) →ドローンの需要は計り知れない社会 ❏ 防げるドローンの事故が多数 3

4. ドローンの事故や問題 4 平成31年度 ❏ 合計：83件 ❏ 接触による事故：42件 令和２年度 ❏ 合計：47件

   ❏ 接触による事故：30件 （令和2年11月3日現在） 総計 ❏ 合計：130件 ❏ 接触による事故：72件 （令和2年11月3日現在）

5. ドローンの事故や問題 5 接触事故 ❏ 合計：72件 →事故全体の55％ 接触対象 ❏ 電線：18件 ❏

   家屋：12件 ❏ 樹木：12件 ❏ 地上以外の接触対象：64件 →全体の89％ （令和2年11月3日現在）

6. 安全飛行の重要性 ❏ ドローンにおける最も重要な2つの指標として, 公共の安全とプライバシー への影響の管理の適切性について慎重に検討する必要がある(Clarke, 2014) ❏ ドローン操縦において, 安全の確保は最優先事項である（Yao, 2017）

   ➢ 事故を減らす, 安全飛行のための, 新しいドローンの検討が必要 6

7. 状況認知の影響 ❏ 状況認知（Situational Awareness）は, 知覚(Perception), 理解(comprehension), 予測(projection）のステップで構成 ❏ 周囲認知を高めることは, 動的環境における適切な判断やより良いパフォーマン

   スが期待される（Endsley, 1995） ❏ 目視外飛行が困難である要因は, 操縦者によるドローン周囲の状況認知が乏しく なるため ❏ 状況認識ができないまま操縦をすると, 操縦者は身体的ストレスが発生し、操縦 の質が低下する可能性がある（天間ら, 2019） ❏ 状況認識の改善は認知作業量を減らすためのシステムインターフェースの設計, 個人およびチームレベルでの状況認識のトレーニングが大切（Stanton, 2001） ➢ パイロットがストレスなくドローンを操縦するには, よりシンプルなシステムイ ンターフェースの構築をし, 状況認知を高めやすい環境を創造させる必要がある 7

8. 三人称視点ドローンの提案 8

9. なぜ三人称視点なのか 9 一人称視点 三人称視点

10. なぜ三人称視点なのか ❏ 操作対象を世界全体に移動させるのに適している （Rouse, 1999） ❏ 存在感と視野の拡大（World View）を供給し, 周りの環境をより把握させやすい ❏

    通常移動アクションやその対象との相互作用には三人称視点, 不動の対象物や近 距離を操作する場合は一人称視点が有効 ❏ 距離をより適切に判断し, 操作対象の軌道を予測・推定することが可能 ❏ さまざまなアクションで構成されるシミュレーションでは, FPV, TPV両方の視点 が必要であり, それらを切り替えることによって, より効果的に操作することが可 能(Salamin, 2006） ➢ ドローンは移動することが必然的であるため, 三人称視点での操作が効率的 ➢ ドローンとその他障害物との距離感の把握がしやすくなるため, 接触を防ぐ可能 性は高まる 10

11. 三人称視点のドローン 上後部にカメラを設置 クワッドコプターに取り 付けられた動的な外部カ メラを使用して, 地上車両に第三者の視点 を提供するための新しい 設計を探求. （Saakes, 2013）

    ドローンを2機使用 空間的に連動する 2 台 のドローン用いてインタ ラクティブに操作可能な 三人称視点を提案.パイ ロ ットのドローン周囲 の状況理解を高めるイン タフェースを提案. （天 間ら, 2020） リアルタイム適応視 点システム リアルタイム適応視点シ ステムを導入することに より, 位置, 向き、およ び3Dポイントクラウド データを可視化. △点群データを再構築す る際に, ノイズや遅延な どが結果に影響を与える 可能性. (Thomasonら, 2017） 11

12. ポイントクラウドデータ 三人称視点ドローン ❏ カメラを上後部に設置すると, より不安定な飛行になる可能性 ❏ 限られた範囲では, 2機のドローンを飛ばすことは難しい ➢ ポイントクラウドデータを用いた三人称視点ドローンの提案

    ➢ Thomasonらの研究では, ノイズや遅延の発生を防ぐ必要 ❏ 既存のポイントクラウドデータを先に可視化 ❏ 静岡県交通基盤部建設支援局建設技術企画課が高精度点群データを公開 ➢ そのデータを用いて静岡県の街を可視化 ➢ ドローンの操縦に組み込む 12

13. 研究方法 2 13

14. 三人称視点のドローン ❏ 静岡県のデータはLASファイル形式で保管されている ➢ LASファイルを再構築するためのツールとしてPotreeを使用 14

15. なぜPotreeなのか ❏ Potreeをウェブサーバーに紐付けし, 実行環境を整えホームページの一要素として利用 ❏ 実行環境とは, three.jsというJavaScriptプログラム, chromeなどの一般的なブラウザ のこと（藤井, 2016)

    ❏ ウェブブラウザによるポイントクラウドデータの可視化は, ユーザーがサードパーティ 製アプリケーションを導入することなく, 莫大なデータをユーザー間で転送することが 可能（Schuetz, 2016） ❏ WebGLベースのインターフェイスでポイントクラウドをレンダリングするため, 効率的 な移植性（共有・配布・公開）が可能 ❏ ポイントクラウドのリアルタイムレンダリングをサポートしているため, レンダラーの 読み込み時間が大幅に短縮 ❏ Potreeレンダラーを使用して測定された点群の寸法は, 構造の実際の寸法と良好な相関 関係を示している（Kumarら, 2019） ➢ 将来的にドローンの操縦に組み込むという点から, 誰もが利用しやすいPotreeで実行 15

16. 研究の流れ 16 Potreeを活用 Potree Converter ポイント クラウド データを 可視化 ユーザー

    インター フェース 構築 TPV ドローン 完成

17. 途中成果 3 17

18. Potreeの活用 18 Potree ダウンロード Node.js インストール Homebrew インストール Gulp インストール

    npm インストール npm起動 ブラウザ を開く

19. Potreeの活用 19 Potreeのダウンロード https://github.com/potree/potree/releases

20. Potreeの活用 20 Homebrewをインストール https://brew.sh/index_ja ※すでにインストールされているため, 確認として

21. Potreeの活用 21 Node.jsをインストール https://nodejs.org/ja/download/ Gulpをインストール https://nodejs.org/ja/download/ ※すでにインストールされているため, 確認として

22. Potreeの活用 22 npmをインストール $ npm install npm起動 usernombp:potree user$ npm

    start →サーバーが起動

23. Potreeの活用 23 ブラウザを起動 http://localhost:1234

24. Potreeの活用 24 ブラウザを起動 http://localhost:1234でサンプルデータを扱え るようになる

25. Potreeの活用 25 ブラウザを起動 http://localhost:1234でサンプルデータを扱え るようになる

26. Potreeの活用 26 サーバーを停止させる Ctrl+Cで停止できる

27. Potreeの活用 27 サーバーを停止させる ブラウザでアクセスできなくなる

28. Potree Converterの活用 28 Potree Converter ダウンロード 実行

29. Potree Converterの活用 29 Potree Converterをインストール https://github.com/potree/PotreeConverter /releases 実行する ./PotreeConverter.exeC:/pointclouds/data.las -o

    C:/pointclouds/data_converted

30. Potree Converterの活用 30 なぜかエラーが発生 https://github.com/furuhashilab/2020gsc_H ironoriMorita/issues/14

31. 今後 4 31

32. 今後の流れ ➢ Potree ConverterでLASファイルをPotree用にコンバートさせる ➢ 静岡市のポイントクラウドデータを可視化 ➢ ドローン操縦画面へのユーザーインターフェース構築 ➢ TPVドローン完成

    32

33. 参考文献 ➢ Clarke, R. (2014). Understanding the drone epidemic. Computer

    Law & Security Review, 30(3), 230-246. ➢ Endsley, M. R. (1995). Toward a theory of situation awareness in dynamic systems. Human factors, 37(1), 32-64. ➢ Kumar, A. Y., Noufia, M. A., Shahira, K. A., & Ramiya, A. M. (2019). Building Information Modelling of a Multi Storey Building Using Terrestrial Laser Scanner and Visualisation Using Potree: AN Open Source Point Cloud Renderer. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 42, 421-426. ➢ Radiant Insights, I. (2016). Commercial drones: Highways in the sky, commercial unmanned aerial systems (UAS), market shares, strategies, and forecasts, worldwide, 2015-2021. ➢ Rouse III, R. (1999). What's your perspective?. ACM SIGGRAPH Computer Graphics, 33(3), 9-12. ➢ Saakes, D., Choudhary, V., Sakamoto, D., Inami, M., & Lgarashi, T. (2013, December). A teleoperating interface for ground vehicles using autonomous flying cameras. In 2013 23rd International Conference on Artificial Reality and Telexistence (ICAT) (pp. 13-19). IEEE. ➢ Salamin, P., Thalmann, D., & Vexo, F. (2006, November). The benefits of third-person perspective in virtual and augmented reality?. In Proceedings of the ACM symposium on Virtual reality software and technology (pp. 27-30). ➢ Schuetz, M. (2016). Potree: Rendering large point clouds in web browsers. Technische Universität Wien, Wiedeń. ➢ Stanton, N. A., Chambers, P. R., & Piggott, J. (2001). Situational awareness and safety. Safety science, 39(3), 189-204. ➢ Salamin, P., Thalmann, D., & Vexo, F. (2006, November). The benefits of third-person perspective in virtual and augmented reality?. In Proceedings of the ACM symposium on Virtual reality software and technology (pp. 27-30). ➢ Thomason, J., Ratsamee, P., Kiyokawa, K., Kriangkomol, P., Orlosky, J., Mashita, T., ... & Takemura, H. (2017, March). Adaptive view management for drone teleoperation in complex 3D structures. In Proceedings of the 22nd International Conference on Intelligent User Interfaces (pp. 419-426). ➢ Yao, Y., Xia, H., Huang, Y., & Wang, Y. (2017, May). Free to fly in public spaces: Drone controllers' privacy perceptions and practices. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (pp. 6789-6793). ➢ 国土交通省. (2019). 平成31年度 無人航空機に係る事故トラブル等一覧 https://www.mlit.go.jp/common/001292055.pdf (参照2020-11-03) ➢ 国土交通省. (2020). 令和2年度 無人航空機に係る事故等の一覧 https://www.mlit.go.jp/common/001342842.pdf (参照2020-11-03) ➢ 天間遼太郎, 高嶋和毅, 藤田和之, 末田航, & 北村喜文. (2020). 空間連動する 2 つのカメラ視点を用いたドローン操縦インタフェースの拡張. 情報処理学会論文誌, 61(8), 1319-1332. ➢ 藤井十章. (2016). ３Ｄポイントデータをブラウザで表示するフリーソフト“Potree”. 知っ得ソフト, The Journal of survey 測量, 日本測量業界, 2016(3), 41. 33

34. THANKS! Any questions? You can find me at github.com/@22hero1072 GitHubレポジトリ

    https:/ /github.com/furuhashilab/2020gsc_HironoriMorita 34

35. Thank You for your attention! 35