ポイントクラウドデータを用いた三人称視点ドローンの提案

CC BY 4.0©️Hironori Morita/Furuhashilabs

Transcript

1. ©HironoriMorita/Furuhashilabs 1A117163 森田浩徳
2. 1 2
3. ❏ ❏ ❏ ❏ 3
4. 4 ❏ ❏ ❏ ❏ ❏ ❏
5. 5 ❏ ❏ ❏ ❏ ❏
6. ❏ ドローンにお る最も重要な2つの指標として, と について慎重に検討する必要がある(Clarke, 2014) ❏ ドローン操縦において, である（Yao, 2017） ➢ 事故を減らす, 安全飛行のための, 新しいドローンの検討が必要 6
8. ❏ 操作対象を世界全体に させるのに適している （Rouse, 1999） ❏ と （World View）を供給し, させやすい ❏ や には三人称視点, や する場合は一人称視点が有効 ❏ をより適切に判断し, 操作対象の することが可能 ❏ さまざまなアクションで構成されるシミュレーションでは, FPV, TPV両方の視点 が必要であり, それらを切り替えることによって, より効果的に操作することが可 能(Salamin, 2006） ➢ ドローンは移動することが必然的であるため, 三人称視点での操作が効率的 ➢ ドローンとその他障害物との距離感の把握がしやす なるため, 接触を防 可能 性は高まる 8
9. クワッドコプターに取り 付 られた動的な外部カ メラを使用して, 地上車両に第三者の視点 を提供するための新しい 設計を探求. （Saakes, 2013） 空間的に連動する 2 台 のドローン用いてインタ ラクティブに操作可能な 三人称視点を提案.パイ ロ ットのドローン周囲 の状況理解を高めるイン タフェースを提案. （天 間ら, 2020） リアルタイム適応視点シ ステムを導入することに より, 位置, 向き、およ び3Dポイントクラウド データを可視化. △点群データを再構築す る際に, ノイズや遅延な どが結果に影響を与える 可能性. (Thomasonら, 2017） 9
10. 10 ❏ →瞬時に状況を判断し, 衝突をしないように 　Skydio2自らで進路を組み立てる ❏ 人や車などの障害物に向かって直進させる ❏ 斜め上や横に避 て進む ❏ 雑草のような細いものだと, プロペラを 雑草に巻き込んでしまうこともあった. ❏ Thomasonら（2017）の研究では, ポイントク ラウドデータを再構築する際に, ノイズや遅延 などが結果に影響を与える可能性がある →人工知能のみに依存せず、操縦者の技量も　 必要不可欠である DRONEより引用（https:/ /www.drone.jp/news/2020111319280341138.html）
11. ❏ （Situational Awareness）は, 知覚(Perception), 理解(comprehension), 予測(projection）のステップで構成 ❏ 周囲認知を高めることは, や が期待される（Endsley, 1995） ❏ 目視外飛行が困難である要因は, 操縦者による ため ❏ 状況認識ができないまま操縦をすると, 操縦者は が発生し、 がある（天間ら, 2019） ❏ 状況認識の改善は , 個人およびチームレベルでの が大切（Stanton, 2001） ➢ パイロットがストレスな ドローンを操縦するには, よりシンプルなシステムイ ンターフェースの構築をし, 状況認知を高めやすい環境を創造させる必要がある 11
12. ❏ カメラを上後部に設置すると, より不安定な飛行になる可能性 ❏ 限られた範囲では, 2機のドローンを飛ばすことは難しい ➢ ポイントクラウドデータを用いた三人称視点ドローンの提案 ➢ Thomasonらの研究では, ノイズや遅延の発生を防 必要 ❏ 既存のポイントクラウドデータを先に可視化 ❏ 静岡県交通基盤部建設支援局建設技術企画課が高精度点群データを公開 ➢ そのデータを用いて静岡県の街を可視化 ➢ ドローンの操縦に組み込む 12
13. ❏ カメラを上後部に設置すると, より不安定な飛行になる可能性 ❏ 限られた範囲では, 2機のドローンを飛ばすことは難しい ➢ ポイントクラウドデータを用いた三人称視点ドローンの提案 ➢ Thomasonらの研究では, ノイズや遅延の発生を防 必要 ❏ 既存のポイントクラウドデータを先に可視化 ❏ 静岡県交通基盤部建設支援局建設技術企画課が高精度点群データを公開 ➢ そのデータを用いて静岡県の街を可視化 ➢ 13
14. ❏ カメラを上後部に設置すると, より不安定な飛行になる可能性 ❏ 限られた範囲では, 2機のドローンを飛ばすことは難しい ➢ ポイントクラウドデータを用いた三人称視点ドローンの提案 ➢ Thomasonらの研究では, ノイズや遅延の発生を防 必要 ❏ 既存のポイントクラウドデータを先に可視化 ❏ 静岡県交通基盤部建設支援局建設技術企画課が高精度点群データを公開 ➢ そのデータを用いて静岡県の街を可視化 ➢ 14
15. ❏ ドローンの操縦者は不特定多数 => として研究した 15
16. 2 16
17. ❏ 静岡県のデータはLASファイル形式で保管されている ➢ LASファイルをモデリングするためのツールとしてPotreeを使用 17
18. ❏ Potreeをウェブサーバーに紐付 し, 実行環境を整えホームページの一要素として利用 ❏ 実行環境とは, three.jsというJavaScriptプログラム, chromeなどの一般的なブラウザ のこと（藤井, 2016) ❏ ウェブブラウザによるポイントクラウドデータの可視化は, ユーザーがサードパーティ 製アプリケーションを導入することな , 莫大なデータをユーザー間で転送することが 可能（Schuetz, 2016） ❏ WebGLベースのインターフェイスでポイントクラウドをレンダリングするため, 効率的 な移植性（共有・配布・公開）が可能 ❏ ポイントクラウドのリアルタイムレンダリングをサポートしているため, レンダラーの 読み込み時間が大幅に短縮 ❏ Potreeレンダラーを使用して測定された点群の寸法は, 構造の実際の寸法と良好な相関 関係を示している（Kumarら, 2019） ➢ 将来的にドローンの操縦に組み込むという点から, 誰もが利用しやすいPotreeで実行 18
22. 3 22
23. Potree 23
24. Potree 24 Potree
25. Potree 25 Potree GitHub
26. Potree 26 Potree GitHub
27. Potree 27 Potree pointcloud examples etc.. GitHub
28. Potree 28 Potree pointcloud examples etc.. GitHub
29. Potree 29
30. Potree 30 Potree pointcloud examples build etc.. GitHub
31. Potree 31 Potree pointcloud examples build etc.. GitHub
32. Potree 32 Potree pointcloud examples build etc.. GitHub Potree shaders resources etc..
34. ❏ ローカルサーバーはmacOS, windowsで使用可能 ➢ PotreeConverterとPotreeDesktopはwindows版のみ公開 34
35. ❏ ❏ ❏ ❏ ❏ ❏ 37
36. ❏ ❏ ❏ ❏ ❏ ❏ 38 使用したファイル：31-XXX08-16-00-01 ファイルサイズ：47MB (#points: 1'893'701)
37. ❏ ❏ ❏ ❏ ❏ ❏ ❏ ❏ ❏ ❏ ❏ ❏ ❏ ❏ ❏ 39 使用したファイル：31-XXX08-16-00-01 ファイルサイズ：47MB (#points: 1'893'701)
38. ❏ 測定機能：距離, 標高, 角度, 面積, 体積, 断面図など => 測定の正確性：1cm単位での取得 ❏ データの選別：コンバート時にデータをブロックで分割し表示画面のみの処理が可能 　　 　　読み込むデータ数の選択も可能 => 軽快な動きをサポート ❏ URLでデータの共有が可能 => ワンクリックでデータの取得が可能 40
39. 41 CC BY-SA ©drivephotograph/Mapillary
40. 42 CC BY 4.0 ©Shizuoka Point Cloud DB
41. ❏ 測定機能：距離, 標高, 角度, 面積, 体積, 断面図など => 測定の正確性：1cm単位での取得 ❏ データの選別：コンバート時にデータをブロックで分割し表示画面のみの処理が可能 　　 　　読み込むデータ数の選択も可能 => 軽快な動きをサポート ❏ URLでデータの共有が可能 => ワンクリックでデータの取得が可能 43
42. 4 44
43. ❏ macOSはPotreeConverterやPotreeDesktopに対応していない => コンバートができないため使用ができない => 誰もが利用できる状態ではない ➢ ◦ URLでワンクリック ◦ Google Drive等 ➢ ◦ 非公式ながら公開されている 45
44. 46 ❏ 最新バージョン2.1が公開（Jan 31, 2021） ➢ バージョンを1.7まで落とす必要がある ◦ 必要なファイルが生成されないため ➢ 公開されているコマンドではHTMLファイルが生成されない
45. 47 xxx libs pointcloud xxx.html
46. 48 xxx libs pointcloud xxx.html
47. 49 xxx libs pointcloud xxx.html
48. 50 ❏ 最新バージョン2.1が公開（Jan 31, 2021） ➢ バージョンを1.7まで落とす必要がある ◦ 必要なファイルが生成されないため ➢ 公開されているコマンドではHTMLファイルが生成されない
49. 51 xxx
50. 52 xxx octree.bin matadata.json hierarchy.bin
51. 53 xxx octree.bin matadata.json hierarchy.bin
52. 54 octree.bin matadata.json hierarchy.bin xxx ❏ ❏
53. 55 ❏ 最新バージョン2.1が公開（Jan 31, 2021） ➢ バージョンを1.7まで落とす必要がある ◦ 必要なファイルが生成されないため ➢ 公開されているコマンドではHTMLファイルが生成されない
54. 56 xxx
55. 57 xxx libs pointcloud
56. 58 xxx libs pointcloud
57. 59 xxx libs pointcloud ❏
59. 61 xxx
60. 62 xxx libs pointcloud xxx.html
61. 63 xxx libs pointcloud xxx.html ❏
62. 64 viewer.html lion.html Potree pointcloud examples build etc.. GitHub xxx libs pointcloud xxx.html
63. 65 ❏ バージョン1.7以下のConverter ❏ 改良コマンドの入力 => コンバートされたファイルを生成することにより、macOSのローカル 　 サーバーで使用することが可能になる
64. ❏ →1cmは誤差にしか感じないかもしれない => その1cmによって重要な事故になりかねない ❏ 中部電力で利用されている鋼心アルミより線 28.5mm 66 ClarkMills, CC BY-SA 3.0, via Wikimedia Commons
65. 67 ❏ ❏ ❏ ❏ ❏
66. ❏ →1cmは誤差にしか感じないかもしれない => その1cmによって重要な事故になりかねない ❏ 中部電力で利用されている鋼心アルミより線 28.5mm 　→3cm以下の対象物が接触事故の25%を占めている => 1cmまで正確に測れるのはドローン操縦の させる 68 ClarkMills, CC BY-SA 3.0, via Wikimedia Commons
67. 5 69
68. ❏ ドローンの事故をな すためにPotreeを使用し した ➢ その情報から、 を図った ❏ 測量の制度により正確な状況の把握が可能になる ➢ ポイントクラウドデータのモデリングはラグを起こしやすい ❏ Potreeであればデータの分割により、 になる => を導入できる可能性 ❏ を作った ➢ 不特定多数の利用者がいるため ➢ PotreeConverterとPotreeDesktopはmacOSに対応していない ❏ ローカルサーバーで使用できるように、コンバーターの実行に改良を加えた => データやURLの共有で誰もが使えるデータを作り出すことができた 70
69. ❏ 複数のLASファイルがコンバートできない ➢ 恐ら LASファイルの問題 ➢ 早急に原因を解明し、問題を解決してい 必要がある ❏ ➢ GISを導入することにより、インターフェース上でTPVドローンの開発が可能 ➢ さらなる状況認知の向上が期待できる ➢ ドローンの事故の少ない社会へ寄与することができる 71
70. ➢ Clarke, R. (2014). Understanding the drone epidemic. Computer Law & Security Review, 30(3), 230-246. ➢ Endsley, M. R. (1995). Toward a theory of situation awareness in dynamic systems. Human factors, 37(1), 32-64. ➢ Kumar, A. Y., Noufia, M. A., Shahira, K. A., & Ramiya, A. M. (2019). Building Information Modelling of a Multi Storey Building Using Terrestrial Laser Scanner and Visualisation Using Potree: AN Open Source Point Cloud Renderer. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 42, 421-426. ➢ Radiant Insights, I. (2016). Commercial drones: Highways in the sky, commercial unmanned aerial systems (UAS), market shares, strategies, and forecasts, worldwide, 2015-2021. ➢ Rouse III, R. (1999). What's your perspective?. ACM SIGGRAPH Computer Graphics, 33(3), 9-12. ➢ Saakes, D., Choudhary, V., Sakamoto, D., Inami, M., & Lgarashi, T. (2013, December). A teleoperating interface for ground vehicles using autonomous flying cameras. In 2013 23rd International Conference on Artificial Reality and Telexistence (ICAT) (pp. 13-19). IEEE. ➢ Salamin, P., Thalmann, D., & Vexo, F. (2006, November). The benefits of third-person perspective in virtual and augmented reality?. In Proceedings of the ACM symposium on Virtual reality software and technology (pp. 27-30). ➢ Schuetz, M. (2016). Potree: Rendering large point clouds in web browsers. Technische Universität Wien, Wiedeń. ➢ Stanton, N. A., Chambers, P. R., & Piggott, J. (2001). Situational awareness and safety. Safety science, 39(3), 189-204. ➢ Salamin, P., Thalmann, D., & Vexo, F. (2006, November). The benefits of third-person perspective in virtual and augmented reality?. In Proceedings of the ACM symposium on Virtual reality software and technology (pp. 27-30). ➢ Thomason, J., Ratsamee, P., Kiyokawa, K., Kriangkomol, P., Orlosky, J., Mashita, T., ... & Takemura, H. (2017, March). Adaptive view management for drone teleoperation in complex 3D structures. In Proceedings of the 22nd International Conference on Intelligent User Interfaces (pp. 419-426). ➢ Yao, Y., Xia, H., Huang, Y., & Wang, Y. (2017, May). Free to fly in public spaces: Drone controllers' privacy perceptions and practices. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (pp. 6789-6793). ➢ 国土交通省. (2019). 平成31年度 無人航空機に係る事故トラブル等一覧 https://www.mlit.go.jp/common/001292055.pdf (参照2020-11-03) ➢ 国土交通省. (2020). 令和2年度 無人航空機に係る事故等の一覧 https://www.mlit.go.jp/common/001342842.pdf (参照2020-11-03) ➢ 天間遼太郎, 高嶋和毅, 藤田和之, 末田航, & 北村喜文. (2020). 空間連動する 2 つのカメラ視点を用いたドローン操縦インタフェースの拡張. 情報処理学会論文誌, 61(8), 1319-1332. ➢ 藤井十章. (2016). ３Ｄポイントデータをブラウザで表示するフリーソフト“Potree”. 知っ得ソフト, The Journal of survey 測量, 日本測量業界, 2016(3), 41. ➢ 静岡県 ➢ 静岡県, (2020). 　富士山南東部。伊豆東部点群データ ➢ 国土交通省, (2021). 道路標識設置基準の改正 ➢ KicTEC. 標識の標示板・文字の大きさと拡大率 ➢ 中部電力. 架空導電 72
71. THANKS! Any questions? You can find me at github.com/@22hero1072 GitHubレポジトリ https:/ /github.com/furuhashilab/2020gsc_HironoriMorita 73
72. Thank You for your attention! 74