Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第42回ロボティクス勉強会:実環境を手軽にシミュレータ環境に持ってくるpointcloud2g...
Search
atinfinity
November 27, 2023
Programming
0
3.5k
第42回ロボティクス勉強会:実環境を手軽にシミュレータ環境に持ってくるpointcloud2gazebo
https://robosemi.connpass.com/event/295332/
の発表資料です。
atinfinity
November 27, 2023
Tweet
Share
Other Decks in Programming
See All in Programming
第9回 情シス転職ミートアップ 株式会社IVRy(アイブリー)の紹介
ivry_presentationmaterials
1
290
チームで開発し事業を加速するための"良い"設計の考え方 @ サポーターズCoLab 2025-07-08
agatan
1
360
イベントストーミング図からコードへの変換手順 / Procedure for Converting Event Storming Diagrams to Code
nrslib
2
650
たった 1 枚の PHP ファイルで実装する MCP サーバ / MCP Server with Vanilla PHP
okashoi
1
240
ニーリーにおけるプロダクトエンジニア
nealle
0
800
MDN Web Docs に日本語翻訳でコントリビュートしたくなる
ohmori_yusuke
1
120
Webの外へ飛び出せ NativePHPが切り拓くPHPの未来
takuyakatsusa
2
540
A full stack side project webapp all in Kotlin (KotlinConf 2025)
dankim
0
110
20250628_非エンジニアがバイブコーディングしてみた
ponponmikankan
0
670
「Cursor/Devin全社導入の理想と現実」のその後
saitoryc
0
800
Code as Context 〜 1にコードで 2にリンタ 34がなくて 5にルール? 〜
yodakeisuke
0
120
High-Level Programming Languages in AI Era -Human Thought and Mind-
hayat01sh1da
PRO
0
770
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Facilitating Awesome Meetings
lara
54
6.4k
Embracing the Ebb and Flow
colly
86
4.7k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
49
5.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
960
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
4 Signs Your Business is Dying
shpigford
184
22k
BBQ
matthewcrist
89
9.7k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Transcript
実環境を手軽にシミュレータ環境に持ってくる pointcloud2gazebo @dandelion1124 第42回ロボティクス勉強会
自己紹介 • @dandelion1124 ◦ 専門はコンピュータビジョン、ロボティクス、ソフトウェア高速化 ◦ OpenCVコントリビューター
▪ OpenCV書籍執筆 https://gihyo.jp/book/2022/978-4-297-12775-6 ◦ 2023年10月よりサイバーエージェント AI Labで人物行動理解に関する研究に従事
モチベーション • 自律走行ロボット開発のため、実環境と同一スケールのシミュレータ環境を手早く作りたい • 屋内環境をiPhoneでさっと撮影して、シミュレータ環境上に再現できると便利 ◦ 以下の機器が一式揃っている便利デバイスのiPhoneを活用
▪ 計算資源 ▪ センサ(RGB-Dカメラ、IMU、LiDAR) ▪ SLAMアプリケーション
• システム構成図 今回作ったもの RTABMAP pointcloud2gaz ebo ply(点群)、 データベース Gazebo World
Gazebo RTABMAP:https://apps.apple.com/jp/app/rtab-map-3d-lidar-scanner/id1564774365 今回作ったもの
デモ • 実験データ ◦ オフィスにある本棚付近で実験 ◦ iPhoneを持って本棚周辺をぐるっと周ってRTABMAPを実行
デモ • 今回作ったpointcloud2gazeboで生成したWorldは以下の通り 点群地図 Worldファイル
デモ • 生成したWorld上でナビゲーション
従来手法 • CADファイルでモデリングする • 点群データをRViz2で可視化する • MeshLabを使う •
map2gazeboを使う
従来手法 • 点群データをRViz2で可視化する ◦ SLAM等で作った点群地図をRViz2で可視化 ▪ 点数によっては描画が重くなる
◦ シミュレータ環境にそのまま反映できない ▪ あくまで可視化用途
従来手法 • CADファイルでモデリングする ◦ 実際のスケールを反映させるためには見取り図 or 実測が必要 ◦
見取り図がない場合、人手でモデルを作成し、配置する必要がある ◦ 見取り図があっても家具などの情報は含まれていないことがあり、実世界と一致しないことが ある ▪ 環境にオブジェクトがたくさんあるとモデリングが大変
従来手法 • MeshLabを使う ◦ https://www.meshlab.net/ ◦ 点群地図を補正(ノイズ除去、間引き、メッシュ作成)し、モデルデータに変換 ◦
高度なアルゴリズムが実装されているが、人手による前処理、パラメータ調整などの試行錯 誤が必要
従来手法 • map2gazeboを使う ◦ https://github.com/shilohc/map2gazebo ◦ 2D 占有格子地図からSTL or
DAEを出力 ▪ 占有格子地図に対してOpenCVのfindContoursで輪郭抽出し、モデル生成 ◦ 2D 占有格子地図が入力のため、以下の課題がある ▪ ノイズ除去が難しい ▪ 高さ情報が失われているため、実際の場所との紐づけが難しい 点群地図 占有格子地図 Worldファイル
pointcloud2gazebo • 処理構成 • 特徴
◦ 依存ライブラリが少ない(Open3D、NumPyのみ)ため、環境構築が容易 オフセット 処理 ノイズ除去 World生成 点群地図 Worldファイル
pointcloud2gazebo • オフセット処理 ◦ 点群地図の地図座標系は地図生成開始時のカメラ位置が原点となる座標系となる ◦ 地面の高さがゼロの方が使い勝手がよいのでオフセット処理を適用 地面の高さをゼロにする
pointcloud2gazebo • ノイズ除去 ◦ 床面除去 ▪ 高さ方向のクロッピング ◦
計測ノイズ除去 ▪ Voxel Grid Filter ▪ Radius outlier remova l ◦ 参考 ▪ http://www.open3d.org/docs/release/tutorial/geometry/pointcloud_outlier_removal.html ▪ https://tech-deliberate-jiro.com/radius-based-outlier-filter/ 赤い点がノイズとして判定された点群
pointcloud2gazebo • World生成 ◦ 点群からメッシュ作成 ▪ create_from_point_cloud_alpha_shapeでメッシュ作成 ▪
参考:http://www.open3d.org/docs/latest/tutorial/Advanced/surface_reconstruction.html Alpha shapes Ball pivoting
pointcloud2gazebo • World生成 ◦ World生成 ▪ メッシュからSTLにエクスポートし、Worldファイルを生成 ▪ 参考:https://zenn.dev/tasada038/articles/54f6111fb6e907
メッシュ Worldファイル
World描画高速化 • Tips #1:陰影処理無効化 ◦ 陰影処理を無効化することで描画処理を軽量化 ▪ 参考:https://www.blackcoffeerobotics.com/blog/5-ways-to-speedup-gazebo-simulations
◦ Worldファイルに下記の内容を追記するだけ ◦ 変更前後のシミュレーション速度は以下の通り ▪ 変更前:7fps、変更後:22fps <scene> <shadows>0</shadows> </scene>
World描画高速化 • Tips #2:NVIDIA GPUを使う ◦ 利用例:NVIDIA GPUが使えるブラウザベース ROS 2デスクトップ環境(自作)
▪ https://github.com/atinfinity/nvidia-egl-desktop-ros2 ▪ ホスト環境:Ubuntu 22.04、Windows 11+WSL2上で動作すること確認 ◦ 今回作成したWorldファイルでも60fps出る
おまけ • 表現方法の模索 ◦ ボクセル表現にすることで単純にメッシュを貼るよりも色情報が残せる ◦ ローポリゴンゲームのような表現になり、用途によっては有効かも
今後の予定 • pointcloud2gazeboをOSSとして公開予定 • メッシュファイル軽量化 • 歩行者軌跡、注目箇所推定アルゴリズムと連携したツールキット公開
会社紹介 • サイバーエージェントはインターネット広告やメディア・ゲームだけでなく、小売や行政などの現実世 界を対象としたサービスも進めている ◦ 商品自らが動いて話す「自己推薦ロボット」のような取り組みも行っている ▪ プレスリリース:https://www.cyberagent.co.jp/news/detail/id=29494
• よりよいサービス提供のため、実世界における人々の活動の 適切なセンシング技術 、適切な情報 提示技術が不可欠であり、AI Labではロボティクス・コンピュータビジョン研究を中心に扱うチームを 新設
会社紹介 • ロボットを社会実装する上で以下の強みがある ◦ 必要な要素技術(音声処理、自然言語処理、HCIなど)に関するリサーチャー、エンジニアが 多数在籍 ▪ https://cyberagent.ai/ailab/people/
◦ 自社でLLMを開発していることから技術連携、フィードバックしやすい ▪ https://www.cyberagent.co.jp/news/detail/id=29479 • 東京、大阪、京都でリサーチサイエンティスト、リサーチエンジニア、インターンを募集中。興味ある 方はご連絡ください。