Vision-based 3D reconstruction for navigation and characterization of unknown, space-borne targets

Transcript

1. VISION-BASED 3D RECONSTRUCTION FOR NAVIGATION AND CHARACTERIZATION OF UNKNOWN, SPACE-BORNE TARGETS 吉村隆之
2. Agenda 1. Introduction: 分野のご紹介 2. 論文紹介: VISION-BASED 3D RECONSTRUCTION FOR NAVIGATION AND CHARACTERIZATION OF UNKNOWN, SPACE-BORNE TARGETS Note: - 前半部分は表題の論文の内容とは限りません - 後半部分は特に記載がない限り、表題の論文が出典です。 - ニッチなアプリケーション領域の紹介です。
3. Introduction: 宇宙でReconstruction?
4. なぜ宇宙空間で3D Reconstructionが必要？ - 小惑星や人工物にランデブーしたい - 航法技術は基本的に対象の形状情報を前提 としている - 形状情報が事前にないこともある - 小惑星は事前にはわからない - 人工物も衝突などで変形している可能性 - 通信遅延などがあるので、衛星側で自律制御 できるのが理想
5. 技術的難しさ - 撮影自体の難しさ - 近づくのが難しい - 望遠では安定したポインティングが難 しい - 撮りたい方向から撮るのが難しい - 画像処理の難しさ - ハイコントラスト - Harsh Shadows - 動的に変化し続ける照明条件 - 軌道上の人工物は基本テカテカ NASA: ハッブル宇宙望遠鏡
6. Approach - LiDAR - Stereophotoclinometry(SPC) - Triangulation - SfM-MVS - Stereo Vision - Novel View Synthesis ISAS/JAXA: SPCによるリュウグウの形状モデル
7. 利用可能なデータの制約 - 実画像データが乏しい - 公開されている軌道上画像はごく少量 - 良くて実験室画像だが、それも限定的 - ほとんどの研究は3DCGベースで行われている - Ground Truthデータはもっと乏しい
8. 現状 - 現状 - 実例はごく少ない - NeRF/3DGS適用の論文が多い - Gaussian Splatting: 最近の事例 - 期待される応用先 - デブリ除去 - 小惑星探査 - 未登録物体の識別 - 燃料補給・修理
9. 論文紹介: VISION-BASED 3D RECONSTRUCTION FOR NAVIGATION AND CHARACTERIZATION OF UNKNOWN, SPACE-BORNE TARGETS 33rd AAS/AIAA Space Flight Mechanics Meeting, Austin, TX, January 15-19, 2023.
10. 概要 - 宇宙ミッションの設計パラメータの3D再構成に対する包括的な感度解析 - 選定理由: - 再構成技術の実現性と宇宙ミッション設計の関係について体系的に示されて おり、価値が高い。 - 馴染みのある技術と宇宙ドメインの接続がわかりやすい。 - ※本論文自体は”AI”を直接扱っているわけではありませんが、AIで解決しうる 課題が豊富な分野への導入として最適と考えて選定しました。
11. 背景 - LiDAR手法はサイズ・重量・電力・コストが 大きいのでVisionでやりたい(V3DR) - V3DRは複雑さゆえに実用できていない - 先行研究で示されていない3つのGap - 設計パラメータの感度解析 - 逐次画像と同期画像の比較 - ターゲットが自然物か人工物かの影響 - 包括的な解析を実施 https://www.youtube.com/watch?v=d7UxzpnmpWk&t=908s&a b_channel=SpaceRendezvousLaboratory
12. V3DR手法 - Stereo Vision(SV)とSfMをそれぞれ評価 - センサーの姿勢はSVでは既知、SfMでは未知とする - MatchingにはKeypointの他に3Dモデルの頂点もGTとして使用する - 自然物にはSIFT, 人工物にはORBをkeypointとして使用
13. 実験: 対象物体 - 自然物: 小惑星Eros - 33km - 人工物: 小型衛星Tango - 1.48m
14. 対象 カメラ 実験: シナリオ設定 - 設計パラメータ - Angular Separation - Number of Views - Percent of FoV(Distance) - Target Rotation Rate - 状態の不確実性 - Absolute Pose Uncertainty - Relative Pose Uncertainty - Clock Sync 対象を中心に円軌道上を等間隔 で撮影していく。Tangoの場合も、 相対的に円を描く軌道を選択す ることができる Sequential撮影の場合は一つの 衛星で逐次撮影。Synchronize の場合は複数衛星で同時撮影
15. 実験: 感度解析条件 - 解析対象以外のパラメータはdefaultに固定. Uncertaintyは0に固定 - 同一のパラメータ条件に対して、ターゲットの初期姿勢と太陽光の方向をランダマ イズして複数回実施 - 評価指標: - median proportional depth recovery error ≒ 再構築点のdepth誤差の中央値 - 得られた3次元点数
16. 結果: Angular Separation 結果は顕著なものを除き割愛 - SV - 角度差を大きくしていくと、視差が得 られてエラーが減少していく - しかし一定以上になると、十分な マッチング量が得られず悪化に転ず る - SfM - 同様の傾向が見られるが、マッチン グ減少の影響をより強く受ける
17. 結果: State Uncertainty - Absolute Position Errorが本論文の parameter上で最も大きな影響を与え る - Relative Position ErrorはAbsoluteに 比べて誤差が一桁小さい。一般的に Relative誤差のほうが小さく抑えやす いため。 - clock 同期誤差と姿勢誤差の影響は 小さい
18. 結果: Synchronized vs. Sequential Imaging - Keypointsを使用したケースでは、 Synchronizedは同様、またはより良 い結果だった - Verticesを使用したケースでは、わ ずかな差 - 平均して20%誤差が小さかった
19. 結論 - 各設計パラメータの最適値を示した - 相対位置を使うことで絶対位置よりも一桁精度がよくなる - multi-agentはclock同期誤差にもロバスト - muilti-agentはターゲットの回転速度に対して、よりロバスト - multi-agentは平均20%精度向上