SIGGRAPH 2019: Scene and Object Reconstruction (Japanese)

SIGGRAPH 2019勉強会 (https://siggraph.xyz/s2019-sa2019/) での発表に使用したスライドです。

Transcript

1. SIGGRAPH 2019 Seminar Scene and Object Recognition Tatsuya Yatagawa Aug. 1st, 2020
2. Plan3D: Viewpoint and Trajectory Optimization for Aerial Multi-View Stereo Reconstruction どんな論⽂？ l 多視点ステレオ(MVS)の⼊⼒画像をドローンで⾃動撮影する研究 l 劣モジュラ関数最適化で候補視点から最適パスを⾒つける 従来法と⽐較して何が優れている？ l 多くの既存ツールは規則的な撮影箇所を提案する l ロボットで屋内を撮影するものは最適な次視点など局 所的な情報しか使わない l 最類似研究[Robert 2017]は劣モジュラ関数最適化を 混合整数計画で近似している 技術的に⼤事なところは？ l 最適なパスを得られる情報量の観点から定式化する l 情報量はカメラと表⾯の位置関係や画像解像度の観点で定式化 l 最適化には従来法である[Chekuri and Pal 2005]を使⽤ l 貪欲に情報量の多いパスを選んで、間を補間するイメージ どのように有効性を検証している？ l 劣モジュラ関数最適化を近似する従来法[Robert 2017]と の⽐較 (F値が3ポイントほど上昇) l ⼀定⾶⾏距離 (1500m, 2700m)での従来法との精度⽐較 Slide is available: http://bit.do/fG4JN
3. Multi-Robot Collaborative Dense Scene Reconstruction どんな論⽂？ l RGB-Dカメラを持った2台以上のロボットが協調しながら, 未知の屋内環境をスキャンする研究 従来法と⽐較して何が優れている？ l 過去のSIGGRAPHでも, ロボットを⽤いた屋内スキャンの 研究は多く, 結果も⾮常に優れている l ⼀⽅で, 従来法は1台のロボットだけを使うことが前提 l 提案法は複数のロボットが協調してスキャンを実施 技術的に⼤事なところは？ l 各ロボットの仕事を最⼩化するリソース割当問題を解く l 現在のスキャン (右図灰⾊領域)から新たな候補視点 (黒いカメラ) を決定 (深度情報の正確性とカメラからの距離を利⽤) l 候補視点を巡回する問題を多者巡回セールスマン問題で解く どのように有効性を検証している？ l 評価ようデータセット (SUNCG, Matterport3D) を⽤い たかなり細かなablation study l フレーム数, ロボット数の増加とともに精度がどう上がる かを評価している Slide is available: http://bit.do/fG4JN
4. A Symmetric Objective Function for ICP (only 7 pages!!) どんな論⽂？ l Point-to-Plane ICPに⽤いる距離関数を2つの形状に対し, 対称となるようにすることで収束率を改善する⼿法 従来法と⽐較して何が優れている？ l Point-to-Plane ICPは回転変換に対する収束が⾮常に遅い (式(A) で法線に沿った距離しか⾒ていないため) l 提案法では点と⾯の平均法線⽅向に関する距離(式(B))を⽤いるこ とで, 回転変換に関する収束効率を向上させる l 平均法線⽅向の距離が0 → 円弧の2点 + 法線と考えられる (左図) 技術的に⼤事なところは？ l 近似的には法線は回転させなくても良い (式(C)) l 回転⾏列Rも対称にしておくことで, 誤差関数が上⼿く線形近 似でき, ICPの1反復にかかる計算時間を改善できる どのように有効性を検証している？ l 回転と並進の量を増やしていった時に, ⼀定反復回数でど のくらい収束するかを従来法と⽐較 (論⽂ 図5) …… (A) …… (B) …… (C) Slide is available: http://bit.do/fG4JN
5. Warp-and-Project Tomography for Rapidly Deforming Objects どんな論⽂？ l 動きのある対象を, 動かしながらCT撮影するための, 三次元 再構成⼿法に関する研究 従来法と⽐較して何が優れている？ l 同著者の従来法は, 時間⽅向のサンプルがおよそ⼀様 (van der Corput列という⼀様分布列を使⽤) で, 最適化時におお よそ均等に誤差が落ちる l 実際には動きが遅いところは荒く, 動きが速いところは細か くサンプリングして, 重点的に誤差を減らしたい l 提案法は既知情報をwarp-and-projectすることでフレーム を内挿して, 上記の⼀様サンプリングの問題を解決する 技術的に⼤事なところは？ l 初期ボリューム再構成の結果と変位量場を⽤い, キーフレー ム補間の要領で, 投影像の変形を⾏う l 速度が速いところは、内挿した投影像をキーフレームに昇格 させる どのように有効性を検証している？ l 動きを陽に考慮しない従来法 (SART-ROF)と動きを考慮 する同著者らの従来法(ST-Tomography)との⽐較 l 動きが速いところ (右図でネジが下に来た時点) で, 提案法 が従来法より優れる (最初の時点でも良いのは？) Slide is available: http://bit.do/fG4JN
6. Surface Reconstruction Based on Modified Gauss Formula どんな論⽂？ l ⼊⼒点群からメッシュを再構成する新しい⼿法の提案 l ⼊⼒メッシュのノイズに強く, 計算効率も良い 従来法と⽐較して何が優れている？ l 従来法はPoisson surface reconstruction (PSR)のような 指⽰関数か, signed distance function (SDF)に基づく l 指⽰関数は⾯から離れた箇所に強く, SDFは⾯に近い箇所に 強い → 2つを組み合わせた⼿法もある l 提案法は積分形による指⽰関数の定義であるGauss lemma を改良して, ⾯近くでSDFに近い性質を持たせた 技術的に⼤事なところは？ l 積分を解くだけでいいため, PSRのような線形問題を解く処理を 必要としない l 積分の計算をfast multipole methodで⾼速化している l FFMは並列化性能がよく, GPU実装に向いている点も優れる どのように有効性を検証している？ l ノイズがない状態ではSPSRがかなり良く, 提案法に追随 l ノイズがある状況下では, 提案法の有意が広がる (右図) l GPUを利⽤することで, SPSRより5-6倍⾼速になる (CPU実装でも2 倍くらいは⾼速) Slide is available: http://bit.do/fG4JN