SIGGRAPH 2019: Scene and Object Reconstruction (Japanese)

SIGGRAPH 2019勉強会 (https://siggraph.xyz/s2019-sa2019/) での発表に使用したスライドです。

Transcript

1. SIGGRAPH 2019 Seminar
   Scene and Object Recognition
   Tatsuya Yatagawa
   Aug. 1st, 2020
   

   View Slide

2. Plan3D: Viewpoint and Trajectory Optimization for
   Aerial Multi-View Stereo Reconstruction
   どんな論⽂？
   l 多視点ステレオ(MVS)の⼊⼒画像をドローンで⾃動撮影する研究
   l 劣モジュラ関数最適化で候補視点から最適パスを⾒つける
   従来法と⽐較して何が優れている？
   l 多くの既存ツールは規則的な撮影箇所を提案する
   l ロボットで屋内を撮影するものは最適な次視点など局
   所的な情報しか使わない
   l 最類似研究[Robert 2017]は劣モジュラ関数最適化を
   混合整数計画で近似している
   技術的に⼤事なところは？
   l 最適なパスを得られる情報量の観点から定式化する
   l 情報量はカメラと表⾯の位置関係や画像解像度の観点で定式化
   l 最適化には従来法である[Chekuri and Pal 2005]を使⽤
   l 貪欲に情報量の多いパスを選んで、間を補間するイメージ
   どのように有効性を検証している？
   l 劣モジュラ関数最適化を近似する従来法[Robert 2017]と
   の⽐較 (F値が3ポイントほど上昇)
   l ⼀定⾶⾏距離 (1500m, 2700m)での従来法との精度⽐較
   Slide is available: http://bit.do/fG4JN
   

   View Slide

3. Multi-Robot Collaborative Dense Scene
   Reconstruction
   どんな論⽂？
   l RGB-Dカメラを持った2台以上のロボットが協調しながら,
   未知の屋内環境をスキャンする研究
   従来法と⽐較して何が優れている？
   l 過去のSIGGRAPHでも, ロボットを⽤いた屋内スキャンの
   研究は多く, 結果も⾮常に優れている
   l ⼀⽅で, 従来法は1台のロボットだけを使うことが前提
   l 提案法は複数のロボットが協調してスキャンを実施
   技術的に⼤事なところは？
   l 各ロボットの仕事を最⼩化するリソース割当問題を解く
   l 現在のスキャン (右図灰⾊領域)から新たな候補視点 (黒いカメラ)
   を決定 (深度情報の正確性とカメラからの距離を利⽤)
   l 候補視点を巡回する問題を多者巡回セールスマン問題で解く
   どのように有効性を検証している？
   l 評価ようデータセット (SUNCG, Matterport3D) を⽤い
   たかなり細かなablation study
   l フレーム数, ロボット数の増加とともに精度がどう上がる
   かを評価している
   Slide is available: http://bit.do/fG4JN
   

   View Slide

4. A Symmetric Objective Function for ICP (only 7 pages!!)
   どんな論⽂？
   l Point-to-Plane ICPに⽤いる距離関数を2つの形状に対し,
   対称となるようにすることで収束率を改善する⼿法
   従来法と⽐較して何が優れている？
   l Point-to-Plane ICPは回転変換に対する収束が⾮常に遅い (式(A)
   で法線に沿った距離しか⾒ていないため)
   l 提案法では点と⾯の平均法線⽅向に関する距離(式(B))を⽤いるこ
   とで, 回転変換に関する収束効率を向上させる
   l 平均法線⽅向の距離が0 → 円弧の2点 + 法線と考えられる (左図)
   技術的に⼤事なところは？
   l 近似的には法線は回転させなくても良い (式(C))
   l 回転⾏列Rも対称にしておくことで, 誤差関数が上⼿く線形近
   似でき, ICPの1反復にかかる計算時間を改善できる
   どのように有効性を検証している？
   l 回転と並進の量を増やしていった時に, ⼀定反復回数でど
   のくらい収束するかを従来法と⽐較 (論⽂ 図5)
   …… (A)
   …… (B)
   …… (C)
   Slide is available: http://bit.do/fG4JN
   

   View Slide

5. Warp-and-Project Tomography for Rapidly
   Deforming Objects
   どんな論⽂？
   l 動きのある対象を, 動かしながらCT撮影するための, 三次元
   再構成⼿法に関する研究
   従来法と⽐較して何が優れている？
   l 同著者の従来法は, 時間⽅向のサンプルがおよそ⼀様 (van
   der Corput列という⼀様分布列を使⽤) で, 最適化時におお
   よそ均等に誤差が落ちる
   l 実際には動きが遅いところは荒く, 動きが速いところは細か
   くサンプリングして, 重点的に誤差を減らしたい
   l 提案法は既知情報をwarp-and-projectすることでフレーム
   を内挿して, 上記の⼀様サンプリングの問題を解決する
   技術的に⼤事なところは？
   l 初期ボリューム再構成の結果と変位量場を⽤い, キーフレー
   ム補間の要領で, 投影像の変形を⾏う
   l 速度が速いところは、内挿した投影像をキーフレームに昇格
   させる
   どのように有効性を検証している？
   l 動きを陽に考慮しない従来法 (SART-ROF)と動きを考慮
   する同著者らの従来法(ST-Tomography)との⽐較
   l 動きが速いところ (右図でネジが下に来た時点) で, 提案法
   が従来法より優れる (最初の時点でも良いのは？)
   Slide is available: http://bit.do/fG4JN
   

   View Slide

6. Surface Reconstruction Based on Modified Gauss Formula
   どんな論⽂？
   l ⼊⼒点群からメッシュを再構成する新しい⼿法の提案
   l ⼊⼒メッシュのノイズに強く, 計算効率も良い
   従来法と⽐較して何が優れている？
   l 従来法はPoisson surface reconstruction (PSR)のような
   指⽰関数か, signed distance function (SDF)に基づく
   l 指⽰関数は⾯から離れた箇所に強く, SDFは⾯に近い箇所に
   強い → 2つを組み合わせた⼿法もある
   l 提案法は積分形による指⽰関数の定義であるGauss lemma
   を改良して, ⾯近くでSDFに近い性質を持たせた
   技術的に⼤事なところは？
   l 積分を解くだけでいいため, PSRのような線形問題を解く処理を
   必要としない
   l 積分の計算をfast multipole methodで⾼速化している
   l FFMは並列化性能がよく, GPU実装に向いている点も優れる
   どのように有効性を検証している？
   l ノイズがない状態ではSPSRがかなり良く, 提案法に追随
   l ノイズがある状況下では, 提案法の有意が広がる (右図)
   l GPUを利⽤することで, SPSRより5-6倍⾼速になる (CPU実装でも2
   倍くらいは⾼速)
   Slide is available: http://bit.do/fG4JN
   

   View Slide