深度推定モデルの 自己教師あり学習 shun sato

深層学習モデル(Deep Learning) ● 深層学習モデルはトレーニングを経て推論が可能に �@ュ#ルゥ!ッ&ー%��� 私はCh4tG*Tです。なにかお手伝い できることはありますか？ トレーニング

深層学習モデルのトレーニングの様子 ● 入力データと教師データの組でトレーニング ①データ入力 入力データ ②推論 ④逆伝搬 正解は 「いぬ」です 教師データ ③損失を計算 これは 「ねこ」です 推論結果 ※逆伝搬：微分による深層学習モデルの重みの更新

自己教師あり学習(Self-Supervised Learning) ● 教師データ無しで深層学習モデルを学習する ● なんらかのアルゴリズムで推論結果から損失を計算する 例：深層学習モデルでゲーム対戦をする 勝ち：損失小 負け：損失大 人間に勝つ レベルに成長！ AI同士で永遠に対戦

深度推定モデル ● 入力画像に対応する深度画像を推定 KITTIデータセット https://www.cvlibs.net/datasets/kitti/ 深度推定で最も有名な大規模データセット 専用車両を使ってデータを収集

事前知識：MVS(Multi-View Stereo) ● 複数視点画像から三次元再構成を行うアルゴリズム(深層学習ではない) ● カメラ位置(Camera Pose)と深度(Depth)を推定 1. 特徴点マッチングを使って Camera Poseを推定 2. Camera Poseを調整しながら Depthを推定 気になる人はACMHを調べて読んでみよう!

深度推定モデルの自己教師あり学習 ● MVSのアルゴリズムを応用 ⇨ 動画から学習を可能にする！ 時間tの画像 時間t+1の画像 時間tの深度 ②深度推定 ①カメラ移動推定 ①②の情報を使って時間t+1の画像を再投影 ⇨時間t+1の画像と損失を計算！

画像再投影のイメージ Cam 1の画像 Cam 1の深度 × Cam 1 Cam 2 3D reconstruct Cam Pose Cam 2視点の画像 2D projection

研究で取り組んでいること ● 魚眼画像で深度推定モデルの自己教師あり学習 通常レンズに 比べると精度✗

データセットは自前で作成 ● Unityで作成！ ● 勉強したこと ○ カメラシェーダの変更 ○ 深度バッファの取得

まとめ ● 深層学習モデルはトレーニングが必要 ● 自己教師あり学習は教師データがいらない ● 深度推定モデルも自己教師あり学習ができる ● 数学頑張れば魚眼画像でもできる