Marigold

1枚の画像からDepthを推定する、生成系AIのMarigoldを使ってみた話

1. Marigold!
2. マリーゴールド マリーゴールド（英語: marigold、学名 ：Tagetes）。キク科コウオウソウ属（マンジュ ギク属）のうち草花として栽培される植物の 総称。 by Wikipedia
3. Not That one!
4. こっち！ Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation 分かりやすく言うと 1枚の絵から奥行きを推定するAI （拡散モデル） URL：https://github.com/prs-eth/Marigold
5. 何がすごいか？ 最近のトレンド 動画→３D 3D Gaussian Splatting、NeRF、SLAM (画像間の変化から奥行きを推定する ) Mrigoldは1枚の画像から奥行きを推測する。 …存在しない奥行きデータを作る！？ 　＊Ground Truthよりちょいよい 良いのが笑えます。
6. ほんまかいな？ （検証）
7. インストール方法(GitHubの手順まま) ▪リポジトリからクローン git clone https://github.com/prs-eth/Marigold.git cd Marigold ▪依存するライブラリをインストール python -m venv venv/marigold source venv/marigold/bin/activate pip install -r requirements.txt ▪実行 python run.py --input_rgb_dir 入力フォルダ --output_dir 出力フォルダ ＊入力フォルダにJpegファイルを突っ込めばOK。
8. 実行結果 入力ファイル 出力ファイル 入力サイズ：2268ｘ4032 出力サイズ：2268ｘ4032 処理時間：50秒 処理マシン： CPU：AMD Ryzen7 2700x 8core Mem:64GB GPU: GeForce 1080 GTX
9. Depthみても実感わかない
10. 人間用に変換 どこのご家庭にもある Looking Glass Portrait 裸眼で３Dに見える優れモノ ＊最近新しいクラファン始まっています。 　興味ある方はぜひ
11. LookingGlassで見るための手順 ① 元RGBファイルと、Depthを1枚にヨコ並 びとした画像を作成し、Jpegなどで保存す る。 ② HoloPlay Studioを起動し、ADD HOLOGRAMからファイルを追加。 PROPERTIESをいい具合にいじる。 Depthが逆になるの でこれチェック
12. 検証（感想） 食べ物写真 Pixelでポートレイトで撮影した写真 元画像はポートレイトモードのためボケが あり綺麗に見える写真。 Looking Glassで立体化してみると、より アップルパイ＆アイスクリームがフォーカ スされておいしそうに見える
13. 検証（感想） 近距離の写真 Pixelの通常のモードで撮影したもの。 元画像はボケもなく素直な写真。 無理やりな３D感もなく比較的自然。 親指系のLowProfileキーが少し手前に 認識されているか。ProMicroも深い。 が、メインのキー部分が自然なのでそれ ほど違和感はない。
14. 検証（感想） 夜景 東京の夜景を撮影したもの。 元画像は、新しい高層ビル群に挟まれた 東京タワーの色が、あいにくの空模様も 相まって映える写真。 周辺ビルはソコソコなんですが、肝心の 東京タワーが全くダメ 中央の人はかなり正しく認識されている ため、その部分にフォーカスするとそれな り。
15. まとめ 論文通り、かなり良い。 夜景などはあまり得意ではなさそう。 眠っているLooking Glass Portraitを引き出して遊ぶのもよさそう。