ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images

Transcript

1. ライセンスの呪いを祓う 続編 機械学習の社会実装勉強会第19回 Henry 2023/1/28
2. 目標とモチベーション ▪ 目標 • 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデ ルを学習したい ▪ 機械学習の社会実装的なモチベーション • pre-trained model・foundation model を利用したいときに、それに関 わるライセンス問題をクリアにしたい • 自分で大規模画像データセットを集める手間を省きたい ▪ 機械学習の研究的なモチベーション • 機械学習モデルの学習プロセスの解明 • 自然画像ではない画像でどこまで特徴量抽出ができるかの解明 2
3. 前回の内容 ▪ 数式に従って生成された画像のみを使って、汎用的な特徴量 抽出能力を持った画像認識モデルを学習できる • Fractal • Contour 3
4. 今日の内容 ▪ 同じ著者グループによる２本の論文紹介 • Learning to See by Looking at Noise, Baradad et al., NeurIPS 2021 • Procedural Image Programs for Representation Learning, Baradad et al., NuerIPS 2022 ▪ 先週との違い • 幅広い生成法 • ラベルなしで対照学習 • 主にカラフルな画像を使う 4
5. Baradad et al. 2021 5
6. Baradad et al. 2021 ▪ 5種類の生成法を考える a. 法則に従う ▪ FractalやCG等 b. Dead Leavesモデル ▪ ランダムのシェープで覆う c. 統計的画像生成 ▪ Spectrum：フーリエ変換がリアル画像のフーリエ変換と似る ▪ Wavelet-marginal model：wavelet係数が制約を満たす d. GANs ▪ StyleGAN：初期化したモデルで生成やそれに統計的制約をつける e. 特徴量可視化 ▪ ResNet50を使う 6
7. 全体的な性能 ▪ AlexNetモデルとInfoNCE損失 ▪ 一般的にStyleGANで生成された画像を使ったほうが性能が よい 7
8. 意味のある特徴量抽出ができる 8
9. Ablation Study ▪ 以下の２点が大事 • 統計的に自然画像に似ている • 程よい多様性を持つ 9
10. Baradad et al. 2022 ▪ Baradad et al. 2021の弱点 • 良いモデルを学習するには、生成プロセスを丁寧に調整する必要があ る • 生成手順が複雑で、手間がかかる ▪ 提案法 • OpenGLの短いコードを大量に集める • GPUで高性能並列で高速に画像生成する • 深く制御せずに学習する 10
11. Baradad et al. 2022 11
12. データ収集 ▪ ２つのソースから • Twitter：コードが短くて、より複雑な画像を生成 • Shadertoy：コードが長くて、よりシンプルな画像を生成 ▪ ２つのデータセットに • Shaders1k：Twitterのみ • Shaders21k：TwitterとShadertoy両方 ▪ クラスラベルも • 同じコードでシードを変えて生成 12
13. 分類性能 ▪ 教師付き分類（CE）、教師付き対照学習（SupCon）、教師なし 対照学習（SimCLR） ▪ log関数に従う 13
14. 大規模対照学習 14
15. Shaderで性能良くするために 15 ▪ 生成画像間の多様性 ▪ 複数のShaderでは、多様性を持つ部分集合を選べば良い