ライセンスの呪いを祓う 続編機械学習の社会実装勉強会第19回Henry2023/1/28
View Slide
目標とモチベーション■ 目標● 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデルを学習したい■ 機械学習の社会実装的なモチベーション● pre-trained model・foundation model を利用したいときに、それに関わるライセンス問題をクリアにしたい● 自分で大規模画像データセットを集める手間を省きたい■ 機械学習の研究的なモチベーション● 機械学習モデルの学習プロセスの解明● 自然画像ではない画像でどこまで特徴量抽出ができるかの解明2
前回の内容■ 数式に従って生成された画像のみを使って、汎用的な特徴量抽出能力を持った画像認識モデルを学習できる● Fractal● Contour3
今日の内容■ 同じ著者グループによる2本の論文紹介● Learning to See by Looking at Noise, Baradad et al., NeurIPS2021● Procedural Image Programs for Representation Learning,Baradad et al., NuerIPS 2022■ 先週との違い● 幅広い生成法● ラベルなしで対照学習● 主にカラフルな画像を使う4
Baradad et al. 20215
Baradad et al. 2021■ 5種類の生成法を考えるa. 法則に従う■ FractalやCG等b. Dead Leavesモデル■ ランダムのシェープで覆うc. 統計的画像生成■ Spectrum:フーリエ変換がリアル画像のフーリエ変換と似る■ Wavelet-marginal model:wavelet係数が制約を満たすd. GANs■ StyleGAN:初期化したモデルで生成やそれに統計的制約をつけるe. 特徴量可視化■ ResNet50を使う6
全体的な性能■ AlexNetモデルとInfoNCE損失■ 一般的にStyleGANで生成された画像を使ったほうが性能がよい7
意味のある特徴量抽出ができる8
Ablation Study■ 以下の2点が大事● 統計的に自然画像に似ている● 程よい多様性を持つ9
Baradad et al. 2022■ Baradad et al. 2021の弱点● 良いモデルを学習するには、生成プロセスを丁寧に調整する必要がある● 生成手順が複雑で、手間がかかる■ 提案法● OpenGLの短いコードを大量に集める● GPUで高性能並列で高速に画像生成する● 深く制御せずに学習する10
Baradad et al. 202211
データ収集■ 2つのソースから● Twitter:コードが短くて、より複雑な画像を生成● Shadertoy:コードが長くて、よりシンプルな画像を生成■ 2つのデータセットに● Shaders1k:Twitterのみ● Shaders21k:TwitterとShadertoy両方■ クラスラベルも● 同じコードでシードを変えて生成12
分類性能■ 教師付き分類(CE)、教師付き対照学習(SupCon)、教師なし対照学習(SimCLR)■ log関数に従う13
大規模対照学習14
Shaderで性能良くするために15■ 生成画像間の多様性■ 複数のShaderでは、多様性を持つ部分集合を選べば良い