ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images

Transcript

1. ライセンスの呪いを祓う 続編
   機械学習の社会実装勉強会第19回
   Henry
   2023/1/28
   

   View Slide

2. 目標とモチベーション
   ■ 目標
   ● 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデ
   ルを学習したい
   ■ 機械学習の社会実装的なモチベーション
   ● pre-trained model・foundation model を利用したいときに、それに関
   わるライセンス問題をクリアにしたい
   ● 自分で大規模画像データセットを集める手間を省きたい
   ■ 機械学習の研究的なモチベーション
   ● 機械学習モデルの学習プロセスの解明
   ● 自然画像ではない画像でどこまで特徴量抽出ができるかの解明
   2
   

   View Slide

3. 前回の内容
   ■ 数式に従って生成された画像のみを使って、汎用的な特徴量
   抽出能力を持った画像認識モデルを学習できる
   ● Fractal
   ● Contour
   3
   

   View Slide

4. 今日の内容
   ■ 同じ著者グループによる２本の論文紹介
   ● Learning to See by Looking at Noise, Baradad et al., NeurIPS
   2021
   ● Procedural Image Programs for Representation Learning,
   Baradad et al., NuerIPS 2022
   ■ 先週との違い
   ● 幅広い生成法
   ● ラベルなしで対照学習
   ● 主にカラフルな画像を使う
   4
   

   View Slide

5. Baradad et al. 2021
   5
   

   View Slide

6. Baradad et al. 2021
   ■ 5種類の生成法を考える
   a. 法則に従う
   ■ FractalやCG等
   b. Dead Leavesモデル
   ■ ランダムのシェープで覆う
   c. 統計的画像生成
   ■ Spectrum：フーリエ変換がリアル画像のフーリエ変換と似る
   ■ Wavelet-marginal model：wavelet係数が制約を満たす
   d. GANs
   ■ StyleGAN：初期化したモデルで生成やそれに統計的制約をつける
   e. 特徴量可視化
   ■ ResNet50を使う
   6
   

   View Slide

7. 全体的な性能
   ■ AlexNetモデルとInfoNCE損失
   ■ 一般的にStyleGANで生成された画像を使ったほうが性能が
   よい
   7
   

   View Slide

8. 意味のある特徴量抽出ができる
   8
   

   View Slide

9. Ablation Study
   ■ 以下の２点が大事
   ● 統計的に自然画像に似ている
   ● 程よい多様性を持つ
   9
   

   View Slide

10. Baradad et al. 2022
    ■ Baradad et al. 2021の弱点
    ● 良いモデルを学習するには、生成プロセスを丁寧に調整する必要があ
    る
    ● 生成手順が複雑で、手間がかかる
    ■ 提案法
    ● OpenGLの短いコードを大量に集める
    ● GPUで高性能並列で高速に画像生成する
    ● 深く制御せずに学習する
    10
    

    View Slide

11. Baradad et al. 2022
    11
    

    View Slide

12. データ収集
    ■ ２つのソースから
    ● Twitter：コードが短くて、より複雑な画像を生成
    ● Shadertoy：コードが長くて、よりシンプルな画像を生成
    ■ ２つのデータセットに
    ● Shaders1k：Twitterのみ
    ● Shaders21k：TwitterとShadertoy両方
    ■ クラスラベルも
    ● 同じコードでシードを変えて生成
    12
    

    View Slide

13. 分類性能
    ■ 教師付き分類（CE）、教師付き対照学習（SupCon）、教師なし
    対照学習（SimCLR）
    ■ log関数に従う
    13
    

    View Slide

14. 大規模対照学習
    14
    

    View Slide

15. Shaderで性能良くするために
    15
    ■ 生成画像間の多様性
    ■ 複数のShaderでは、多様性を持つ部分集合を選べば良い
    

    View Slide