$30 off During Our Annual Pro Sale. View Details »

ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images

Henry Cui
January 27, 2023

ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images

Henry Cui

January 27, 2023
Tweet

More Decks by Henry Cui

Other Decks in Programming

Transcript

  1. ライセンスの呪いを祓う 続編
    機械学習の社会実装勉強会第19回
    Henry
    2023/1/28

    View Slide

  2. 目標とモチベーション
    ■ 目標
    ● 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデ
    ルを学習したい
    ■ 機械学習の社会実装的なモチベーション
    ● pre-trained model・foundation model を利用したいときに、それに関
    わるライセンス問題をクリアにしたい
    ● 自分で大規模画像データセットを集める手間を省きたい
    ■ 機械学習の研究的なモチベーション
    ● 機械学習モデルの学習プロセスの解明
    ● 自然画像ではない画像でどこまで特徴量抽出ができるかの解明
    2

    View Slide

  3. 前回の内容
    ■ 数式に従って生成された画像のみを使って、汎用的な特徴量
    抽出能力を持った画像認識モデルを学習できる
    ● Fractal
    ● Contour
    3

    View Slide

  4. 今日の内容
    ■ 同じ著者グループによる2本の論文紹介
    ● Learning to See by Looking at Noise, Baradad et al., NeurIPS
    2021
    ● Procedural Image Programs for Representation Learning,
    Baradad et al., NuerIPS 2022
    ■ 先週との違い
    ● 幅広い生成法
    ● ラベルなしで対照学習
    ● 主にカラフルな画像を使う
    4

    View Slide

  5. Baradad et al. 2021
    5

    View Slide

  6. Baradad et al. 2021
    ■ 5種類の生成法を考える
    a. 法則に従う
    ■ FractalやCG等
    b. Dead Leavesモデル
    ■ ランダムのシェープで覆う
    c. 統計的画像生成
    ■ Spectrum:フーリエ変換がリアル画像のフーリエ変換と似る
    ■ Wavelet-marginal model:wavelet係数が制約を満たす
    d. GANs
    ■ StyleGAN:初期化したモデルで生成やそれに統計的制約をつける
    e. 特徴量可視化
    ■ ResNet50を使う
    6

    View Slide

  7. 全体的な性能
    ■ AlexNetモデルとInfoNCE損失
    ■ 一般的にStyleGANで生成された画像を使ったほうが性能が
    よい
    7

    View Slide

  8. 意味のある特徴量抽出ができる
    8

    View Slide

  9. Ablation Study
    ■ 以下の2点が大事
    ● 統計的に自然画像に似ている
    ● 程よい多様性を持つ
    9

    View Slide

  10. Baradad et al. 2022
    ■ Baradad et al. 2021の弱点
    ● 良いモデルを学習するには、生成プロセスを丁寧に調整する必要があ

    ● 生成手順が複雑で、手間がかかる
    ■ 提案法
    ● OpenGLの短いコードを大量に集める
    ● GPUで高性能並列で高速に画像生成する
    ● 深く制御せずに学習する
    10

    View Slide

  11. Baradad et al. 2022
    11

    View Slide

  12. データ収集
    ■ 2つのソースから
    ● Twitter:コードが短くて、より複雑な画像を生成
    ● Shadertoy:コードが長くて、よりシンプルな画像を生成
    ■ 2つのデータセットに
    ● Shaders1k:Twitterのみ
    ● Shaders21k:TwitterとShadertoy両方
    ■ クラスラベルも
    ● 同じコードでシードを変えて生成
    12

    View Slide

  13. 分類性能
    ■ 教師付き分類(CE)、教師付き対照学習(SupCon)、教師なし
    対照学習(SimCLR)
    ■ log関数に従う
    13

    View Slide

  14. 大規模対照学習
    14

    View Slide

  15. Shaderで性能良くするために
    15
    ■ 生成画像間の多様性
    ■ 複数のShaderでは、多様性を持つ部分集合を選べば良い

    View Slide