Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images

Henry Cui
January 27, 2023

ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images

Henry Cui

January 27, 2023
Tweet

More Decks by Henry Cui

Other Decks in Programming

Transcript

  1. 目標とモチベーション ▪ 目標 • 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデ ルを学習したい ▪ 機械学習の社会実装的なモチベーション • pre-trained

    model・foundation model を利用したいときに、それに関 わるライセンス問題をクリアにしたい • 自分で大規模画像データセットを集める手間を省きたい ▪ 機械学習の研究的なモチベーション • 機械学習モデルの学習プロセスの解明 • 自然画像ではない画像でどこまで特徴量抽出ができるかの解明 2
  2. 今日の内容 ▪ 同じ著者グループによる2本の論文紹介 • Learning to See by Looking at

    Noise, Baradad et al., NeurIPS 2021 • Procedural Image Programs for Representation Learning, Baradad et al., NuerIPS 2022 ▪ 先週との違い • 幅広い生成法 • ラベルなしで対照学習 • 主にカラフルな画像を使う 4
  3. Baradad et al. 2021 ▪ 5種類の生成法を考える a. 法則に従う ▪ FractalやCG等

    b. Dead Leavesモデル ▪ ランダムのシェープで覆う c. 統計的画像生成 ▪ Spectrum:フーリエ変換がリアル画像のフーリエ変換と似る ▪ Wavelet-marginal model:wavelet係数が制約を満たす d. GANs ▪ StyleGAN:初期化したモデルで生成やそれに統計的制約をつける e. 特徴量可視化 ▪ ResNet50を使う 6
  4. Baradad et al. 2022 ▪ Baradad et al. 2021の弱点 •

    良いモデルを学習するには、生成プロセスを丁寧に調整する必要があ る • 生成手順が複雑で、手間がかかる ▪ 提案法 • OpenGLの短いコードを大量に集める • GPUで高性能並列で高速に画像生成する • 深く制御せずに学習する 10