Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images
Search
Henry Cui
January 27, 2023
Programming
0
140
ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images
Henry Cui
January 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
160
Diffusion Model with Perceptual Loss
zchenry
0
79
レンズの下のLLM / LLM under the Lens
zchenry
0
99
Go with the Prompt Flow
zchenry
0
100
Mojo Dojo
zchenry
1
140
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
210
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
120
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
63
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
110
Other Decks in Programming
See All in Programming
新宿ダンジョンを可視化してみた
satoshi7190
3
420
Tailwind CSSを本気でカスタマイズする方法
fsubal
15
5.6k
Next.js App Router
quramy
13
2.2k
Native Federation: The Future of Micro Frontends in Angular
manfredsteyer
PRO
0
140
PHPコードの実行モデルを理解する / Understanding-the-PHP-Execution-Model
shin1x1
0
110
WebGLで始める コンピュータグラフィックス入門
heller77
0
360
Docker_OSS_ホスティング入門
satokoki645
0
120
VS Code をプロダクトにどう取り込むか
onomax
1
790
Timeline エディター拡張入門
yucchiy
0
370
GraphQLサーバの構成要素を整理する #ハッカー鮨 #tsukijigraphql / graphql server technology selection
izumin5210
4
930
Scalable Customer Journey Orchestration (CJO)
lewuathe
0
460
Webアプリをできるだけコードを手書きしないで作ってみる
tomokusaba
2
220
Featured
See All Featured
For a Future-Friendly Web
brad_frost
172
9k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
The Invisible Side of Design
smashingmag
294
49k
Typedesign – Prime Four
hannesfritz
36
2.1k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Debugging Ruby Performance
tmm1
70
11k
The Language of Interfaces
destraynor
151
23k
Embracing the Ebb and Flow
colly
80
4.2k
Scaling GitHub
holman
457
140k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
Ruby is Unlike a Banana
tanoku
96
10k
Raft: Consensus for Rubyists
vanstee
133
6.3k
Transcript
ライセンスの呪いを祓う 続編 機械学習の社会実装勉強会第19回 Henry 2023/1/28
目標とモチベーション ▪ 目標 • 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデ ルを学習したい ▪ 機械学習の社会実装的なモチベーション • pre-trained
model・foundation model を利用したいときに、それに関 わるライセンス問題をクリアにしたい • 自分で大規模画像データセットを集める手間を省きたい ▪ 機械学習の研究的なモチベーション • 機械学習モデルの学習プロセスの解明 • 自然画像ではない画像でどこまで特徴量抽出ができるかの解明 2
前回の内容 ▪ 数式に従って生成された画像のみを使って、汎用的な特徴量 抽出能力を持った画像認識モデルを学習できる • Fractal • Contour 3
今日の内容 ▪ 同じ著者グループによる2本の論文紹介 • Learning to See by Looking at
Noise, Baradad et al., NeurIPS 2021 • Procedural Image Programs for Representation Learning, Baradad et al., NuerIPS 2022 ▪ 先週との違い • 幅広い生成法 • ラベルなしで対照学習 • 主にカラフルな画像を使う 4
Baradad et al. 2021 5
Baradad et al. 2021 ▪ 5種類の生成法を考える a. 法則に従う ▪ FractalやCG等
b. Dead Leavesモデル ▪ ランダムのシェープで覆う c. 統計的画像生成 ▪ Spectrum:フーリエ変換がリアル画像のフーリエ変換と似る ▪ Wavelet-marginal model:wavelet係数が制約を満たす d. GANs ▪ StyleGAN:初期化したモデルで生成やそれに統計的制約をつける e. 特徴量可視化 ▪ ResNet50を使う 6
全体的な性能 ▪ AlexNetモデルとInfoNCE損失 ▪ 一般的にStyleGANで生成された画像を使ったほうが性能が よい 7
意味のある特徴量抽出ができる 8
Ablation Study ▪ 以下の2点が大事 • 統計的に自然画像に似ている • 程よい多様性を持つ 9
Baradad et al. 2022 ▪ Baradad et al. 2021の弱点 •
良いモデルを学習するには、生成プロセスを丁寧に調整する必要があ る • 生成手順が複雑で、手間がかかる ▪ 提案法 • OpenGLの短いコードを大量に集める • GPUで高性能並列で高速に画像生成する • 深く制御せずに学習する 10
Baradad et al. 2022 11
データ収集 ▪ 2つのソースから • Twitter:コードが短くて、より複雑な画像を生成 • Shadertoy:コードが長くて、よりシンプルな画像を生成 ▪ 2つのデータセットに •
Shaders1k:Twitterのみ • Shaders21k:TwitterとShadertoy両方 ▪ クラスラベルも • 同じコードでシードを変えて生成 12
分類性能 ▪ 教師付き分類(CE)、教師付き対照学習(SupCon)、教師なし 対照学習(SimCLR) ▪ log関数に従う 13
大規模対照学習 14
Shaderで性能良くするために 15 ▪ 生成画像間の多様性 ▪ 複数のShaderでは、多様性を持つ部分集合を選べば良い