Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ライセンスの呪いを祓う 続編 / License-free Deep Learning for...
Search
Henry Cui
January 27, 2023
Programming
0
220
ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images
Henry Cui
January 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
200
Direct Preference Optimization
zchenry
0
370
Diffusion Model with Perceptual Loss
zchenry
0
390
レンズの下のLLM / LLM under the Lens
zchenry
0
180
Go with the Prompt Flow
zchenry
0
160
Mojo Dojo
zchenry
0
210
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
560
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
240
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
120
Other Decks in Programming
See All in Programming
Startups on Rails in Past, Present and Future–Irina Nazarova, RailsConf 2025
irinanazarova
0
250
AIともっと楽するE2Eテスト
myohei
8
3k
PicoRuby on Rails
makicamel
2
140
リバースエンジニアリング新時代へ! GhidraとClaude DesktopをMCPで繋ぐ/findy202507
tkmru
3
960
MDN Web Docs に日本語翻訳でコントリビュートしたくなる
ohmori_yusuke
1
130
テスターからテストエンジニアへ ~新米テストエンジニアが歩んだ9ヶ月振り返り~
non0113
2
220
効率的な開発手段として VRTを活用する
ishkawa
0
160
可変変数との向き合い方 $$変数名が踊り出す$$ / php conference Variable variables
gunji
0
180
Quand Symfony, ApiPlatform, OpenAI et LangChain s'allient pour exploiter vos PDF : de la théorie à la production…
ahmedbhs123
0
220
The Niche of CDK Grant オブジェクトって何者?/the-niche-of-cdk-what-isgrant-object
hassaku63
1
610
AI時代の『改訂新版 良いコード/悪いコードで学ぶ設計入門』 / ai-good-code-bad-code
minodriven
23
9.6k
型で語るカタ
irof
0
700
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
340
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Six Lessons from altMBA
skipperchong
28
3.9k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Raft: Consensus for Rubyists
vanstee
140
7k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Designing for Performance
lara
610
69k
Become a Pro
speakerdeck
PRO
29
5.4k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Transcript
ライセンスの呪いを祓う 続編 機械学習の社会実装勉強会第19回 Henry 2023/1/28
目標とモチベーション ▪ 目標 • 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデ ルを学習したい ▪ 機械学習の社会実装的なモチベーション • pre-trained
model・foundation model を利用したいときに、それに関 わるライセンス問題をクリアにしたい • 自分で大規模画像データセットを集める手間を省きたい ▪ 機械学習の研究的なモチベーション • 機械学習モデルの学習プロセスの解明 • 自然画像ではない画像でどこまで特徴量抽出ができるかの解明 2
前回の内容 ▪ 数式に従って生成された画像のみを使って、汎用的な特徴量 抽出能力を持った画像認識モデルを学習できる • Fractal • Contour 3
今日の内容 ▪ 同じ著者グループによる2本の論文紹介 • Learning to See by Looking at
Noise, Baradad et al., NeurIPS 2021 • Procedural Image Programs for Representation Learning, Baradad et al., NuerIPS 2022 ▪ 先週との違い • 幅広い生成法 • ラベルなしで対照学習 • 主にカラフルな画像を使う 4
Baradad et al. 2021 5
Baradad et al. 2021 ▪ 5種類の生成法を考える a. 法則に従う ▪ FractalやCG等
b. Dead Leavesモデル ▪ ランダムのシェープで覆う c. 統計的画像生成 ▪ Spectrum:フーリエ変換がリアル画像のフーリエ変換と似る ▪ Wavelet-marginal model:wavelet係数が制約を満たす d. GANs ▪ StyleGAN:初期化したモデルで生成やそれに統計的制約をつける e. 特徴量可視化 ▪ ResNet50を使う 6
全体的な性能 ▪ AlexNetモデルとInfoNCE損失 ▪ 一般的にStyleGANで生成された画像を使ったほうが性能が よい 7
意味のある特徴量抽出ができる 8
Ablation Study ▪ 以下の2点が大事 • 統計的に自然画像に似ている • 程よい多様性を持つ 9
Baradad et al. 2022 ▪ Baradad et al. 2021の弱点 •
良いモデルを学習するには、生成プロセスを丁寧に調整する必要があ る • 生成手順が複雑で、手間がかかる ▪ 提案法 • OpenGLの短いコードを大量に集める • GPUで高性能並列で高速に画像生成する • 深く制御せずに学習する 10
Baradad et al. 2022 11
データ収集 ▪ 2つのソースから • Twitter:コードが短くて、より複雑な画像を生成 • Shadertoy:コードが長くて、よりシンプルな画像を生成 ▪ 2つのデータセットに •
Shaders1k:Twitterのみ • Shaders21k:TwitterとShadertoy両方 ▪ クラスラベルも • 同じコードでシードを変えて生成 12
分類性能 ▪ 教師付き分類(CE)、教師付き対照学習(SupCon)、教師なし 対照学習(SimCLR) ▪ log関数に従う 13
大規模対照学習 14
Shaderで性能良くするために 15 ▪ 生成画像間の多様性 ▪ 複数のShaderでは、多様性を持つ部分集合を選べば良い