Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ライセンスの呪いを祓う 続編 / License-free Deep Learning for...
Search
Henry Cui
January 27, 2023
Programming
0
230
ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images
Henry Cui
January 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
220
Direct Preference Optimization
zchenry
0
390
Diffusion Model with Perceptual Loss
zchenry
0
430
レンズの下のLLM / LLM under the Lens
zchenry
0
190
Go with the Prompt Flow
zchenry
0
170
Mojo Dojo
zchenry
0
220
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
600
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
260
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
140
Other Decks in Programming
See All in Programming
3年ぶりにコードを書いた元CTOが Claude Codeと30分でMVPを作った話
maikokojima
0
590
When Dependencies Fail: Building Antifragile Applications in a Fragile World
selcukusta
0
110
Things You Thought You Didn’t Need To Care About That Have a Big Impact On Your Job
hollycummins
0
240
アメ車でサンノゼを走ってきたよ!
s_shimotori
0
230
品質ワークショップをやってみた
nealle
0
570
overlayPreferenceValue で実現する ピュア SwiftUI な AdMob ネイティブ広告
uhucream
0
190
『毎日の移動』を支えるGoバックエンド内製開発
yutautsugi
2
260
CSC509 Lecture 03
javiergs
PRO
0
340
bootcamp2025_バックエンド研修_WebAPIサーバ作成.pdf
geniee_inc
0
120
CSC305 Lecture 08
javiergs
PRO
0
250
開発生産性を上げるための生成AI活用術
starfish719
3
1.5k
Pull-Requestの内容を1クリックで動作確認可能にするワークフロー
natmark
2
520
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
The Straight Up "How To Draw Better" Workshop
denniskardys
238
140k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
A designer walks into a library…
pauljervisheath
209
24k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
115
20k
Gamification - CAS2011
davidbonilla
81
5.5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
31
2.7k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Embracing the Ebb and Flow
colly
88
4.9k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Transcript
ライセンスの呪いを祓う 続編 機械学習の社会実装勉強会第19回 Henry 2023/1/28
目標とモチベーション ▪ 目標 • 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデ ルを学習したい ▪ 機械学習の社会実装的なモチベーション • pre-trained
model・foundation model を利用したいときに、それに関 わるライセンス問題をクリアにしたい • 自分で大規模画像データセットを集める手間を省きたい ▪ 機械学習の研究的なモチベーション • 機械学習モデルの学習プロセスの解明 • 自然画像ではない画像でどこまで特徴量抽出ができるかの解明 2
前回の内容 ▪ 数式に従って生成された画像のみを使って、汎用的な特徴量 抽出能力を持った画像認識モデルを学習できる • Fractal • Contour 3
今日の内容 ▪ 同じ著者グループによる2本の論文紹介 • Learning to See by Looking at
Noise, Baradad et al., NeurIPS 2021 • Procedural Image Programs for Representation Learning, Baradad et al., NuerIPS 2022 ▪ 先週との違い • 幅広い生成法 • ラベルなしで対照学習 • 主にカラフルな画像を使う 4
Baradad et al. 2021 5
Baradad et al. 2021 ▪ 5種類の生成法を考える a. 法則に従う ▪ FractalやCG等
b. Dead Leavesモデル ▪ ランダムのシェープで覆う c. 統計的画像生成 ▪ Spectrum:フーリエ変換がリアル画像のフーリエ変換と似る ▪ Wavelet-marginal model:wavelet係数が制約を満たす d. GANs ▪ StyleGAN:初期化したモデルで生成やそれに統計的制約をつける e. 特徴量可視化 ▪ ResNet50を使う 6
全体的な性能 ▪ AlexNetモデルとInfoNCE損失 ▪ 一般的にStyleGANで生成された画像を使ったほうが性能が よい 7
意味のある特徴量抽出ができる 8
Ablation Study ▪ 以下の2点が大事 • 統計的に自然画像に似ている • 程よい多様性を持つ 9
Baradad et al. 2022 ▪ Baradad et al. 2021の弱点 •
良いモデルを学習するには、生成プロセスを丁寧に調整する必要があ る • 生成手順が複雑で、手間がかかる ▪ 提案法 • OpenGLの短いコードを大量に集める • GPUで高性能並列で高速に画像生成する • 深く制御せずに学習する 10
Baradad et al. 2022 11
データ収集 ▪ 2つのソースから • Twitter:コードが短くて、より複雑な画像を生成 • Shadertoy:コードが長くて、よりシンプルな画像を生成 ▪ 2つのデータセットに •
Shaders1k:Twitterのみ • Shaders21k:TwitterとShadertoy両方 ▪ クラスラベルも • 同じコードでシードを変えて生成 12
分類性能 ▪ 教師付き分類(CE)、教師付き対照学習(SupCon)、教師なし 対照学習(SimCLR) ▪ log関数に従う 13
大規模対照学習 14
Shaderで性能良くするために 15 ▪ 生成画像間の多様性 ▪ 複数のShaderでは、多様性を持つ部分集合を選べば良い