Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習は奔流に身をまかせ / Get Drowned in the Flood for De...
Search
Henry Cui
February 17, 2023
Technology
0
250
深層学習は奔流に身をまかせ / Get Drowned in the Flood for Deep Learning
Henry Cui
February 17, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
200
Direct Preference Optimization
zchenry
0
370
Diffusion Model with Perceptual Loss
zchenry
0
390
レンズの下のLLM / LLM under the Lens
zchenry
0
180
Go with the Prompt Flow
zchenry
0
160
Mojo Dojo
zchenry
0
210
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
560
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
240
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
120
Other Decks in Technology
See All in Technology
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
13k
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
4
1k
AI時代にも変わらぬ価値を発揮したい: インフラ・クラウドを切り口にユーザー価値と非機能要件に向き合ってエンジニアとしての地力を培う
netmarkjp
0
130
Snowflake Intelligenceという名のAI Agentが切り開くデータ活用の未来とその実現に必要なこと@SnowVillage『Data Management #1 Summit 2025 Recap!!』
ryo_suzuki
1
160
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
3
350
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
3
1.9k
Amplify Gen2から知るAWS CDK Toolkit Libraryの使い方/How to use the AWS CDK Toolkit Library as known from Amplify Gen2
fossamagna
1
350
衛星運用をソフトウェアエンジニアに依頼したときにできあがるもの
sankichi92
1
1k
三視点LLMによる複数観点レビュー
mhlyc
0
230
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
520
推し書籍📚 / Books and a QA Engineer
ak1210
0
140
Introduction to Bill One Development Engineer
sansan33
PRO
0
260
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Become a Pro
speakerdeck
PRO
29
5.4k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
700
Git: the NoSQL Database
bkeepers
PRO
430
65k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
520
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
4 Signs Your Business is Dying
shpigford
184
22k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Gamification - CAS2011
davidbonilla
81
5.4k
Transcript
深層学習は奔流に身をまかせ 機械学習の社会実装勉強会第20回 Henry 2023/2/18
モチベーション ▪ ペインポイント • 深層モデルの学習で望ましい効果を素早く得るのは難しい • 実データのラベルにノイズが多い • その問題点の一つに、過適合が挙げられる ▪
過適合を解消するための様々な正則化手法がある • weight decay や learning rate scheduler • Pytorchで簡単に使える ▪ 今日は最近の研究から、実用性が高い新しい正則化手法を 紹介する • 特に実装が楽 • まだあまり知られていない 2
紹介する論文 ▪ Do We Need Zero Training Loss After Achieving
Zero Training Error?, Ishida et al., ICML 2020 • Floodingという新しい正則化手法を導入 ▪ iFlood: A Stable and Effective Regularizer, Xie et al., ICLR 2022 • Floodingの計算式を少しだけ改良 3
Ishida et al., ICML 2020 ▪ モチベーション • 学習データでの損失を0まで学習を行ったほうが良いと言われる •
しかし、これは本当に必要なのか • 正則化手法は、学習データでの損失を過度に最小化しないための間 接的な手法と見なせる ▪ 直接学習損失の最小化を制限する手法:Flooding • 実装も簡単 • 学習損失は0じゃなくても、学習精度が100%の可能性もある 4
Ishida et al., ICML 2020 ▪ 提案法は以下の性質をすべて満たす初めての正則化手法 • 学習損失を直接制限する •
特定の問題ドメインに依存しない • 特定のタスクに依存しない • 特定のモデルに依存しない ▪ 提案法の仮設もシンプルで、「0の学習損失が有害」のみ ▪ 検証損失の二重降下に関する初めて研究 5
Ishida et al., ICML 2020 ▪ 人工データで有意な性能向上 6
Ishida et al., ICML 2020 ▪ 実データでも有意な性能向上 ▪ その他、Floodingによる勾配値の変化や解の平坦性なども調 査
7
Xie et al., ICLR 2022 ▪ Floodingにデータインスタンスの勾配が乖離する問題 • バッチで平均を取るので、同じバッチにある他のデータインスタンスの 損失に依存する
▪ 提案手法:絶対値をバッチで取るではなく、各データインスタン スレベルで取るので、indivisual Flood (iFlood)と呼ぶ ▪ 各手法のインスタンスの損失のヒストグラム 8
Xie et al., ICLR 2022 ▪ 確かに性能向上につながる ▪ その他も、勾配のノルムやノイズ耐性などを検証 9
まとめ ▪ 実用性高い正則化手法のFloodingとその改良版のiFlood ▪ 実装がシンプルで試しやすい 10