Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
深層学習は奔流に身をまかせ / Get Drowned in the Flood for De...
Search
Henry Cui
February 17, 2023
Technology
340
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
深層学習は奔流に身をまかせ / Get Drowned in the Flood for Deep Learning
Henry Cui
February 17, 2023
Transcript
10 slides
深層学習は奔流に身をまかせ 機械学習の社会実装勉強会第20回 Henry 2023/2/18
モチベーション ▪ ペインポイント • 深層モデルの学習で望ましい効果を素早く得るのは難しい • 実データのラベルにノイズが多い • その問題点の一つに、過適合が挙げられる ▪
過適合を解消するための様々な正則化手法がある • weight decay や learning rate scheduler • Pytorchで簡単に使える ▪ 今日は最近の研究から、実用性が高い新しい正則化手法を 紹介する • 特に実装が楽 • まだあまり知られていない 2
紹介する論文 ▪ Do We Need Zero Training Loss After Achieving
Zero Training Error?, Ishida et al., ICML 2020 • Floodingという新しい正則化手法を導入 ▪ iFlood: A Stable and Effective Regularizer, Xie et al., ICLR 2022 • Floodingの計算式を少しだけ改良 3
Ishida et al., ICML 2020 ▪ モチベーション • 学習データでの損失を0まで学習を行ったほうが良いと言われる •
しかし、これは本当に必要なのか • 正則化手法は、学習データでの損失を過度に最小化しないための間 接的な手法と見なせる ▪ 直接学習損失の最小化を制限する手法:Flooding • 実装も簡単 • 学習損失は0じゃなくても、学習精度が100%の可能性もある 4
Ishida et al., ICML 2020 ▪ 提案法は以下の性質をすべて満たす初めての正則化手法 • 学習損失を直接制限する •
特定の問題ドメインに依存しない • 特定のタスクに依存しない • 特定のモデルに依存しない ▪ 提案法の仮設もシンプルで、「0の学習損失が有害」のみ ▪ 検証損失の二重降下に関する初めて研究 5
Ishida et al., ICML 2020 ▪ 人工データで有意な性能向上 6
Ishida et al., ICML 2020 ▪ 実データでも有意な性能向上 ▪ その他、Floodingによる勾配値の変化や解の平坦性なども調 査
7
Xie et al., ICLR 2022 ▪ Floodingにデータインスタンスの勾配が乖離する問題 • バッチで平均を取るので、同じバッチにある他のデータインスタンスの 損失に依存する
▪ 提案手法:絶対値をバッチで取るではなく、各データインスタン スレベルで取るので、indivisual Flood (iFlood)と呼ぶ ▪ 各手法のインスタンスの損失のヒストグラム 8
Xie et al., ICLR 2022 ▪ 確かに性能向上につながる ▪ その他も、勾配のノルムやノイズ耐性などを検証 9
まとめ ▪ 実用性高い正則化手法のFloodingとその改良版のiFlood ▪ 実装がシンプルで試しやすい 10
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
270
Direct Preference Optimization
zchenry
0
500
Diffusion Model with Perceptual Loss
zchenry
0
550
レンズの下のLLM / LLM under the Lens
zchenry
0
260
Go with the Prompt Flow
zchenry
0
270
Mojo Dojo
zchenry
0
300
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
780
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
360
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
240
Other Decks in Technology
See All in Technology
ノードが消える前提で設計する!Karpenterで金融システムを止めないためのノウハウ大全
daitak
1
240
Kubernetes, Agones, WebRTC, GPU で作る クラウドゲーミング基盤を本番運用に乗せるまで
vivion
0
270
NutanixへのSSHアクセスの今後について
shadowhat
0
160
E2E Test というハーネス — AI時代の自動テスト民主化
daishukojima
10
6k
New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話
manabuseki
1
510
統制されたID・権限をどう利用するか : DPoP/FAPIによるAPIセキュリティ強化
oidfj
2
290
20261113_JAWS_Osaka
takuyay0ne
1
610
20261119_AgentCore
takuyay0ne
1
210
クラウドでも使えるNetApp -現場目線での設計とクラウドバックアップの活用
ryutakondo
1
320
ワークフローからハーネスへ — Web フレームワークの作者たちが AI エージェントに向かう理由
azukiazusa1
0
310
Is the Website Dying?
miriamschwab
0
140
Web Performance Is a Journey [PerfNow 2026]
tammyeverts
2
140
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2.2k
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
440
From π to Pie charts
rasagy
1
460
Code Review Best Practice
trishagee
74
20k
Mind Mapping
helmedeiros
1
450
Navigating the Design Leadership Dip - Product Design Week Design Leaders+ Conference 2024
apolaine
2
530
Information Architects: The Missing Link in Design Systems
soysaucechin
1
1.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
ラッコキーワード サービス紹介資料
rakko
5
6M
HTML-Aware ERB: The Path to Reactive Rendering @ RubyCon 2026, Rimini, Italy
marcoroth
6
960
End of SEO as We Know It (SMX Advanced Version)
ipullrank
3
4.5k
Heart Work Chapter 1 - Part 1
lfama
PRO
11
37k