Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データセットシフト・Batch Normalization
Search
Taro Nakasone
September 05, 2025
Research
0
3
データセットシフト・Batch Normalization
※過去に作成した資料の内部共有用の掲載です
Taro Nakasone
September 05, 2025
Tweet
Share
More Decks by Taro Nakasone
See All by Taro Nakasone
[輪講] Transformer(大規模言語モデル入門第2章)
taro_nakasone
0
7
次元削減・多様体学習 /maniford-learning20200707
taro_nakasone
0
1.4k
論文読み:Identifying Mislabeled Data using the Area Under the Margin Ranking (NeurIPS'20) /Area_Under_the_Margin_Ranking
taro_nakasone
0
190
Other Decks in Research
See All in Research
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
640
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
1.1k
CVPR2025論文紹介:Unboxed
murakawatakuya
0
170
機械学習と数理最適化の融合 (MOAI) による革新
mickey_kubo
1
380
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
620
2021年度-基盤研究B-研究計画調書
trycycle
PRO
0
330
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
61
30k
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
240
【輪講資料】Moshi: a speech-text foundation model for real-time dialogue
hpprc
3
720
EcoWikiRS: Learning Ecological Representation of Satellite Images from Weak Supervision with Species Observation and Wikipedia
satai
3
220
Time to Cash: The Full Stack Breakdown of Modern ATM Attacks
ratatata
0
160
Remote sensing × Multi-modal meta survey
satai
4
420
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Music & Morning Musume
bryan
46
6.8k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
45
2.5k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
RailsConf 2023
tenderlove
30
1.2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
114
20k
Gamification - CAS2011
davidbonilla
81
5.5k
Facilitating Awesome Meetings
lara
56
6.6k
Transcript
データセットシフト 仲宗根太朗・櫻井研究室 学会名・セッション名・発表年月日・開催場所
はじめに ◼以下のデータシフトの問題設定がある ⚫Covariate Shift ⚫Target Shift ⚫Concept Shift ⚫Sample Selection
Bias ⚫Domain Shift ◼ただし,それそれの問題が必ずしも独立ではない
はじめに ◼以下のデータシフトの問題設定がある ⚫Covariate Shift ⚫Target Shift ⚫Concept Shift ⚫Sample Selection
Bias ⚫Domain Shift ◼ただし,それそれの問題が必ずしも独立ではない
Covariate Shift ◼定義 学習時とテスト時で入力変数の周辺分布が異なるという問題設定
Target Shift ◼定義 学習時とテスト時で出力変数の周辺分布が異なるという問題設定
Concept Shift ◼定義 学習時とテスト時で条件付き確率分布が異なるという問題設定
Sample Selection Bias ◼定義 観測データをデータセットに含めるかどうかを決める隠れた関数ξ が存在し,この関数が学習時とテスト時で異なるという問題設定
Domain Shift 潜在的に同じものを説明しているにも関わらず,計測技術や環境の違い などの影響で変数が異なってしまう問題設定
対策手法 ◼以下のような対策手法がある ⚫Batch Normalization
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼アルゴリズム
Batch Normalization ◼ミニバッチごとの平均分散を計算する
Batch Normalization ◼正規化を行う
Batch Normalization ◼正規化を行う 分母に𝜖を加えていますが、これ は微小値を表し、𝝈𝑩 𝟐 が小さい場 合に計算を安定されるため
Batch Normalization ◼レイヤの非線形性に対応させる調整
Batch Normalization ◼平均と分散の調節 単純にෞ 𝒙𝒊 をインプットとすると, 本来レイヤが持つ非線形性の表現 力を失っている可能性がある
Batch Normalization ◼例えば,シグモイド関数の場合
Batch Normalization ◼例えば,シグモイド関数の場合 インプットが-1から1の範囲で はほぼ線形になっている
Batch Normalization ◼この解決策として
Batch Normalization ◼以下のように横にシフト,スケール変化すれば良い
Batch Normalization ◼それを踏まえて,
Batch Normalization ◼平均に対応するパラメータ𝜷と分散に対応する𝜸を導入
Batch Normalization ◼平均に対応するパラメータ𝜷と分散に対応する𝜸を導入 ෞ 𝒙𝒊 を𝜷の分だけ横にシフト, 𝜸でスケールを変更できる.