Understanding deeplearning, Chapter 16: Normalizing flows

Chapter 16: Normalizing flows
Understanding deep learning, Prince [2023]
yusumi

View Slide

16.1 節 16.2 節 16.3 節 16.4 節 16.5 節 16.6 節 References
正規化フローと VAE
正規化フロー (Normalizing flows)
単純な分布を複雑な目標分布に変換する方法を学習する
Chaper 16: Normalizing flows – yusumi 2/84

View Slide

VAE (Variational autoencoders)
データの潜在的な特徴を捉えながら再構築と正規化1を学習する
1KL ダイバージェンスの最小化

View Slide

VAE (Variational autoencoders)
データの潜在的な特徴を捉えながら再構築と正規化を学習する
絵の描画で例えるなら，
• 正規化フローは対象物の描く手順を学ぶ
• VAE は対象物の特徴や構造を学ぶ

View Slide

関連する生成モデルとの比較
Efficient sampling 新しいサンプルの効率的な生成
High quality 学習したデータと区別がつかない
Coverage 学習データの全範囲を表現できる
Well-behaved 潜在変数の変化が観測変数の変化と対応する
Interpretable 潜在空間の次元操作でデータの性質が変化する
Efficient likelihood 尤度を正確に計算できる

View Slide

目次
1 16.1 節: 一次元正規化フロー
2 16.2 節: 一般化
3 16.3 節: 逆変換可能なネットワーク層
4 16.4 節: マルチスケールフロー
5 16.5 節: 応用
6 16.6 節: まとめ

View Slide

16.1 節: 一次元正規化フロー

View Slide

16.1.1 節: 順変換
潜在空間の分布 Pr(z) を元のデータ分布 Pr(x) に変換する
a) 潜在変数 z の分布 (標準正規分布) c) 元のデータ x の分布

View Slide

順変換
潜在空間の分布 Pr(z) を元のデータ分布 Pr(x) に変換する2
a) 潜在変数 z の分布 (標準正規分布) c) 元のデータ x の分布
z から x を生成するための関数 x = f[z, φ] を定義する
2別名: generative direction

View Slide

関数の勾配と確率密度の関係
f[z, φ] の勾配が大きいところでは x の分布は引き伸ばされ，
小さいところでは密になっている

View Slide

確率変数の変換
元のデータ x の分布は，確率変数の変換で得られる:

View Slide

16.1.2 節: 逆変換
元のデータ分布 Pr(x) を潜在空間の分布 Pr(z) に変換する3
c) 潜在変数 z の分布 (標準正規分布) a) 元のデータ x の分布
f[z, φ] が逆関数を持つ場合に限り可能4
3別名: normalizing direction
4逆関数を持つための必要十分条件: 関数が全単射

View Slide

逆変換
元のデータ分布 Pr(x) を潜在空間の分布 Pr(z) に変換する
a) 元のデータ x の分布 c) 潜在変数 z の分布 (標準正規分布)
x から z を生成するために逆関数 z = f−1[x, φ] を計算する

View Slide

16.1.3 節: 学習
学習データ {xi}I
i=1
の分布をパラメータ φ で最尤推定する

View Slide

16.2 節: 一般化

View Slide

データの多変量化とニューラルネットワークの適用
元データを x ∈ RD，潜在変数を z ∈ RD に拡張し，
f[z, φ] を DNN とすると，確率変数の変換は次式で与えられる:
• f[z, φ] は逆変換可能な DNN に限る
• z = f−1[x, φ] と表現できる
• ∂f[z,φ]
∂z
−1
∈ RD×D はヤコビアンの逆数である

View Slide

16.2.1 節: DNN による順変換
左から右への流れ
複数の DNN を経由することで段々と複雑な分布を表現できる

View Slide

DNN による順変換
左から右への流れ
数式での表現:

View Slide

DNN による逆変換
元のデータ分布 Pr(x) を潜在空間の分布 Pr(z) に変換する
右から左への流れ
数式での表現:

View Slide

ヤコビアンの計算
前の出力が次の入力となるため連鎖的に掛け合わされる
行列式はそれぞれの積で表される
※ fk = fk[•, φk] と略記している
(逆変換も同様)

View Slide

学習
学習データ {xi}I
i=1
の分布をパラメータ φ で最尤推定する

View Slide

ネットワーク層への要求
fk
に対する 4 つの要求
1 任意の確率密度に変換するための十分な表現力をもつこと
2 逆変換が可能であること
入力と出力が一対一対応，つまり全単射
3 効率的な逆変換の計算が可能であること
一般的な逆行列の計算には O(次元数3
) 必要
4 効率的なヤコビアンの計算が可能であること
一般的な行列式の計算には O(次元数3
) 必要

View Slide

16.3 節: 逆変換可能なネットワーク層

View Slide

ネットワーク層の種類
逆変換可能なネットワーク層の紹介
1 16.3.1 節: 線形フロー
2 16.3.2 節: 要素ごとのフロー
3 16.3.3 節: カップリングフロー
4 16.3.4 節: 自己回帰フロー
5 16.3.6 節: iRevNet
6 16.3.7 節: iResNet

View Slide

1 16.3.1 節: 線形フロー

View Slide

16.3.1 節: 線形フロー (Linear flows)
単純な線形変換で表されるフロー
f[h] = β + Ωh
h ∈ RD: 入力，β ∈ RD: バイアス，Ω ∈ RD×D: 重み行列
もし Ω が正則であれば，逆変換可能である
h = Ω−1(f[h] − β)

View Slide

16.3.1 節: 線形フロー (Linear flows)
単純な線形変換で表されるフロー
f[h] = β + Ωh
h ∈ RD: 入力，β ∈ RD: バイアス，Ω ∈ RD×D: 重み行列
もし Ω が正則であれば，逆変換可能である
h = Ω−1(f[h] − β)
しかし逆行列の計算，ヤコビアンの計算に O[D3] かかる

View Slide

表現力の高さと効率化のトレード・オフ
計算を効率化するための Ω の形式を考えよう
対角行列？
利点: 逆行列と行列式の計算量が O[D] まで減る
欠点: 線形変換で h の要素間の影響が無視される
直交行列？
利点: 逆行列 Ω の計算量は O[D]，行列式は常に 1
欠点: 特定の次元のみを拡大・縮小することができない
三角行列？
利点: 逆行列の計算量は O[D2]，行列式は O[D] まで減る

View Slide

表現力の高さと効率化のトレード・オフ
対角行列？
利点: 逆行列と行列式の計算量が O[D] まで減る
欠点: 線形変換で h の要素間の影響が無視される
直交行列？
利点: 逆行列 Ω の計算量は O[D]，行列式は常に 1
欠点: 特定の次元のみを拡大・縮小することができない
三角行列？
利点: 逆行列の計算量は O[D2]，行列式は O[D] まで減る
欠点の少なさから三角行列が広く使われている

View Slide

重み行列の三角化
重み行列 Ω を部分ピボット付きの LU 分解5で表現する
P: 並び替え行列，L: 下三角行列，U: 上三角行列，D: 対角行列
この変換により，逆行列の計算量 O[D2]，
行列式の計算量 O[D] まで落とせる
5参考: https://cattech-lab.com/science-tools/lecture-mini-pivotting-lu/

View Slide

線形フローの問題
潜在空間に多変量正規分布を仮定した場合，
ネットワーク層を経由した後も多変量正規分布になる
Normh[µ, Σ] f[h]=β+Ωh
−
−
−
−
−
−
−
→ Normh[β + Ωµ, ΩΣΩ ]
多層にしたところで正規分布以外の分布を表現できない

View Slide

1 16.3.1 節: 線形フロー

View Slide

16.3.2 節: 要素ごとのフロー (Elementwise flows)
非線形なフローを実現するための最も単純な方法
入力の各次元に非線形変換を行う:
f[•, φ]: パラメータ φ を持つ逆変換可能な非線形関数
ヤコビ行列は対角行列となるため，以下の式になる:

View Slide

逆変換可能な非線形関数の例
区分線形関数がある
K
k=1
φk = 1, φk ≥ 0，K: ビン数，b = Khd
，f : [0, 1] −
→ [0, 1]
h = f[h, φ]，K = 5 の例

View Slide

要素ごとのフローの問題
入力次元を混合しないため，変数間の相関を考慮できない

View Slide

1 16.3.1 節: 線形フロー

View Slide

16.3.3 節: カップリングフロー (Coupling flows)
入力 h を２つの組 h = [h1, h2] に分割して混合するフロー
変数間の相関を考慮しつつ計算を効率化できる

View Slide

a) 順変換
• 上半分 h1 はそのままコピーする
• 下半分 h2 は g[•, φ] を通る
• φ[•] はニューラルネットワーク，g[•, φ] は非線形フロー

View Slide

a) 順変換
• 上半分 h1 はそのままコピーする
• 下半分 h2 は g[•, φ] を通る
入力次元の混合を多様化するため，
一般的には層毎に次元をランダムに並び替える

View Slide

b) 逆変換
• 上半分 h1
はそのままコピーする
• 下半分 h2
は非線形フローを通る
※ニューラルネットワーク φ[•] は逆変換を必要としない

View Slide

計算の効率化
入力 h = [h1, h2] (h1 ∈ Rk, h2 ∈ RD−k) において，
上半分 h1 は変換を施さないためヤコビ行列は単位行列となる
∂f[h1]
∂h1
= Ik

View Slide

計算の効率化
∂f[h1]
∂h1
= Ik
下半分 h2 について，非線形フローが要素ごとのフローならば，
ヤコビ行列は対角行列となる6
∂f[h2]
∂h2
= diag(hk+1, · · · , hD)
633 ページの非線形変換から明らか

View Slide

計算の効率化
∂f[h1]
∂h1
= Ik
下半分 h2 について，非線形フローが要素ごとのフローならば，
ヤコビ行列は対角行列となる7
∂f[h2]
∂h2
= diag(hk+1, · · · , hD)
従って全体のヤコビアンは計算量 O[D − k] まで減らせる
∂f[h]
∂h
=
D
d=k+1
∂f[hd]
∂hd
733 ページの非線形変換から明らか

View Slide

1 16.3.1 節: 線形フロー

View Slide

16.3.4 節: 自己回帰フロー (Autoregressive flows)
カップリングフローの分割数を入力次元数に拡張させたフロー
カップリングフローの一般化と見なせる

View Slide

a) 順変換
入力次元数 D = 4 の場合の例
• 直前の入力次元までを考慮
• 並列計算が可能

View Slide

a) 順変換
• 並列計算が可能
一般化すると以下の式で表せる8:
8g[•, •] は transformer，φ, φ[h1
], φ[h1:2
], · · · は conditioners と呼ばれる

View Slide

b) 逆変換
• 並列計算は不可能
※ φ, φ[h1], φ[h1:2], · · · は逆変換を必要としない

View Slide

16.3.5 節: 2 種類の自己回帰フロー
どちらの手法も各次元が以前の次元にのみ依存して計算される
Masked autoregressive flow (MAF)
逆変換の計算を効率化した手法9
• 順変換: 逐次計算が必要
• 逆変換: 並列計算が可能
Inverse autoregressive flow (IAF)
順変換の計算を効率化した手法 (MAF の逆)10
• 順変換: 並列計算が可能
• 逆変換: 逐次計算が必要
9次の次元を参照できない点で”masked” という単語が用いられている
10前スライドの説明では IAF を示している

View Slide

1 16.3.1 節: 線形フロー

View Slide

16.3.6 節: Residual flows: iRevNet
iRevNet: Deep invertible networks
ResNet (Residual Network) の残差接続を取り入れたフロー
入力 h を２つの組 h = [h1, h2] に分割する
(カップリングフローと同様)

View Slide

a) 順変換
残差接続を追加することで勾配消失問題を緩和し，
より深い層まで学習できる

View Slide

b) 逆変換
※ f1[•, φ1], f2[•, φ2] は逆変換を必要としない

View Slide

b) 逆変換
誤差逆伝播用に各層の出力を保存する必要がない
(出力から直接入力を計算できるため，メモリ節約効果がある)11
11通常は順変換時に出力結果を記録する必要がある

View Slide

1 16.3.1 節: 線形フロー

View Slide

16.3.7 節: iResNet
バナッハの不動点定理12による変換を採用した手法
バナッハの不動点定理
(X, dist) を空でない完備距離空間13とし，ある 0 < β < 1 と
f : X → X に対して以下を満たす:
dist f[z ], f[z] ≤ β · dist z , z ∀z, z (1)
式 (1) を満たすような写像 f を縮小写像という
関数が繰り返し更新可能な場合 (i.e. 出力が次の入力となる)，
不動点 f[z∗] = z∗ に収束する
12cf. リプシッツ連続
13コーシー列が収束する距離空間

View Slide

iResNet の準備 1: 縮小写像による不動点収束
更新式 zn+1 = f[zn] をたどり不動点に到達する

View Slide

iResNet の準備 2: 縮小写像を利用した逆変換
次の入力 z，出力 y を考える:
y = z + f[z]
f[z] が縮小写像であれば，不動点 f[z ] = z が存在する

View Slide

y = z + f[z]
f[z] が縮小写像であれば，不動点 f[z ] = z が存在する
この形式により，ある出力値 ytarget に対応する
z の不動点 z∗ を求めることができる (z と z∗ は別)

View Slide

y = z + f[z]
f[z] は縮小写像であり，不動点 f[z ] = z が存在する
より具体的に
出力値 ytarget が与えられた時，h(z) = ytarget − f[z] は
縮小写像である14ことから，対応する不動点 z∗ が存在する15
h(z∗) = z∗
14式 (1) に代入して証明してみよう
15この文脈では，逆変換とは出力から不動点を求めることを意味する

View Slide

更新式 zn+1 = ytarget − f[zn] をたどり不動点に到達する

View Slide

※不動点 f[z ] = z (a) と h[z∗] = z∗ (b) は同一とは限らない

View Slide

縮小写像を適用した正規化フロー
iResNet: Residual flows and constraction mappings
(i-RevNet の改良版)
残差接続 h = h + f[h, φ] において f[h, φ] を縮小写像とした手法
縮小写像となる条件
式 (1) を満たす 0 < β < 1 が存在すればよい
つまり，
「重み行列 Ω の最大固有値が 1 未満」
16
かつ
「活性化関数の傾きが 1 未満」であればよい
16線形写像（行列 Ω による変換）の「拡大・縮小の度合い」は，
その固有値によって決まる

View Slide

iResNet のヤコビアン
ヤコビアンの対数は以下のように求めることができる:
• 1 行目は三角行列 A において log |A| = trace[log [A]] が
成り立つことを利用
• 2 行目は整級数展開 log (1 + x) = ∞
n=1
(−1)n+1xn
n
(|x| < 1) を
行列に拡張

View Slide

iResNet のヤコビアン
ヤコビアンの対数は以下のように求めることができる:
• 1 行目は三角行列 A において log |A| = trace[log [A]] が
成り立つことを利用
• 2 行目は整級数展開 log (1 + x) = ∞
n=1
(−1)n+1xn
n
(|x| < 1) を
行列に拡張
trace[A] の計算には少し工夫が必要

View Slide

Hutchinson のトレース推定法
確率変数 ∼ N(0, I) とすると，trace[A] は次式で変換できる:
• 1 行目は E[ ] = I を利用
• 2 行目は期待値の性質を利用
• 3 行目は trace の線形性を利用
• 4 行目は trace の循環性を利用
• 5 行目は A がスカラー
であることを利用

View Slide

ハッチンソン (Hutchinson) のトレース推定法
確率変数 ∼ N(0, I) とすると，trace[A] は次式で変換できる:
以上より，モンテカルロ近似をすると以下のように推定できる:

View Slide

16.4 節: マルチスケールフロー

View Slide

正規化フローの欠点
潜在空間と実空間の次元が一致する必要があり，計算効率が悪い

View Slide

マルチスケールフロー (Multi-scale flows)
潜在変数 z を z = [z1, · · · , zN] に分割して変換するフロー
z1, · · · , zN を層毎に結合することで計算を効率化

View Slide

16.5 節: 応用

View Slide

16.5.1 節: 密度推定
応用先の一つに異常検知がある
iResNet での密度推定結果
確率値の低い観測は外れ値として扱われる

View Slide

16.5.2 節: Glow
GLOW: Generative Flow with Invertible 1 × 1 Convolutions
LU 分解，カップリング層，マルチスケールフローを含有
逆変換可能な 1×1 畳み込みを適用し，生成画像の品質が向上17
17負の対数尤度が既存研究 (RealNVP) に比べて減少した

View Slide

Glow
提案モデル 1 セット ×K 個分をマルチスケールフローに結合

View Slide

画像生成
GLOW による画像生成18
CelebA データセットで学習した GLOW サンプル
18画像の品質は GAN や Diffusion Model に劣る

View Slide

画像ブレンド
GLOW による画像生成
両端の画像は実在する人物
2 つの潜在変数を，ある特定の比率でブレンドして画像生成

View Slide

16.5.3 節: 他の密度モデルの近似
評価は簡単でもサンプリングが難しい分布は多く存在する
(多峰性の分布，高次元の分布など)
考案されたサンプリングアルゴリズム
• ボックス・ミュラー変換
• 棄却サンプリング
• マルコフ連鎖モンテカルロ法... など

View Slide

他の密度モデルの近似
評価は簡単でもサンプリングが難しい分布は多く存在する
(多峰性の分布，高次元の分布など)
既存のサンプリングアルゴリズム
• ボックス・ミュラー変換
• 棄却サンプリング
• マルコフ連鎖モンテカルロ法... など
順変換で分布を近似すれば，逆変換で効率的にサンプリング可能

View Slide

正規化フローによる代理サンプリング
正規化フローで目標分布を近似する
Pr(xi , φ): 順変換で得られる分布，q(xi ): 目標分布19
19評価は簡単だがサンプリングが難しい分布とする

View Slide

正規化フローによる代理サンプリング
正規化フローで目標分布を近似する
Pr(xi , φ): 正規化フロー，q(xi ): 目標分布
※尤度の最大化とは対照的である:
δ[x − xi ]: 尤度と等価にするために導入したデルタ関数 (5.7 節復習)

View Slide

目的別の正規化フローの適用
a, b) 尤度の最大化 c, d) 目標分布の近似

View Slide

16.6 節: まとめ

View Slide

正規化フローのまとめ
単純な密度分布を新しい密度分布に変換する手法
重要な特徴
1 尤度を直接評価できる
2 各層が逆変換可能である必要がある
3 サンプル生成に逆変換が必要
4 尤度の評価に逆変換が必要
5 ヤコビアンを効率的に計算するための工夫
6 メモリの効率化

View Slide

参考文献 I
[1] Simon J.D. Prince. Understanding Deep Learning. MIT Press,
2023. URL https://udlbook.github.io/udlbook/.

View Slide

Understanding deeplearning, Chapter 16: Normalizing flows

Understanding deeplearning, Chapter 16: Normalizing flows

yusumi

More Decks by yusumi

Other Decks in Science

Featured

Transcript