論文紹介：Generalized Sliced Wasserstein Distances

Transcript

1. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References 論文紹介：Generalized Sliced Wasserstein Distances Masanari Kimura 総研大 統計科学専攻 日野研究室 mkimura@ism.ac.jp
2. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Overview Introduction Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments 2/27
3. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Article Information [Kolouri et al., 2019] 3/27
4. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References TL;DR ▶ 線型写像によって得られる高次元確率分布の一次元表現を用いることで Wasserstein distances を近似する sliced Wasserstein distances を一般化． 4/27
5. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Notations Pp(Ω) を距離空間 (Ω, d) の上で定義される p 次モーメントが有限である Borel 確率測度の 集合とする．また，µ ∈ Pp(X) および ν ∈ Pp(Y) をそれぞれ X, Y ∈ Ω の上で定義される確 率測度とし，対応する確率密度関数を Iµ , Iν とする：dµ(x) = Iµ (x)dx, dν(y) = Iν (x)dy. 5/27
6. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Overview Introduction Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments 6/27
7. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Wasserstein distances Wasserstein distance ある p ∈ [1, ∞] について，µ と ν の間の p-Wasserstein distance は最適輸送問題の解として 定義される [Villani, 2008]： Wp(µ, ν) := inf γ∈Γ(µ,ν) X×Y dp(x, y)dγ(x, y) 1 p . (1) ここで dp(·, ·) はコスト関数，Γ(µ, ν) は全ての輸送計画の集合であり γ ∈ Γ(µ, ν) は γ(A × Y) = µ(A) for any Borel A ⊂ X, (2) γ(X × B) = ν(B) for any Borel B ⊂ Y (3) として与えられる． 7/27
8. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Alternative expression of Wasserstein distance Wasserstein distances の同値表現 p-Wasserstein distance は，p ≥ 2 で以下の同値な表現を持つ： Wp(µ, ν) = inf φ∈Φ(µ,ν) X dp(x, φ(x))dν(x) 1 p . (4) ここで Φ(µ, ν) = {φ : X → Y | φ#µ = ν} であり，φ#µ は測度 µ の押し出しである： A dφ#µ(y) = φ−1(A) dµ(x) for any Borel subset A ⊂ Y. (5) 8/27
9. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Closed form of Wasserstein distances Closed form of Wasserstein distances 一次元連続確率測度を考える．Iµ と Iν の累積分布関数をそれぞれ Fµ (x) = µ((−∞, x ])， Fν (x) = ν((−∞, x ]) とする．このとき p-Wasserstein distance は以下の解析解を持つ： Wp(µ, ν) = X dp(x, F−1 ν (Fµ (x)))dµ(x) 1 p = 1 0 dp(F−1 µ (z), F−1 ν (z))dz 1 p . (6) ▶ 一次元のケースでは Wasserstein distances は閉形式で書ける； ▶ この性質を利用して高次元確率分布同士の距離も効率的に求められないか？という のが sliced Wasserstein distances のアイディア． 9/27
10. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Overview Introduction Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments 10/27
11. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Radon transform 以下の関数集合を考える： L1(Rd) = I : Rd → R | Rd |I(x)|dx < ∞ . (7) このとき Radon transform R : L1(Rd) → L1(Rd × Sd−1) は以下で定義される： RI(t, θ) = Rd I(x)δ(t − ⟨x, θ⟩)dx. (8) ここで (t, θ) ∈ Sd−1 であり，Sd−1 ⊂ Rd は d 次元単位球を表す． Figure: Photo by https://jp.mathworks.com/help/images/radon-transform.html 11/27
12. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Linear bijectivity of Radon transform Radon transform は線形全単射であり [Natterer, 2001; Helgason, 2011]，その逆写像 R−1 は Fourier 変換 Fη(ω) = c|ω|d−1 に対応するハイパスフィルタ η(·) を用いて I(x) = R−1(RI(t, θ)) = Sd−1 (RI(⟨x, θ⟩, θ) ∗ η(⟨x, θ⟩))dθ (9) と書ける．このような逆写像は filtered back-projection とも呼ばる． 12/27
13. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Sliced Wasserstein distances 前述の通り，sliced Wasserstein distances のアイディアは以下の通りである： 1. 高次元確率分布の一次元表現を Radon transform によって獲得； 2. p-Wasserstein distance によって一次元表現を介して確率分布同士の距離を計算する． これに基づいて，sliced p-Wasserstein distances は以下のように定義される． Definition sliced Wasserstein distances ある p ∈ [1, ∞] について，µ と ν の間の sliced p-Wasserstein distance は Radon transform R を用いて SWp(Iµ , Iν ) := Sd−1 Wp p (RIµ (·, θ), RIν (·, θ))dθ 1 p . (10) 13/27
14. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Approximation of Sliced Wasserstein distances 実用上は，MCMC などを用いて以下のように積分を有限和に置き換えることで計算を 行う： SWp(Iµ , Iν ) ≈ L l=1 Wp p (RIµ (·, θ), RIν (·, θ))dθ 1 p . (11) 14/27
15. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Complexity of sliced Wasserstein distances in high-dimensional space ▶ sliced Wasserstein distances は高次元空間においては距離を小さく見積もる傾向があ る． ▶ e.g., Iµ = N(0, Id)，Iν = N(x0 , Id) とすると， Pr ⟨θ, x0 ∥x0 ∥2 ⟩ < ϵ ≥ 1 − e−dϵ2 . (12) 15/27
16. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Max sliced Wasserstein distances 高次元空間における近似率の問題に対するヒューリスティクスな対処法として，以下の亜 種が提案されている Deshpande et al. [2019]． max-SWp(Iµ , Iν ) := max θ∈Sd−1 Wp(RIµ (·, θ), RIν (·, θ)). (13) 16/27
17. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Overview Introduction Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments 17/27
18. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Beyond sliced Wasserstein distances 上述の通り，sliced Wasserstein distances は高次元確率分布の一次元表現を線型写像によ って獲得したのち，Wasserstein distances の解析解を用いて距離を計算していた．そこで， 確率分布の一次元表現を非線形変換によって計算するような sliced Wasserstein distances の一般化を考える． 18/27
19. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Generalized Radon transform まず，(X ⊂ Rd) × Rn \ {0} の上のある関数 g を以下のように定義する． 1. g は C∞ 級の実数値関数; 2. ∀λ ∈ R, g(x, λθ) = λg(x, θ); 3. ∀(x × θ) ∈ X × Rn \ {0}, ∂g ∂x (x, θ) ̸= 0; 4. det ( ∂2g ∂xi∂θj )ij > 0. このとき，generalized Radon transform (GRT) G は関数 g を用いて以下のように定義され る Beylkin [1984]; Denisyuk [1994]： GI(t, θ) = Rd I(x)δ(t − g(x, θ))dx. (14) このとき Radon transform は GRT において g(x, θ) = ⟨x, θ⟩ とした特殊形になる． 19/27
20. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Slicing process for generalized Radon transforms Figure: Radon transform と generalized Radon transform の可視化 [Kolouri et al., 2019]． 20/27
21. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Generalized Sliced Wasserstein distances 元の sliced Wasserstein distances の Radon transform を GRT に差し替えることで，以下 のように generalized sliced Wasserstein distances（GSW）が定義できる [Kolouri et al., 2019]： GSWp(Iµ , Iν ) := Ωθ Wp p (GIµ (·, θ), GIν (·, θ))dθ 1 p . (15) ここで Ωθ は g(·, θ) の実行可能パラメータのコンパクト集合．GSW もまた高次元空間に おいて距離が低く見積もられる問題があるため，以下のように max-GSW を定義できる． max-GSWp := max θ∈Ωθ Wp(GIµ (·, θ), GIν (·, θ)dθ). (16) 21/27
22. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Overview Introduction Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments 22/27
23. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Experimental results for classical target distributions 23/27
24. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Experimental results for MNIST dataset Figure: MNIST データセットに対する max-GSW の最小化 [Kolouri et al., 2019]． 24/27
25. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Experimental results for CelebA dataset Figure: CelebA データセットに対する max-GSW の最小化 [Kolouri et al., 2019]． 25/27
26. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References Discussion ▶ GSW の近似率は導出できるか？ ▶ GSW にとって望ましい関数の性質はサンプルサイズや次元数などから見積もれ るか？ ▶ 関数の性質に依存した近似率を導出できればいい． ▶ e.g. 次元数 d，サンプルサイズ，関数空間同士の距離 D(G, L) について E GSWp(IN µ , IM ν ), GSWp(Iµ , Iν ) ≤ C · ψ(N, M, d, D). ▶ 既知の Wasserstein 幾何との整合性． 26/27
27. Intro Wasserstein distances Radon transform, sliced Wasserstein distances Generalized Sliced Wasserstein Distance Numerical experiments References References I Gregory Beylkin. The inversion problem and applications of the generalized radon transform. Communications on pure and applied mathematics, 37(5):579–599, 1984. AS Denisyuk. Inversion of the generalized radon transform. Translations of the American Mathematical Society-Series 2, 162:19–32, 1994. Ishan Deshpande, Yuan-Ting Hu, Ruoyu Sun, Ayis Pyrros, Nasir Siddiqui, Sanmi Koyejo, Zhizhen Zhao, David Forsyth, and Alexander G Schwing. Max-sliced wasserstein distance and its use for gans. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10648–10656, 2019. S Helgason. Integral Geometry and Radon Transform. Springer, 2011. Soheil Kolouri, Kimia Nadjahi, Umut Simsekli, Roland Badeau, and Gustavo Rohde. Generalized sliced wasserstein distances. Advances in Neural Information Processing Systems, 32:261–272, 2019. Frank Natterer. The mathematics of computerized tomography. SIAM, 2001. C Villani. Optimal transport, old and new. notes for the 2005 saint-flour summer school. Grundlehren der mathematischen Wissenschaften [Fundamental Principles of Mathematical Sciences]. Springer, 2008. 27/27