0 学士論文紹介 学士論文: Normalizing Flow による周辺尤度推定 2023-12-1 第70回NearMe技術勉強会 ⽯原爽⼀朗

1 目次 •背景　
 •関連手法 
 • 重点サンプリング
 • 変分推論とNormalizing Flows
 •提案手法
 •実験と結果
 •まとめ


2 背景

3 背景　ベイズ統計

4 背景　周辺尤度の推定

5 関連手法

6 重点サンプリング(Importance Sampring)

7 変分推論(Variational Inference)

8 Normalizing Flows (2021, George) Normalizing Flows for Probabilistic Modeling and Inferenceをもとに筆者作成

9 Normalizing Flows

10 提案手法

11 提案手法 • ー ＝

12 提案手法 •

13 実験と結果

14 比較手法 •

15 対象分布 •

16 実験結果 -Normalizing Flowの近似 混合正規分布 t分布 Funnel Fail q_1は一つの峰しか近似できない 提案手法はもう一つの峰も近似 ファットテイルも近似できている 可能性がある Funnelはq_2 の学習に失敗 　q_1と疑似的な差の分布の値が不安定で　 　勾配の計算ができなかったと考えられる

17 実験結果 -規格化定数の推定 •混合正規分布は同等か優れた結果
 •t分布は性能に有意な差はない
 多峰分布の推定値を 如実に改善

18 まとめと今後の課題 •疑似的な差の分布の近似が成功した場合には既存の手法と
 同等か優れた結果を得ることができた。
 •Funnel 分布では学習ができず推定に失敗した
 
 •Normalizing Flow + 重点サンプリングによる多峰以外の推定は
 既存手法(BS,AFT)と比較しても遜色ない結果となった
 →多峰分布の近似を変分推論の優れたboostingを用いること　　
 　　ができればより良い結果が期待できる


19 Thank you

20 参考文献 岡田謙介. (2018). ベイズファクターによる心理学的仮説・モデルの評価. 心理学 評論, 61(1), 101-115. Neal, R. M. (2001). Annealed importance sampling. Statistics and computing, 11, 125-139. Gelman, A., & Meng, X. L. (1998). Simulating normalizing constants: From importance sampling to bridge sampling to path sampling. Statistical science, 163-185. Arbel, M., Matthews, A., & Doucet, A. (2021, July). Annealed flow transport monte carlo. In International Conference on Machine Learning (pp. 318-330). PMLR. Jerfel, G., Wang, S., Wong-Fannjiang, C., Heller, K. A., Ma, Y., & Jordan, M. I. (2021, December). Variational refinement for importance sampling using the forward kullback-leibler divergence. In Uncertainty in Artificial Intelligence (pp. 1819-1829). PMLR. Rezende, D., & Mohamed, S. (2015, June). Variational inference with normalizing flows. In International conference on machine learning (pp. 1530-1538). PMLR.

21 参考文献 Papamakarios, G., Nalisnick, E., Rezende, D. J., Mohamed, S., & Lakshminarayanan, B. (2021). Normalizing flows for probabilistic modeling and inference. The Journal of Machine Learning Research, 22(1), 2617-2680. Dinh, L., Sohl-Dickstein, J., & Bengio, S. (2016). Density estimation using real nvp. arXiv preprint arXiv:1605.08803 Dinh, L., Krueger, D., & Bengio, Y. (2014). Nice: Non-linear independent components estimation. arXiv preprint arXiv:1410.8516. Neal, R. M. (2003). Slice sampling. The Annals of Statistics, 31(3):705–767. Liang, F., Mahoney, M., & Hodgkinson, L. (2022, June). Fat–Tailed Variational Inference with Anisotropic Tail Adaptive Flows. In International Conference on Machine Learning (pp. 13257-13270). PMLR. https://github.com/VincentStimper/normalizing-flows

22 実験設定 •Normalizing Flowによる近似は python パッケージ「normflows」を用いて行 う。