Upgrade to Pro — share decks privately, control downloads, hide ads and more …

学士論文紹介 学士論文: Normalizing Flow による周辺尤度推定

学士論文紹介 学士論文: Normalizing Flow による周辺尤度推定

More Decks by NearMeの技術発表資料です

Other Decks in Research

Transcript

  1. 0
    学士論文紹介
    学士論文: Normalizing Flow による周辺尤度推定
    2023-12-1 第70回NearMe技術勉強会
    ⽯原爽⼀朗

    View full-size slide

  2. 1
    目次
    •背景 

    •関連手法 

    • 重点サンプリング

    • 変分推論とNormalizing Flows

    •提案手法

    •実験と結果

    •まとめ


    View full-size slide

  3. 3
    背景 ベイズ統計

    View full-size slide

  4. 4
    背景 周辺尤度の推定

    View full-size slide

  5. 5
    関連手法

    View full-size slide

  6. 6
    重点サンプリング(Importance Sampring)

    View full-size slide

  7. 7
    変分推論(Variational Inference)

    View full-size slide

  8. 8
    Normalizing Flows
    (2021, George) Normalizing Flows for Probabilistic Modeling and Inferenceをもとに筆者作成

    View full-size slide

  9. 9
    Normalizing Flows

    View full-size slide

  10. 10
    提案手法

    View full-size slide

  11. 11
    提案手法

    ー =

    View full-size slide

  12. 12
    提案手法

    View full-size slide

  13. 13
    実験と結果

    View full-size slide

  14. 14
    比較手法

    View full-size slide

  15. 15
    対象分布

    View full-size slide

  16. 16
    実験結果 -Normalizing Flowの近似
    混合正規分布
    t分布
    Funnel
    Fail
    q_1は一つの峰しか近似できない
    提案手法はもう一つの峰も近似
    ファットテイルも近似できている
    可能性がある
    Funnelはq_2 の学習に失敗
     q_1と疑似的な差の分布の値が不安定で 
     勾配の計算ができなかったと考えられる

    View full-size slide

  17. 17
    実験結果 -規格化定数の推定
    •混合正規分布は同等か優れた結果

    •t分布は性能に有意な差はない

    多峰分布の推定値を
    如実に改善

    View full-size slide

  18. 18
    まとめと今後の課題
    •疑似的な差の分布の近似が成功した場合には既存の手法と

    同等か優れた結果を得ることができた。

    •Funnel 分布では学習ができず推定に失敗した


    •Normalizing Flow + 重点サンプリングによる多峰以外の推定は

    既存手法(BS,AFT)と比較しても遜色ない結果となった

    →多峰分布の近似を変分推論の優れたboostingを用いること  

      ができればより良い結果が期待できる


    View full-size slide

  19. 20
    参考文献
    岡田謙介. (2018). ベイズファクターによる心理学的仮説・モデルの評価. 心理学 評論,
    61(1), 101-115.
    Neal, R. M. (2001). Annealed importance sampling. Statistics and computing, 11,
    125-139.
    Gelman, A., & Meng, X. L. (1998). Simulating normalizing constants: From importance
    sampling to bridge sampling to path sampling. Statistical science, 163-185.
    Arbel, M., Matthews, A., & Doucet, A. (2021, July). Annealed flow transport monte
    carlo. In International Conference on Machine Learning (pp. 318-330). PMLR.
    Jerfel, G., Wang, S., Wong-Fannjiang, C., Heller, K. A., Ma, Y., & Jordan, M. I. (2021,
    December). Variational refinement for importance sampling using the forward
    kullback-leibler divergence. In Uncertainty in Artificial Intelligence (pp. 1819-1829).
    PMLR.
    Rezende, D., & Mohamed, S. (2015, June). Variational inference with normalizing
    flows. In International conference on machine learning (pp. 1530-1538). PMLR.

    View full-size slide

  20. 21
    参考文献
    Papamakarios, G., Nalisnick, E., Rezende, D. J., Mohamed, S., & Lakshminarayanan, B. (2021).
    Normalizing flows for probabilistic modeling and inference. The Journal of Machine Learning Research,
    22(1), 2617-2680.
    Dinh, L., Sohl-Dickstein, J., & Bengio, S. (2016). Density estimation using real nvp. arXiv preprint
    arXiv:1605.08803
    Dinh, L., Krueger, D., & Bengio, Y. (2014). Nice: Non-linear independent components estimation. arXiv
    preprint arXiv:1410.8516.
    Neal, R. M. (2003). Slice sampling. The Annals of Statistics, 31(3):705–767.
    Liang, F., Mahoney, M., & Hodgkinson, L. (2022, June). Fat–Tailed Variational Inference with
    Anisotropic Tail Adaptive Flows. In International Conference on Machine Learning (pp. 13257-13270).
    PMLR.
    https://github.com/VincentStimper/normalizing-flows

    View full-size slide

  21. 22
    実験設定
    •Normalizing Flowによる近似は python パッケージ「normflows」を用いて行
    う。

    View full-size slide