NeurIPS 2023 論文読み会＠LINEヤフー 高柳 慎一 Boston Consulting Group BCG X Lead AI Engineer Wasserstein Quantum Monte Carlo: A Novel Approach for Solving the Quantum Many-Body Schrödinger Equation 2024 JANUARY 15TH

2 経験領域とスキル • 経験領域: 公共、保険、エネルギ―、ヘルスケア、消費財、旅行等 • スキル: (広義の)数理科学、ソフトウェア開発、プロマネ、データ分析 ※推薦、Agentベースモデリング、機械学習API、RAG App開発 大学関連活動 • 情報処理学会ビッグデータ研究グループ運営委員会幹事 • 徳島大学デザイン型AI教育研究センター客員准教授 学歴 • 北海道大学大学院理学研究科物理学専攻 修士 (理学) • 総合研究大学院大学複合科学研究科統計科学専攻 博士 (統計科学) @_stakaya 高柳慎一 (Takayanagi Shinichi) Ph.D, Lead AI Engineer

3 本日の内容 • 概要 • 背景 • 提案手法 • 実験結果 （注）本資料・議論内容は、私的な有志の勉強会を目的としたものであり、会 社としての発表ではございません （注） 以下は、下記論文からの引用です Neklyudov, Kirill, et al. "Wasserstein Quantum Monte Carlo: A Novel Approach for Solving the Quantum Many-Body Schrödinger Equation." Thirty-seventh Conference on Neural Information Processing Systems. 2023.

4 論文の概要 概要 目的と背景 • 量子多体シュレーディンガー方程式の解法は量子物理学・化学、材料科学において重要・価値がある • これが解けると材料の化学的な性質(物性)がわかるので、良い感じの半導体等が作れる • 量子変分モンテカルロはこの問題の一般的な解法の1つ – Quantum Variational Monte Carlo method; QVMC • QVMCは"系のエネルギー"を最小化することで基底状態を得る Wasserstein Fisher-Rao Quantum Monte Carlo (W(FR)QMC)法を提案 • Wasserstein・Fisher-Rao計量を用いた勾配流による新たなQVMCアルゴリズム • Codeは github.com/necludov/wqmc から入手可 • github.com/google-deepmind/ferminetにも実装済 化学系におけるWQMCの評価 • 実験では、ベリリウム (Be)、リチウム分子 (Li2) 等の化学系に対してWQMC、W(FR)QMCを評価 • Born-Oppenheimer近似の下、提案手法が基底状態のより正確な推定値と速い収束を示した 背景 提案手法 実験結果

5 シュレディンガー方程式を解き固有状態Ψを出すメリットは多いが、 厳密に解くのは難しく、量子変分モンテカルロ等の近似計算手法が使用される (時間に依存しない)シュレディンガー方程式 • この方程式を解くと量子系の基底/励起状態の固有状 態𝜓𝜓(x)が出せる – 基底状態とは最小エネルギーを持つ固有状態 • 𝜓𝜓(x)がわかると"系"の化学的特性が理解できるので、 物理、化学、材料分野での応用において有用 量子変分モンテカルロ法 (QVMC; Quantum variational Monte Carlo) • 変分法を用いた基底状態を近似的に求めるための量子 モンテカルロ法の１手法 • エネルギーを最小化する変分パラメータ𝜃𝜃を求める 局所エネルギー (local energy) (最後の式はlogの微分を頑張って計算すると出る） • : ハミルトニアン。系のダイナミクスを決める • : エネルギー。固有状態に対応した固有値 • : ポテンシャル。空間内の各点で働く力を決める Born分布 (確率) 背景 提案手法 実験結果 概要

6 変分法の更新に必要となるワッサースタイン フィッシャー・ラオ計量を定義 • ワッサースタイン計量とフィッシャー・ラオ計量の加重和で 測られる確率分布間の”距離” ワッサースタイン フィッシャー・ラオ計量 (WFR; Wasserstein Fisher–Rao metric) 背景 提案手法 実験結果 概要 ワッサースタイン計量 フィッシャー・ラオ計量 フィッシャー・ラオ計量 • 最適輸送理論にちょいちょい出てくる計量 で、要するに輸送量 • 最適輸送入門(京大・佐藤先生) が 入門には大変良い • 𝑔𝑔𝑡𝑡 x = 0とした場合に相当し、 Benamou-Brenierの公式で導出できる • 単にフィッシャー計量とも言われるもの、 要するにKLダイバージェンス • vt x = 0とした場合に相当。 subj. toの qt x の偏微分方程式からlog qt x の微 分が出て示せる ワッサースタイン計量

7 輸送とテレポーテーションの組合せであるワッサースタイン フィッシャー・ラオ計量から、 関数F[q]を最小化する勾配流を導出 ワッサースタイン フィッシャー・ラオ計量の作る勾配流 • フィッシャーラオ勾配流 – テレポーテーション (teleportation) • ワッサースタイン勾配流 – 輸送 (transportation) • 次の常微分方程式を解いて𝑥𝑥t (勾配流) を生成すると、 関数𝑓𝑓 x が最小化される • 再急降下法の連続版と考える 勾配流 (Gradient Flow) の考え方 背景 提案手法 実験結果 概要 • ワッサースタインとフィッシャー・ラオ勾配流を 独立に考え、バラして変分の更新式に用いる • (汎)関数F[q]を最小化する勾配流qt は、 次の偏微分方程式を満たす(証明は Appendix A) • 第一項：連続の方程式、分布の輸送による勾配流 • 第二項：分布の”生成と消滅”による勾配流 (図) ワッサースタイン、フィッシャーラオ勾配流1 1. GitHub - necludov/wqmc より

8 勾配流をKLダイバージェンスが最小になるようにパラメトリック多様体に射影し、 変分パラメータ𝜃𝜃更新式を導出 パラメトリック多様体上の分布のパラメータの更新式 (図) ワッサースタイン フィッシャー・ラオ勾配流の パラメトリック多様体上への射影 • 勾配流で𝑞𝑞𝑡𝑡+Δ𝑡𝑡 を生成し、これをパラメトリック多様体に 射影してその空間上の分布𝑞𝑞(𝑥𝑥, 𝜃𝜃)を更新する – 勾配流𝑞𝑞𝑡𝑡 はノンパラ・無限次元なので数値計算不可 • 更新はKLダイバージェンスの最小化で計算 背景 提案手法 実験結果 概要 • フィッシャー・ラオ勾配流での更新式 • ワッサースタイン勾配での更新式 ・・・たくさんの証明の後・・・

9 提案手法W(FR)QMCアルゴリズム Wasserstein (Fisher-Rao) Quantum Monte Carlo • あああああああああ – ああああ 局所エネルギーの計算 背景 提案手法 実験結果 概要 ワッサースタイン勾配流による更新 フィッシャー・ラオ勾配流による更新 甘利先生の自然勾配学習法に習って最適化

10 ベリリウム (Be)原子・水素鎖(H10)などの化学系で実験し、WQMCとW(FR)QMCが QVMCと比べてより正確なエネルギーの推定と高速な収束を確認 ボルン・オッペンハイマー近似を用いた化学系で実験 • Born–Oppenheimer近似: 原子核の質量は電子の質 量よりも遥かに大きいため、電子の運動の速度に比べて 原子核は静止していると近似 • 対象となるハミルトニアン (図) 数値実験結果 • : i番目の電子の座標 • : I番目の原子核の座標 • : I番目の原子核の電荷 背景 提案手法 実験結果 概要 電子-電子の 相互作用 電子-原子核の 相互作用 原子核-原子核の 相互作用 • 相対エネルギー誤差、推定値の分散（標準誤差）が W(FR)QMCで最も低い（良く）なることを確認

bcg.com/x