論文紹介“Infinite-Fidelity Coregionalization for Physical Simulation ”, Shibo. L. et, al

【RICOS×ZOZO】NeurIPS2022論文読み会
論文紹介“Infinite-Fidelity Coregionalization for Physical
Simulation [1] ”, Shibo. L. et, al

Transcript

1. 論文紹介 “Infinite-Fidelity Coregionalization for Physical Simulation[1]”, Shibo. L. et, al RICOS　坂本 陸 【RICOS×ZOZO】NeurIPS2022論文読み会
2. 概要 • 数値シミュレーションデータに対して，低Fidelityの結果と高Fidelityの結果の関係を 学習し，任意のFidelityの結果を予測する手法を開発した • Fidelity間の関係を解くODEとガウス過程を組み合わせている点が特徴的である • 既存手法と比較して高Fidelityに対する予測精度が高く，また訓練データに存在し ないFidelityに対しても予測可能であることが確認された 2
3. 背景：物理数値シミュレーションとは • （多くの場合）微分方程式の解を数値的に導出する手法 • 特にCFD（Compudation Fluid Dynamics）を対象にする CFDのフロー 形状生成（CADなど） メッシュの作成 求解 3
4. • 解析モデルにおける現実の形状や条件の再現度合い＝「モデルの解像度」 • 以降の議論では，Fidelity=「メッシュの細かさ」 背景：シミュレーションの“Fidelity”とは[2] 4 流速 前面投影面積 ... 空気抵抗 係数 型式A … 空気抵抗係数 …. … Fidelity 小 大 計算時間 小（数秒） 大（数週間） MBD シミュレーション 数値テーブル
5. • 高Fidelityな結果を予測する機械学習を作るには，高Fidelityなデータが必要 • 高Fidelityのデータを用意するのに，１データあたり数日から数週間かかる • 低Fidelityから高Fidelityを機械学習モデルでつなぐことでデータの生成をしたい 背景：Multi-fidelity modeling / learning 5 CFD 学習 予測 数日〜数週間 数秒〜数分
6. 提案手法の目的 • 既往の研究では，Fidelity間を離散的につなぐ手法は提案されている • 実際は連続的な値を持つため，連続値に対応できるような機械学習手法を提案す る 6 Fidelity Mesh Size: 64x64 Mesh Size: 1024x1024 ０ 1
7. 提案手法 • 高次特徴量におけるFidelity間の関係を微分方程式でモデル化する • 高次特徴量から出力値を得るための基底行列とFidelityの関係を，微分方程式もし くはガウス過程で予測する 7
8. ・Linear Model of Coregionalization (LMC) 提案手法 例：空間1次元熱拡散方程式 8 入力（低次元パラメータ） 出力（高次元の値） 熱拡散係数 　t=0 　t=1 　x=0 　x=1 適当な初期条件と境界条件のもとで B と h がFidelityに依存する
9. 提案手法 ・特徴量に関するFidelityの微分方程式 9 m: Fidelity なので，次のように仮定 ➢ 　 をニューラルネットワークでモデル化する ➢ 微分方程式をRunge-kutta法などの数値積分で求解する
10. 提案手法 10 ・基底行列の各成分はFidelityの関数だと仮定 １．IFC-ODE：Bについても微分方程式を作る ２．IFC-GPODE：ガウス過程を用いる
11. ・1. IFC-ODE：微分方程式を仮定 提案手法 11 ➢ 　をニューラルネットワークでモデル化する ➢ 尤度関数を最大化する
12. ・2. IFC-GPODE：ガウス過程を用いる 提案手法 12 ➢ Bの各成分bijはFidelity (m)の関数であり，ガウス過程に従う ➢ 尤度関数は以下の形になるので，変分ベイズを用いる 補足 • Bの変分事後確率は多変量ガウス分布を仮定する • クロネッカー法を利用して，変分事後確率の分散行列を保存するメモリを節約する
13. ・手法のまとめ 提案手法 13 IFC-ODE IFC-GPODE h(x)の予測方法 NN + ODE Solver NN + ODE Solver Bの予測方法 NN + ODE Solver GP Process 学習手法 最尤推定 変分ベイズ 入力（低次元パラメータ） 出力（高次元の値）
14. 実験条件 • 対象とする方程式 • 機械学習条件 14 方程式 Poisson Heat Burgers 次元 空間２次元 空間１次元， 時間１次元 空間１次元， 時間１次元 グリッド数 8x8, 16x16, 32x32, 64x64 16x16, 24x24, 32x32, 64x64 範囲 x∈[0, 1] ，t∈[0, 5] x∈[0, 1] , y∈[0, 1] x∈[0, 1], t∈[0, 3] ニューラルネットワーク 隠れ層２層，活性化関数tanh 最適化手法 Adam スケジューラー ReduceLROnPlateau
15. 実験結果 ・Fidelityを変化させたときの他手法との結果比較 15
16. 実験結果 ・Fidelityを任意に変化させたときの精度 16 m=1 m=1
17. まとめ • 数値シミュレーションデータに対して，低Fidelityの結果から任意の高Fidelityの結 果を予測する学習手法を開発した • Fidelity間の関係を解くODEとガウス過程を組み合わせている点が特徴的である • 既存手法と比較して高Fidelityに対する予測精度が高く，また訓練データに存在し ないFidelityに対しても予測可能であることが確認された 17
18. 参考文献 1.Shibo. L. et, al, “Infinite-Fidelity Coregionalization for Physical Simulation”, NeurlPS2022 , 2022 - Code: https://github.com/shib0li/Infinite-Fidelity-Coregionalization 2. ダッソー・システムズ, ”【デザインとシミュレーションを語る】31 : Fidelityという概念とModel Based Designの関係” ，https://blogs.3ds.com/japan/automation-design-simulation31/ , アクセス日 2023.2.15 3. 持橋・大羽, “ガウス過程と機械学習”, 講談社，2019 4. Andrew Jones, “Linear Model of Coregionalization”, https://andrewcharlesjones.github.io/journal/lmc.html , アクセス日 2023.2.15 5. “A simple demonstration of coregionalization - GPflow 2.7.0 documentation”, https://gpflow.github.io/GPflow/develop/notebooks/advanced/coregionalisation.html , アクセス日 2023.2.15 18