【RICOS×ZOZO】NeurIPS2022論文読み会 論文紹介“Infinite-Fidelity Coregionalization for Physical Simulation [1] ”, Shibo. L. et, al
論文紹介“Infinite-Fidelity Coregionalization for PhysicalSimulation[1]”, Shibo. L. et, alRICOS 坂本 陸【RICOS×ZOZO】NeurIPS2022論文読み会
View Slide
概要● 数値シミュレーションデータに対して,低Fidelityの結果と高Fidelityの結果の関係を学習し,任意のFidelityの結果を予測する手法を開発した● Fidelity間の関係を解くODEとガウス過程を組み合わせている点が特徴的である● 既存手法と比較して高Fidelityに対する予測精度が高く,また訓練データに存在しないFidelityに対しても予測可能であることが確認された2
背景:物理数値シミュレーションとは● (多くの場合)微分方程式の解を数値的に導出する手法● 特にCFD(Compudation Fluid Dynamics)を対象にするCFDのフロー形状生成(CADなど) メッシュの作成 求解3
● 解析モデルにおける現実の形状や条件の再現度合い=「モデルの解像度」● 以降の議論では,Fidelity=「メッシュの細かさ」背景:シミュレーションの“Fidelity”とは[2]4流速前面投影面積...空気抵抗係数型式A …空気抵抗係数 ….…Fidelity 小 大計算時間 小(数秒) 大(数週間)MBD シミュレーション数値テーブル
● 高Fidelityな結果を予測する機械学習を作るには,高Fidelityなデータが必要● 高Fidelityのデータを用意するのに,1データあたり数日から数週間かかる● 低Fidelityから高Fidelityを機械学習モデルでつなぐことでデータの生成をしたい背景:Multi-fidelity modeling / learning5CFD 学習 予測数日〜数週間数秒〜数分
提案手法の目的● 既往の研究では,Fidelity間を離散的につなぐ手法は提案されている● 実際は連続的な値を持つため,連続値に対応できるような機械学習手法を提案する6FidelityMesh Size: 64x64 Mesh Size: 1024x10240 1
提案手法● 高次特徴量におけるFidelity間の関係を微分方程式でモデル化する● 高次特徴量から出力値を得るための基底行列とFidelityの関係を,微分方程式もしくはガウス過程で予測する7
・Linear Model of Coregionalization (LMC)提案手法例:空間1次元熱拡散方程式8入力(低次元パラメータ)出力(高次元の値)熱拡散係数 t=0 t=1 x=0 x=1適当な初期条件と境界条件のもとでB と h がFidelityに依存する
提案手法・特徴量に関するFidelityの微分方程式9m: Fidelityなので,次のように仮定➢ をニューラルネットワークでモデル化する➢ 微分方程式をRunge-kutta法などの数値積分で求解する
提案手法10・基底行列の各成分はFidelityの関数だと仮定1.IFC-ODE:Bについても微分方程式を作る2.IFC-GPODE:ガウス過程を用いる
・1. IFC-ODE:微分方程式を仮定提案手法11➢ をニューラルネットワークでモデル化する➢ 尤度関数を最大化する
・2. IFC-GPODE:ガウス過程を用いる提案手法12➢ Bの各成分bijはFidelity (m)の関数であり,ガウス過程に従う➢ 尤度関数は以下の形になるので,変分ベイズを用いる補足● Bの変分事後確率は多変量ガウス分布を仮定する● クロネッカー法を利用して,変分事後確率の分散行列を保存するメモリを節約する
・手法のまとめ提案手法13IFC-ODE IFC-GPODEh(x)の予測方法 NN + ODE Solver NN + ODE SolverBの予測方法 NN + ODE Solver GP Process学習手法 最尤推定 変分ベイズ入力(低次元パラメータ)出力(高次元の値)
実験条件● 対象とする方程式● 機械学習条件14方程式 Poisson Heat Burgers次元 空間2次元 空間1次元,時間1次元空間1次元,時間1次元グリッド数 8x8, 16x16,32x32, 64x6416x16, 24x24, 32x32,64x64範囲 x∈[0, 1] ,t∈[0, 5] x∈[0, 1] , y∈[0, 1] x∈[0, 1], t∈[0, 3]ニューラルネットワーク 隠れ層2層,活性化関数tanh最適化手法 Adamスケジューラー ReduceLROnPlateau
実験結果・Fidelityを変化させたときの他手法との結果比較15
実験結果・Fidelityを任意に変化させたときの精度16m=1 m=1
まとめ● 数値シミュレーションデータに対して,低Fidelityの結果から任意の高Fidelityの結果を予測する学習手法を開発した● Fidelity間の関係を解くODEとガウス過程を組み合わせている点が特徴的である● 既存手法と比較して高Fidelityに対する予測精度が高く,また訓練データに存在しないFidelityに対しても予測可能であることが確認された17
参考文献1.Shibo. L. et, al, “Infinite-Fidelity Coregionalization for Physical Simulation”, NeurlPS2022 , 2022- Code: https://github.com/shib0li/Infinite-Fidelity-Coregionalization2. ダッソー・システムズ, ”【デザインとシミュレーションを語る】31 : Fidelityという概念とModel Based Designの関係”,https://blogs.3ds.com/japan/automation-design-simulation31/ , アクセス日 2023.2.153. 持橋・大羽, “ガウス過程と機械学習”, 講談社,20194. Andrew Jones, “Linear Model of Coregionalization”, https://andrewcharlesjones.github.io/journal/lmc.html , アクセス日2023.2.155. “A simple demonstration of coregionalization - GPflow 2.7.0 documentation”,https://gpflow.github.io/GPflow/develop/notebooks/advanced/coregionalisation.html , アクセス日 2023.2.1518
19