論文紹介“Infinite-Fidelity Coregionalization for Physical Simulation ”, Shibo. L. et, al

【RICOS×ZOZO】NeurIPS2022論文読み会
論文紹介“Infinite-Fidelity Coregionalization for Physical
Simulation [1] ”, Shibo. L. et, al

Transcript

1. 論文紹介
   “Infinite-Fidelity Coregionalization for Physical
   Simulation[1]”, Shibo. L. et, al
   RICOS　坂本 陸
   【RICOS×ZOZO】NeurIPS2022論文読み会
   

   View Slide

2. 概要
   ● 数値シミュレーションデータに対して，低Fidelityの結果と高Fidelityの結果の関係を
   学習し，任意のFidelityの結果を予測する手法を開発した
   ● Fidelity間の関係を解くODEとガウス過程を組み合わせている点が特徴的である
   ● 既存手法と比較して高Fidelityに対する予測精度が高く，また訓練データに存在し
   ないFidelityに対しても予測可能であることが確認された
   2
   

   View Slide

3. 背景：物理数値シミュレーションとは
   ● （多くの場合）微分方程式の解を数値的に導出する手法
   ● 特にCFD（Compudation Fluid Dynamics）を対象にする
   CFDのフロー
   形状生成（CADなど） メッシュの作成 求解
   3
   

   View Slide

4. ● 解析モデルにおける現実の形状や条件の再現度合い＝「モデルの解像度」
   ● 以降の議論では，Fidelity=「メッシュの細かさ」
   背景：シミュレーションの“Fidelity”とは[2]
   4
   流速
   前面投影面積
   ...
   空気抵抗
   係数
   型式A …
   空気抵抗係数 ….
   …
   Fidelity 小 大
   計算時間 小（数秒） 大（数週間）
   MBD シミュレーション
   数値テーブル
   

   View Slide

5. ● 高Fidelityな結果を予測する機械学習を作るには，高Fidelityなデータが必要
   ● 高Fidelityのデータを用意するのに，１データあたり数日から数週間かかる
   ● 低Fidelityから高Fidelityを機械学習モデルでつなぐことでデータの生成をしたい
   背景：Multi-fidelity modeling / learning
   5
   CFD 学習 予測
   数日〜数週間
   数秒〜数分
   

   View Slide

6. 提案手法の目的
   ● 既往の研究では，Fidelity間を離散的につなぐ手法は提案されている
   ● 実際は連続的な値を持つため，連続値に対応できるような機械学習手法を提案す
   る
   6
   Fidelity
   Mesh Size: 64x64 Mesh Size: 1024x1024
   ０ 1
   

   View Slide

7. 提案手法
   ● 高次特徴量におけるFidelity間の関係を微分方程式でモデル化する
   ● 高次特徴量から出力値を得るための基底行列とFidelityの関係を，微分方程式もし
   くはガウス過程で予測する
   7
   

   View Slide

8. ・Linear Model of Coregionalization (LMC)
   提案手法
   例：空間1次元熱拡散方程式
   8
   入力（低次元パラメータ）
   出力（高次元の値）
   熱拡散係数
   　t=0
   　t=1
   　x=0 　x=1
   適当な初期条件と境界条件のもとで
   B と h がFidelityに依存する
   

   View Slide

9. 提案手法
   ・特徴量に関するFidelityの微分方程式
   9
   m: Fidelity
   なので，次のように仮定
   ➢ 　 をニューラルネットワークでモデル化する
   ➢ 微分方程式をRunge-kutta法などの数値積分で求解する
   

   View Slide

10. 提案手法
    10
    ・基底行列の各成分はFidelityの関数だと仮定
    １．IFC-ODE：Bについても微分方程式を作る
    ２．IFC-GPODE：ガウス過程を用いる
    

    View Slide

11. ・1. IFC-ODE：微分方程式を仮定
    提案手法
    11
    ➢ 　をニューラルネットワークでモデル化する
    ➢ 尤度関数を最大化する
    

    View Slide

12. ・2. IFC-GPODE：ガウス過程を用いる
    提案手法
    12
    ➢ Bの各成分bijはFidelity (m)の関数であり，ガウス過程に従う
    ➢ 尤度関数は以下の形になるので，変分ベイズを用いる
    補足
    ● Bの変分事後確率は多変量ガウス分布を仮定する
    ● クロネッカー法を利用して，変分事後確率の分散行列を保存するメモリを節約する
    

    View Slide

13. ・手法のまとめ
    提案手法
    13
    IFC-ODE IFC-GPODE
    h(x)の予測方法 NN + ODE Solver NN + ODE Solver
    Bの予測方法 NN + ODE Solver GP Process
    学習手法 最尤推定 変分ベイズ
    入力（低次元パラメータ）
    出力（高次元の値）
    

    View Slide

14. 実験条件
    ● 対象とする方程式
    ● 機械学習条件
    14
    方程式 Poisson Heat Burgers
    次元 空間２次元 空間１次元，
    時間１次元
    空間１次元，
    時間１次元
    グリッド数 8x8, 16x16,
    32x32, 64x64
    16x16, 24x24, 32x32,
    64x64
    範囲 x∈[0, 1] ，t∈[0, 5] x∈[0, 1] , y∈[0, 1] x∈[0, 1], t∈[0, 3]
    ニューラルネットワーク 隠れ層２層，活性化関数tanh
    最適化手法 Adam
    スケジューラー ReduceLROnPlateau
    

    View Slide

15. 実験結果
    ・Fidelityを変化させたときの他手法との結果比較
    15
    

    View Slide

16. 実験結果
    ・Fidelityを任意に変化させたときの精度
    16
    m=1 m=1
    

    View Slide

17. まとめ
    ● 数値シミュレーションデータに対して，低Fidelityの結果から任意の高Fidelityの結
    果を予測する学習手法を開発した
    ● Fidelity間の関係を解くODEとガウス過程を組み合わせている点が特徴的である
    ● 既存手法と比較して高Fidelityに対する予測精度が高く，また訓練データに存在し
    ないFidelityに対しても予測可能であることが確認された
    17
    

    View Slide

18. 参考文献
    1.Shibo. L. et, al, “Infinite-Fidelity Coregionalization for Physical Simulation”, NeurlPS2022 , 2022
    - Code: https://github.com/shib0li/Infinite-Fidelity-Coregionalization
    2. ダッソー・システムズ, ”【デザインとシミュレーションを語る】31 : Fidelityという概念とModel Based Designの関係”
    ，https://blogs.3ds.com/japan/automation-design-simulation31/ , アクセス日 2023.2.15
    3. 持橋・大羽, “ガウス過程と機械学習”, 講談社，2019
    4. Andrew Jones, “Linear Model of Coregionalization”, https://andrewcharlesjones.github.io/journal/lmc.html , アクセス日
    2023.2.15
    5. “A simple demonstration of coregionalization - GPflow 2.7.0 documentation”,
    https://gpflow.github.io/GPflow/develop/notebooks/advanced/coregionalisation.html , アクセス日 2023.2.15
    18
    

    View Slide

19. View Slide