Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介“Infinite-Fidelity Coregionalization for Physical Simulation ”, Shibo. L. et, al

Riku Sakamoto
February 23, 2023

論文紹介“Infinite-Fidelity Coregionalization for Physical Simulation ”, Shibo. L. et, al

【RICOS×ZOZO】NeurIPS2022論文読み会
論文紹介“Infinite-Fidelity Coregionalization for Physical
Simulation [1] ”, Shibo. L. et, al

Riku Sakamoto

February 23, 2023
Tweet

Other Decks in Research

Transcript

  1. 論文紹介
    “Infinite-Fidelity Coregionalization for Physical
    Simulation[1]”, Shibo. L. et, al
    RICOS 坂本 陸
    【RICOS×ZOZO】NeurIPS2022論文読み会

    View Slide

  2. 概要
    ● 数値シミュレーションデータに対して,低Fidelityの結果と高Fidelityの結果の関係を
    学習し,任意のFidelityの結果を予測する手法を開発した
    ● Fidelity間の関係を解くODEとガウス過程を組み合わせている点が特徴的である
    ● 既存手法と比較して高Fidelityに対する予測精度が高く,また訓練データに存在し
    ないFidelityに対しても予測可能であることが確認された
    2

    View Slide

  3. 背景:物理数値シミュレーションとは
    ● (多くの場合)微分方程式の解を数値的に導出する手法
    ● 特にCFD(Compudation Fluid Dynamics)を対象にする
    CFDのフロー
    形状生成(CADなど) メッシュの作成 求解
    3

    View Slide

  4. ● 解析モデルにおける現実の形状や条件の再現度合い=「モデルの解像度」
    ● 以降の議論では,Fidelity=「メッシュの細かさ」
    背景:シミュレーションの“Fidelity”とは[2]
    4
    流速
    前面投影面積
    ...
    空気抵抗
    係数
    型式A …
    空気抵抗係数 ….

    Fidelity 小 大
    計算時間 小(数秒) 大(数週間)
    MBD シミュレーション
    数値テーブル

    View Slide

  5. ● 高Fidelityな結果を予測する機械学習を作るには,高Fidelityなデータが必要
    ● 高Fidelityのデータを用意するのに,1データあたり数日から数週間かかる
    ● 低Fidelityから高Fidelityを機械学習モデルでつなぐことでデータの生成をしたい
    背景:Multi-fidelity modeling / learning
    5
    CFD 学習 予測
    数日〜数週間
    数秒〜数分

    View Slide

  6. 提案手法の目的
    ● 既往の研究では,Fidelity間を離散的につなぐ手法は提案されている
    ● 実際は連続的な値を持つため,連続値に対応できるような機械学習手法を提案す

    6
    Fidelity
    Mesh Size: 64x64 Mesh Size: 1024x1024
    0 1

    View Slide

  7. 提案手法
    ● 高次特徴量におけるFidelity間の関係を微分方程式でモデル化する
    ● 高次特徴量から出力値を得るための基底行列とFidelityの関係を,微分方程式もし
    くはガウス過程で予測する
    7

    View Slide

  8. ・Linear Model of Coregionalization (LMC)
    提案手法
    例:空間1次元熱拡散方程式
    8
    入力(低次元パラメータ)
    出力(高次元の値)
    熱拡散係数
     t=0
     t=1
     x=0  x=1
    適当な初期条件と境界条件のもとで
    B と h がFidelityに依存する

    View Slide

  9. 提案手法
    ・特徴量に関するFidelityの微分方程式
    9
    m: Fidelity
    なので,次のように仮定
    ➢   をニューラルネットワークでモデル化する
    ➢ 微分方程式をRunge-kutta法などの数値積分で求解する

    View Slide

  10. 提案手法
    10
    ・基底行列の各成分はFidelityの関数だと仮定
    1.IFC-ODE:Bについても微分方程式を作る
    2.IFC-GPODE:ガウス過程を用いる

    View Slide

  11. ・1. IFC-ODE:微分方程式を仮定
    提案手法
    11
    ➢  をニューラルネットワークでモデル化する
    ➢ 尤度関数を最大化する

    View Slide

  12. ・2. IFC-GPODE:ガウス過程を用いる
    提案手法
    12
    ➢ Bの各成分bijはFidelity (m)の関数であり,ガウス過程に従う
    ➢ 尤度関数は以下の形になるので,変分ベイズを用いる
    補足
    ● Bの変分事後確率は多変量ガウス分布を仮定する
    ● クロネッカー法を利用して,変分事後確率の分散行列を保存するメモリを節約する

    View Slide

  13. ・手法のまとめ
    提案手法
    13
    IFC-ODE IFC-GPODE
    h(x)の予測方法 NN + ODE Solver NN + ODE Solver
    Bの予測方法 NN + ODE Solver GP Process
    学習手法 最尤推定 変分ベイズ
    入力(低次元パラメータ)
    出力(高次元の値)

    View Slide

  14. 実験条件
    ● 対象とする方程式
    ● 機械学習条件
    14
    方程式 Poisson Heat Burgers
    次元 空間2次元 空間1次元,
    時間1次元
    空間1次元,
    時間1次元
    グリッド数 8x8, 16x16,
    32x32, 64x64
    16x16, 24x24, 32x32,
    64x64
    範囲 x∈[0, 1] ,t∈[0, 5] x∈[0, 1] , y∈[0, 1] x∈[0, 1], t∈[0, 3]
    ニューラルネットワーク 隠れ層2層,活性化関数tanh
    最適化手法 Adam
    スケジューラー ReduceLROnPlateau

    View Slide

  15. 実験結果
    ・Fidelityを変化させたときの他手法との結果比較
    15

    View Slide

  16. 実験結果
    ・Fidelityを任意に変化させたときの精度
    16
    m=1 m=1

    View Slide

  17. まとめ
    ● 数値シミュレーションデータに対して,低Fidelityの結果から任意の高Fidelityの結
    果を予測する学習手法を開発した
    ● Fidelity間の関係を解くODEとガウス過程を組み合わせている点が特徴的である
    ● 既存手法と比較して高Fidelityに対する予測精度が高く,また訓練データに存在し
    ないFidelityに対しても予測可能であることが確認された
    17

    View Slide

  18. 参考文献
    1.Shibo. L. et, al, “Infinite-Fidelity Coregionalization for Physical Simulation”, NeurlPS2022 , 2022
    - Code: https://github.com/shib0li/Infinite-Fidelity-Coregionalization
    2. ダッソー・システムズ, ”【デザインとシミュレーションを語る】31 : Fidelityという概念とModel Based Designの関係”
    ,https://blogs.3ds.com/japan/automation-design-simulation31/ , アクセス日 2023.2.15
    3. 持橋・大羽, “ガウス過程と機械学習”, 講談社,2019
    4. Andrew Jones, “Linear Model of Coregionalization”, https://andrewcharlesjones.github.io/journal/lmc.html , アクセス日
    2023.2.15
    5. “A simple demonstration of coregionalization - GPflow 2.7.0 documentation”,
    https://gpflow.github.io/GPflow/develop/notebooks/advanced/coregionalisation.html , アクセス日 2023.2.15
    18

    View Slide

  19. 19

    View Slide