論文サーベイ NVIDIA SIMNET™: AN AI-ACCELERATED MULTI-PHYSICS SIMULATION FRAMEWORK

NVIDIA SIMNETの論文https://arxiv.org/pdf/2012.07938のサーベイ

Transcript

1. 論文サーベイ NVIDIA SIMNET : AN AI-ACCELERATED MULTI-PHYSICS SIMULATION FRAMEWORK 樹神宇徳
2. 導入 • シミュレーションは現在様々な分野で応用されているが、複雑なシ ミュレーションになればなるほど計算量的に高価になってしまう。 これはシミュレーションを繰り返す上でボトルネックとなる。 • 深層学習によるシミュレーションの代替はこのボトルネックを解消 するポテンシャルを持っているが、依然として以下のような問題を 抱えている • 教師有り学習を行う場合、教師データ作成には計算量的に高価なシミュレー ションを行う必要がある。 • 出力された結果は支配方程式を満たすとは限らず、信頼できない結果を出力 する可能性がある。
3. 導入 • 前述のような問題点を解決するためにニューラルネットワーク ソルバが開発された。 • これは損失関数を教師データとの差ではなく、支配方程式(多くの場合 偏微分方程式)との差にしたものである。 • 損失関数に出現する偏微分項は自動微分によって求めることが出来る。 • 支配方程式から損失関数を計算するため教師データが必要なく、高価 な計算をしなくても良い。
4. 補足1:自動微分 • ニューラルネットワークの誤差逆伝搬では再帰的に連鎖律を用 いて微分を行っている • ニューラルネットワークを計算グラフとして出力を保存することに よって入力変数の微分を求めることが出来る • 二回微分を求めたい場合は一回微分の計算グラフを構築してもう一度 再帰的に微分することによって求めることが出来る
5. 導入 • しかし依然としてニューラルネットワークソルバは1次元また は2次元のシミュレーションでの利用にとどまっている。 • 次元が増える毎に支配方程式の複雑性が増大する。 • そこで3次元シミュレーションにも適用可能なニューラルネットワーク ソルバであるSimNetを本論文で提案する。 • 本論文ではFPGAのヒートシンクのシミュレーションで有効性を検証す る。
6. ニューラルネットワークソルバ • ニューラルネットワークソルバ以下のような構造を持つ
7. ニューラルネットワークソルバ • 求めたいシミュレーションの偏微分方程式を以下のように定義 する。 • 𝒩𝑖 は求めたいi番目の偏微分方程式の微分作用素。u(x)は偏微分方程式 の解。𝒟は独立変数の有界連続領域。 • 𝒞𝑗 はj番目の境界条件や初期条件を表すための制約演算子。∂𝒟は制約条 件を表すための領域境界の集合
8. ニューラルネットワークソルバ • 次に偏微分方程式の解u(x)をニューラルネットワークで近似し た𝑢𝑛𝑒𝑡 (𝑥; 𝜃)を以下のように定義する。 • 𝜙𝑖 はi番目のニューラルネットワーク。𝑊𝑖 はi番目の重み行列。 𝜎は活性化関数。𝑏𝑖 はi番目のバイアス項 • これにより偏微分方程式、制約条件の理論解と近似解の残差は 以下のようにあらわせる。
9. ニューラルネットワークソルバ • 偏微分方程式、制約条件の残差から損失関数を以下のように定 義する。 • ||はp次元のノルムである。𝜆 𝒩 (𝑖)はi番目の偏微分方程式の重み関数であ る。 𝜆 𝒞 (𝑖)はj番目の制約条件の重み関数である。
10. SimNetの概略 • SimNetのアーキテクチャの概略は以下の通り • CSG ModuleとTG Moduleは立体データを構築するためのモジュールである。 • PDE Moduleはよく使用される偏微分方程式が実装されているモジュールである。
11. SimNetの概略 • SimNetの重み付け関数𝜆は下記に示す符号付き距離関数(SDF) を使用する。 • 入力領域𝐷の部分集合𝐷𝑥 とその領域境界𝜕𝐷𝑥 ⊆ 𝜕𝐷を用いてSDFは下記 の式に表される。 • 関数𝑑(𝑥𝑠 , 𝜕𝐷𝑥 )は𝑥𝑠 と𝐷𝑥 上の最近傍点とのユークリッド距離を返す関数 である。 • 本実験では𝐷𝑥 = 𝐷かつ𝜕𝐷𝑥 =𝜕𝐷とする。 • SDFを導入することで極端に高い勾配を持つ急カーブ領域の影響を緩 和し、収束性と予測精度を向上させる
12. 偏微分方程式モジュール • 本論文では乱流シミュレーションの偏微分方程式としてナビエ –ストークス方程式を用いた以下の0方程式乱流方程式を採用す る。
13. 補足2:ナビエ–ストークス方程式 • 流体の運動を記述する2階非線型偏微分方程式であり、速度場v と圧力pは以下を満たす。 • v,pの一般解の存在性は「ナビエ–ストークス方程式の解の存在と滑ら かさ」というミレニアム懸賞問題の一つであり未解決。
14. 補足3: 0方程式乱流方程式 • 流れの状態によって決まる物理量である渦粘性係数𝜇𝑡 は流れの 状態によって決まる物理量で決め方には任意性があり、決定的 な方法は発見されていない。 • 付加的な物理量を考えることなく、 𝜇𝑡 を決定する乱流モデルを 0方程 式モデルと呼ぶ。 • 仮説を立て𝜇𝑡 を判明している物理量から計算し近似する方法。
15. ネットワークアーキテクチャ • SimNetにはさまざまなネットワークアーキテクチャがデフォ ルトで用意されているが、本論文では以下の三つのアーキテク チャで実験を行う。 • フーリエ特徴量ネットワーク(Fourier feature networks) • 改変型フーリエ特徴量ネットワーク(Modified Fourier feature networks) • Sin型表現ネットワーク(Sinusoidal Representation Networks: SiReNs)
16. フーリエ特徴量ネットワーク • ニューラルネットワークでは低周波成分の学習が高周波成分の 学習より優先されるというバイアスが存在する(スペクトルバイ アス)。 • そこで三角関数を用いて以下の訓練可能なエンコード層を追加する事 で疑似的なフーリエ変換を行うことによりこのバイアスを解消する。 • 𝑓 ∈ ℝ𝑛𝑓×𝑑0は訓練可能な重み行列であり、𝑛𝑓 はノード数、𝑑0 は𝑥の次元 数を表す。
17. 改変型フーリエ特徴量ネットワーク • フーリエ特徴量ネットワークを改良して学習されたフーリエ変 換を各層に2つの写像を用いて導入する手法 • 𝑊𝑇1 , 𝑊𝑇2 , 𝑏𝑇1 , 𝑏𝑇2 は学習可能なパラメータ。 • ある周波数要素の𝑇1 , 𝑇2 要素の写像をどの割合で足し合わせるかを学習 している
18. 補足4:アダマール積 • 同じサイズの行列に対して成分ごとに積を取ることによって定 まる行列の積をアダマール積と呼ぶ。
19. Sin型表現ネットワーク • 全ての層でsinを活性化関数とすることで前述のモデル達と同様 にフーリエ変換を擬似的に再現 • 全ての重みを一様分布𝑊𝑖 ∼ 𝑈(− 1 𝑑𝑖−1 , 1 𝑑𝑖−1 )で初期化する。 • これによりsin関数への入力は正規分布に従い、sin関数の出力はarcsin に従うようになる。 • このような制限されたアーキテクチャがモデルの収束を早めることが 出来る。
20. ネットワークアーキテクチャ • 前述の3モデルは6層からなり、各層512個のノードを持ち、 Swish関数を活性化関数に持つ。 • オプティマイザはAdamとし、初期学習率は10−4とし、指数関 数学習率減衰を持つ。 • 損失関数には符号付き距離関数を実装する。
21. FPGAシミュレーション • FPGAの空気流及び温度をSimNetを用いてシミュレーションを 行う • 以下の画像に示される構造のFPGAにおいて本実験を行う • (a)はヒートシンク、(b)はシミュレーション領域、青の断面は左右対 称面を示す
22. FPGAシミュレーション • 本実験では、計算量の削減のために左右対称面の片方のみで計 算したフーリエ特徴量ネットワークとSDFの有効性を確認する ためにSDFなしのフーリエ特徴量ネットワーク、ベースライン として単純な多層ニューラルネットワークでも実験を行った • 以下の画像は各モデルの損失関数の収束を表している
23. FPGAシミュレーション • 次にFPGAヒートシンクの最適化に重要な圧力降下と最高温度 の予測結果を以下に示す。 • 最高温度は商用ソルバに近い予測をしており、圧力降下についても高 い精度を発揮している
24. 頭蓋動脈の動脈瘤の血流予測 • SimNetの汎用性を示すために頭蓋動脈の動脈瘤の血流シミュ レーションを同条件で行ってみた。 • 結果血流はかなり高い精度で予測することができ、血圧もOpenFOAM ソルバと近い予測をすることができた。
25. 設計最適化問題 • 従来のメッシュを用いてシミュレーションを行うソルバに比べ て複数の設計パラメータを一度の学習で訓練することができる ため設計最適化に向いている。 • 以下に本実験で最適化するNVSwitchの基本構造とその設計パラメータ を示す
26. 設計最適化問題 • 設計最適化において重要な圧力降下と最高温度の予測結果を以 下に示す。 • 商用ソルバに対してOpenFOAMは4.5%の過大に、SimNetは15%過小 に予測した。 • SimNetは商用ソルバに対して4500倍、OpenFOAMに対しては135000 倍速く最適化を行うことが出来た。
27. 逆問題 • 科学や工学では偏微分方程式を解くための不明なシステム変数 を推論しなければいけない場合がある。 • 推論したい変数を訓練可能な変数としてSimNetに組み込むことで不明 なシステム変数の値を推論することが出来る。 • 以下に2次元のヒートシンクデータから熱拡散係数と粘度を推論した結 果を示す
28. 結論 • SimNetは偏微分方程式のみから訓練データを使用せずナビエ– ストークス方程式に支配された物理現象シミュレーションをよ い精度かつ高速に収束させた。 • SDFは急カーブ領域を持つ構造や偏微分方程式において損失関 数を高速に収束し良い精度を出すことに寄与した。 • 本実験で取り扱った内容だけでなくSimNetは様々な偏微分方 程式と境界条件をもつシミュレーションにおいて有用であり、 商用ソルバと良い相関を持つ。 • SimNetはオープンソースとして公開されており誰でも利用す ることが出来る
29. 参考文献 • NVIDIA SIMNET : AN AI-ACCELERATED MULTI-PHYSICS SIMULATION FRAMEWORK:https://arxiv.org/pdf/2012.07938