2021年12月15日 MRS-J招待講演 汎用ニューラルネットワークポテンシャル 「PFP」による材料探索 入口 広紀1), 矢山 由洋2), 渡邊 卓2), 浅野 裕介1), 品川 幾3), 高本 聡3) 1)（株）Preferred Computational Chemistry 2)ENEOS（株）中央技術研究所 3)（株）Preferred Networks 1

● Introduction - Materials InformaticsにおけるDFT計算の重要性 - DFT計算の課題 ● Method - Neural Network Potential - NN構造の変遷（ANI-1, CGCNN etc.） - 教師データ作成の課題 - Our NNP (PFP) の特徴 ● Examples of PFP - Bulk : BaTiO 3 の相転移 - Bulk : LGPS固体電解質のLi拡散 - Adsorption : MOF空孔のH 2 O吸着 - Reaction : FT反応触媒の金属種探索 ● Summary Contents 2

化学 x AI で材料設計 → Materials Informatics マテリアルズ・インフォマティクス（MI） 　・ 材料開発に機械学習やAIを用いて 膨大な候補物質から有望材料を見出す技術 　・ 研究者の経験や勘に頼る従来の手法から加速できる 　・ 近年 各国でMI技術を使った材料開発が活発化 世の中の取組状況 材料探索の加速 MI活用 バーチャル実験 シミュレータ ～10回/月 実験 ～10回/月 従来 数千回/月 米国 2011年 Materials Genome Initiative（MGI）立上げ 低コスト・高速の材料開発を目指す 欧州 2015年 Novel Material Discovery Laboratory（NOMAD）設立 中国 2015年 中国科学院・中国工学院が 連携して中国版MGIに着手 日本 2014年ごろから国家プロジェクト増加 （内閣府、文科省、経産省） 企業 素材メーカを中心に、単独あるいは IT企業と連携しての取組みが増加 開発に時間がかかる 3

一般的なMaterials Informatics データ ベース AI・機械学習 モデル 計算 候補材料 X 特長 ・理屈が分からなくてもモデルを作れる 課題 ・学習外の物質の予測が困難 ・広範囲・膨大なデータが必要 ・データ収集コスト 4

一般的なMaterials Informatics データ ベース AI・機械学習 モデル 計算 候補材料 X 特長 ・理屈が分からなくてもモデルを作れる 課題 ・学習外の物質の予測が困難 ・広範囲・膨大なデータが必要 ・データ収集コスト 5

計算化学手法（DFT）の重要性 ● DFT計算が活用されている論文数は増加傾向 ● 公開論文でDFT計算が活用されている割合は近年顕著に増加 # of literatures w/ DFT ratio (%) by Google Scholar 6

DFT計算 x 機械学習の事例 7 [1] Gómez-Bombarelli, R., Aguilera-Iparraguirre, J., Hirzel, T. et al., Nature Mater 15, 1120–1127 (2016). [2] Zhong, M., Tran, K., Min, Y. et al., Nature 581, 178–183 (2020). ● CO 2 還元触媒の探索 [2] ● 有機EL材料の探索 [1] ✓ 文献から候補抽出 →DFT理論予測 →実験候補の抽出 ✓ コスト軽減のためDFT算出 の物性値推算モデルを構築 ✓ t-SNEで吸着構造を分類することで 理想的な触媒組成・反応機構の考察 ✓ 合計23万ものCu系触媒表面CO 2 吸着 構造を計算・解析

● DFTでは物質の電子密度を計算 → 行列方程式を自己無頓着に解くため莫大な演算数をこなす DFT (Density Functional Theory)の課題 → 高速化をしたい DFT計算は計算コストが高いことが課題 ● ex. 一般的な計算機を使った場合、 - 固体触媒上での反応計算（100原子程度）：約２週間 - Liイオンの拡散計算（50原子程度）：約１カ月 8

高速かつ良精度とされる計算化学手法 DFTB法 ReaxFF ハミルトニアンの積分項をパラメータ化することで DFTよりも高速 分子動力学法ベースの手法のためDFTよりも高速 [3] S. Manzhos, G. Giorgi, and K. Yamashita, Molecules 20, 3371 (2015). [4] K. Nishikawa, H. Akiyama, K. Yagishita, and H. Washizu, Jurnal Tribologi 21 63 (2019). ×公開パラメータの対応原子が限られる ×パラメータの作成・フィッティングが必要 ×公開パラメータの対応原子が限られる ×パラメータの作成・フィッティングが必要 強束縛近似を用いたKSハミルトニアンの簡略化 ex. アモルファスTiO 2 表面の酢酸吸着[3] 電荷・結合パラメータを加えた古典分子動力学法 ex. Cu/Cu 2 O表面のベンゾトリアゾール分子吸着[4] 9

ここまでのまとめ DFT計算 機械学習技術 Neural Network Potential 10 ✓ Materials Informaticsが提唱され久しく、様々な事例が発表された ✓ 未知の材料領域へアプローチするために計算化学アプローチ（DFT）が注目されるが計 算コストが課題 ✓ DFTに近い精度で高速計算するアプローチは汎用性に課題

一般的なMaterials Informatics データ ベース AI・機械学習 モデル 計算 候補材料 X 特長 ・理屈が分からなくてもモデルを作れる 課題 ・学習外の物質の予測が困難 ・広範囲・膨大なデータが必要 ・データ収集コスト DFT x AI 高速化 11

Neural Network Potential (NNP)とは 原子座標 エネルギー、力 原子座標からエネルギー・力を求める際にDFTで行っていた複雑な電子状態 計算が不要 → 原子座標を入力すれば瞬時にエネルギー、力を算出することができる技術 12 O H H Neural Network

DFT計算を高速化する技術：Neural Network Potential [5] J. S. Smith, O. Isayev, and A. E. Roitberg, Chem. Sci. 8, 3192 (2017). メリット：高速 •量子化学計算手法(DFT)と比べ 　圧倒的に高速 デメリット： •精度面 ― 精度の評価が難しい •教師データ取得が必要 –学習するためのデータ収集として、結局DFT計算が必要 –取得したデータの周辺しか予測できない 13

Neural Network Potential の進展 14 Graph NN NN architecture NNP Tutorial review (by Behler) Constructing high‐dimensional neural network potentials: A tutorial review ANI-1 ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost ANI-1 Dataset A data set of 20 million calculated off-equilibrium conformations for organic molecules ANI-1x Less is more: sampling chemical space with active learning ANI-1ccx Outsmarting Quantum Chemistry Through Transfer Learning SchNet SchNet: A continuous-filter convolutional neural network for modeling quantum interactions CGCNN Crystal Graph Convolutional Neural Networks for an Accurate and Interpretable Prediction of Material Properties 2017 2015 2018 Dataset for NNP 2020 ANI-2x Extending the Applicability of the ANI Deep Learning Molecular Potential to Sulfur and Halogens MegNet Graph Networks as a Universal Machine Learning Framework for Molecules and Crystals Behler-Parrinello NN OC20 Dataset An Introduction to Electrocatalyst Design using Machine Learning for Renewable Energy Storage

原子座標をどう表現するのか：Behler-Parrinello Symmetry function AEV: Atomic Environment Vector 対象とする原子の周辺環境を 数値化・ベクトル化 Rc：カットオフ半径 [6] J. Behler, International Journal of Quantum Chemistry 115, 1032 (2015). 1. radial symmetry functions：2体関係(距離)の表現 (G1, G2) 中心原子 i から半径 Rc 周辺までに どのくらいの数の原子が存在するか 2. angular symmetry functions：3体関係(角度)の表現 (G3, G4) 中心原子 i から半径 Rc 周辺までに どういった位置関係(角度)で原子 j, kが存在しているか 15

Behler-Parrinello系NNPの例：ANI-1[5] 16 ANI-1は各原子ごとにNNを構築 ● 既往手法（semi-empirical, DFTB）と比べてDFTを最も良く再現している ● Heavy atom > 8 の系でも精度良くDFTを再現出来ている ● より多くの元素へ拡張するための課題 - 元素種ごとに別々にNeural Networkを用意する必要 - 入力次元が元素種組み合わせN2に比例して増加 （教師データ必要数も増加） [5] J. S. Smith, O. Isayev, and A. E. Roitberg, Chem. Sci. 8, 3192 (2017).

Graph Neural Network 17 ● Graph Neural Network：グラフを入力でき、データの “つながり” の情報を学習 ● グラフとは：頂点(node) x と辺(edge) e で構成 - Social Network（SNSの結びつきグラフ）、Citation Network（論文の引用を示 すグラフ） - 商品Network（同時購入された商品を結ぶグラフ） - Protein-Protein Association Network - 有機分子　etc…

Graph Convolution Neural Network 18 • 画像の畳み込みに似た “グラフ畳み込み” 🡪 Graph Convolution を考えることで実現 画像分類 class label 物性値 Chemical property CNN: Image Convolution GNN: Graph Convolution

GNNを用いたNNPの例 • CGCNN[7]：周期境界条件のある系に対するグラフ構築方法を提案 • MEGNet[8]：孤立系（分子）・周期境界条件（固体）双方へのGNN適用を報告 [7] T. Xie and J. C. Grossman, Phys. Rev. Lett. 120, 145301 (2018). [8] C. Chen, W. Ye, Y. Zuo, C. Zheng, and S. P. Ong, Chem. Mater. 31, 3564 (2019). 19

ANI-1 Dataset：NNP構築に必要なデータ収集方法 20 [9] J. S. Smith, O. Isayev, and A. E. Roitberg, Sci. Data 4:170193 (2017). • GDB-11データベース(最大11個のC, N, O, Fが含まれる分子を列挙) のSubsetを使用 – C, N, Oのみに制限 – Heavy Atom は最大8個 • Normal Mode Sampling (NMS)で 一つの分子から多数の座標 conformationを生成 • 合計2200万データを取得 rdkitの MMFF94 Gaussian09の default method

DFT計算の公開DBは特定の系に注目したものになってしまう →汎用性を目指すためには独自dataset作成が必要 教師データ 表面系 https://opencatalystproject.org/ https://materialsproject.org/ http://aflowlib.org/ https://pubchem.ncbi.nlm.nih.gov/ http://pubchemqc.riken.jp/ 結晶系 分子系 QM9 [10] [10] R. Ramakrishnan, P. O. Dral, M. Rupp, and O. A. von Lilienfeld, Scientific Data 1, 140022 (2014). 21

汎用なNeural Network Potential 教師データ Neural Network Architecture [11] S. Takamoto et al., arXiv:2106.14583 様々な化学状態（結晶・分子・界面）を計算するために… ● 結晶構造、クラスター構造、表面構造、吸着構造、disordered構造等のDFT計算データを 独自に収集することが必要 ● Neural Network の形状はGNNを採用 22

第一原理計算結果 数千万を教師データ、独自に設計したGraph Neural Networkで学習モデルを構築 Our Neural Network Potential：PFPの概要 教師データ（数千万） 分子・結晶等様々な構造の第一原理計算結果 GNN エネルギー Matlantis予測値 学習・出力 　エネルギー DFT（教師データ） Ex. molecule Ex. cluster Ex. slab Ex. crystal Ex. adsorption Ex. disordered 23 TeaNet[12]をベースとして改良したNNを構築 RMSE < 0.05 eV/atom MAE < 0.02 eV/atom の高精度を達成 ・TeaNetは内部で、スカラー・ベクトル・テンソル 　それぞれの特徴量を更新しながら計算を進めていく 　GNN ・PFPではエネルギー局面が滑らかになるように各種 　チューニングを実施 [12] S. Takamoto, S. Izumi, and J. Li, arXiv:1912.01398

約10万倍 高速 Our Neural Network Potential：PFPの性能 第一原理計算 Matlantis 2ヶ月 （外挿値） 0.3秒 0.1秒 2時間 第一 原理 計算 原子数 第一原 理計算 第一原理計算と比較し圧倒的高速 約2千万倍 高速 第一原理計算条件 ・solver = QUANTUM ESPRESSO (PWscf) ・ver：6.4.1 ・PP：Pt.pbe-n-kjpaw_psl.1.0.0.UPF ・Ecutoff：40 Ry (≒544 eV) ・Xeon Gold 6254 3.1GHz x 2 (36 cores) ・RAM：384 GB Fcc Ptバルク構造一点計算時間 55元素に対応 Our NNP対応元素周期表 24

PFP計算事例紹介 25

BaTiO 3 は約130℃において正方晶（Tetragonal）から立方晶（Cubic）へ相転移し誘電特性が変化することが 知られている[13] →現象を再現するためには電子状態を適切に取り扱えるモデルであることが重要 【実施】BaTiO 3 正方晶構造を初期構造としてMatlantis(PFP)でMD計算。温度ごとの格子定数変化を取得。 BaTiO 3 結晶の相転移解析事例 26 PFP計算条件 原子数 320 (4x4x4 supercell) MD 0.1 ns (1 x 105 steps) Ensemble NPT (Berendsen) Temperature 300 ~ 600 K [13] Smith et al., J. Am. Chem. Soc., 130, 6955-6963 (2008) Tetragonal Cubic 400 K付近の BaTiO 3 相転移 を再現

LiBに関する計算事例 : イオン拡散 https://www.kek.jp/ja/newsroom/2016/06/22/1833/ Li 10 GeP 2 S 12 系固体電解質は高イオン伝導度を示す結晶 構造としてよく知られており、次世代電池材料として 注目を集める。 既報データも多く[14,15]、PFPで再現検討を実施。 計算条件 原子数 50 MD 1 ns (2x106 steps) Ensemble NVT (Langevin) 実行時間 46 h 平均二乗距離@523K 拡散係数 活性化Energy（meV） PFP DFT[14] Exp[15] 230 210 242 [14] Mo et al. Chem.Mater. (2012) 24, 15-17 [15] Y. Kato, et. al. Nat. Energy 1, 16030. • DFTおよび実験結果をよく再現 • 高速な計算により低温領域まで計算可能 https://matlantis.com/ja/cases/calculation004/ DFT[14] PFP 27

【PFP】 　 64.4 [kJ/mol] 【DFT[16]】 61.0 [kJ/mol] 多孔質材に関する計算事例 : MOF 28 [16] F. Bonino, et. al., Chem. Mater. 20, 4957 (2008). https://matlantis.com/ja/cases/calculation002/ ゼオライトに代表されるようなナノサイズの微小細孔を持つ材料は 吸着材、分離膜、触媒材料として幅広い分野で利用されている。 【実施】 近年注目を集めるMetal-organic frameworks（MOFs）への水分子吸着 エネルギーを計算 ΔE = 1/n (E ads - E MOF - nE H2O ) MOF-74Niの構造 左：水分子吸着なし、右：水分子吸着あり 原子数：162 　　　　原子数：216　　　

石油合成触媒探索 Fischer-Tropsch process Co+V触媒上でのC-O解離反応 Co触媒の一部元素置換による活性化エネルギー変化 （Coのみの基準を1.0） 良 1.0 0.0 0.8 0.6 0.4 0.2 メタン化反応 活性化エネルギー比較 DFT[18] vs. PFP 29 ● Fischer-Tropsch機構の律速過程CO解離反応を促進する高性能触媒 組成を探索 ● およそ9,300回の反応経路解析（ NEB）スクリーニングを実施 ● Co/V系で活性化エネルギーの低減を確認 →実験事実[17]と合致 [17] K. Shimura, T. Miyazawa, T. Hanaoka, and S. Hirata, Applied Catalysis A: General 494, 1 (2015). [18] B. Zijlstra, et al., Catalysis Today 342, 131 (2020).

● 汎用的に扱えるDFT高速化手法としてPreFerred Potentialを開発 ● 同一学習モデルで分子・結晶・界面をDFTと同等の精度でシミュレーションが 可能になった ● 従来のDFTでは計算コストの都合で回避されてきた「大規模スクリーニング」 「大規模原子系」のシミュレーションが現実的なものになった まとめ 30 PFPはPFCCよりクラウドサービス“Matlantis”として提供中

31