3次元メッシュで表現した結晶構造を用いた材料物性の予測に向けた深層学習モデルの設計 / Design of Deep Learning Model for Predicting Material Properties Using Crystal Structure Represented by Three-Dimensional Mesh

© SAKURA internet Inc.
2022年度⼈⼯知能学会全国⼤会（第36回）
3次元メッシュで表現した結晶構造を⽤いた
材料物性の予測に向けた深層学習モデルの設計
鶴⽥博⽂1，桂ゆかり2,3,4，熊⾕将也1,4,5
1. さくらインターネット株式会社 2. 物質・材料研究機構 3. 東京⼤学
4. 理化学研究所 5. 京都⼤学

View Slide

© SAKURA internet Inc. 2
研究の背景
マテリアルズ・インフォマティクス (MI)
新規材料の研究開発の効率化を⽬的として，材料科学と情報科学の融合分野であるマテリアルズ・
インフォマティクスが注⽬されている．
研究者研究者
材料開発のパラメータ空間
機械学習
データベース
従来型
経験と勘に基づく
試⾏錯誤
MI型
データに基づく
効率的な探索

View Slide

研究の背景
無機材料の物性予測
材料の各種情報から物性を予測するモデルが構築できると，膨⼤な未知材料の物性を⾼速に予測し，
所望の物性を有する候補材料をスクリーニングできる．
材料情報
組成式
結晶構造
PbO
深層学習モデル
物性値
形成エネルギー
剛性率，etc.

View Slide

研究の背景
無機材料の物性予測
材料の各種情報から物性を予測するモデルが構築できると，膨⼤な未知材料の物性を⾼速に予測し，
所望の物性を有する候補材料をスクリーニングできる．
材料情報
組成式
結晶構造
PbO
深層学習モデル
物性値
剛性率，etc.
無機材料の物性は，結晶構造の影響を⼤きく受けるため，結晶構造のデータの表現⽅法と，
そのデータを活⽤できるモデルの設計が重要である．

View Slide

研究の貢献
結晶構造を3次元メッシュとして捉える深層学習モデル
1. 結晶構造を3次元メッシュとして表現することに着⽬し，メッシュを⼊⼒とする物性予測
のための深層学習モデルを設計した．
2. ⼀部の物性の予測において，CGCNNと同等以上の予測精度を実現した．
CGCNN PointNetベース
グラフ点群メッシュ
2次元 3次元 3次元
表現⽅法
次元
提案⼿法
貢献
[Xie 2018] Crystal Graph Convolutional Neural Networks for an Accurate and Interpretable Prediction of Material Properties
[Okuno 2020] 結晶の物性値予測における点群深層学習の応⽤

View Slide

関連研究
結晶構造をグラフで捉える：CGCNN [Xie 2018]
Crystal Graph Convolutional Neural Networks (CGCNN)は，結晶構造を2次元のグラフに変換する．
出典：[Xie 2018]のFigure 1
• 原⼦間距離が6 Å以下の近傍原⼦を探索し，各原⼦の共有
結合距離の合計よりも短ければエッジを共有する．
• エッジを共有するノードの数は，原⼦間距離が近い順から
最⼤12個までとする．
• エッジの特徴量として，原⼦間距離に応じた値を⽤いる．
ノード：原⼦
エッジ：独⾃に定義
• ノードの特徴量として，左表の9つの特徴量を結合した
92次元のバイナリベクトルを⽤いる

View Slide

関連研究
結晶構造をグラフで捉える：CGCNN [Xie 2018]
CGCNNは，グラフ畳み込みニューラルネットワークを⽤いてデータの学習を⾏う．
現在，物性予測において最も実⽤的な⼿法の⼀つである．
出典：[Xie 2018]のTable 1
形成エネルギーとバンドギャップの予測において，
シミュレーションによる計算誤差以下の⾼い精度を実現
評価結果
結晶構造を3次元のまま取り扱うデータの表現⽅法や深層学習モデルを設計することで，さらに物性予測
の精度を⾼められるのではないか

View Slide

関連研究
結晶構造を点群で捉える：PointNetベース [Okuno 2020]
結晶構造
形成エネルギーとバンドギャップをシミュレーションによる計算誤差以下の精度で予測可能であるが，
予測精度はCGCNNには及ばなかった．
点群に変換
点群：原⼦の3次元座標の集合
PointNet [Qi 2017]
ベースのモデル
物性値
予測
[Okuno 2020] 結晶の物性値予測における点群深層学習の応⽤
[Qi 2017] PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation
評価結果
出典：[Okuno 2020]の表2

View Slide

提案
結晶構造をメッシュで捉える：提案⼿法
メッシュは，点群のそれぞれの点の間に接続が定義され，⾯を構成する．
3次元形状の表現⼒が⾼いため，コンピュータビジョンなどの分野で広く利⽤されている．
結晶構造の表現にメッシュを適⽤した例は未だ少ない [Hinuma 2022]
[Hinuma 2022] Categorization of inorganic crystal structures by Delaunay tetrahedralization
表⾯形状を表現内部の形状も表現
隣接⾯数が固定である隣接⾯数が固定でない

View Slide

提案
3次元の結晶構造の情報を3次元のまま捉えられるデータ表現と深層学習モデルを設計した．
Center
Normal
Corner
Atom
Features
~
n
AAACanichVHLSsNAFD2Nr1ofrXWjuCnWiqsyqYLiSnTj0lcf0JaSxGkNTZOQpIEa+gPuXAm6UhARP8ONP+DCTxDdVXDjwts0IFrUO8zMmTP33DkzI5uaajuMPYWEgcGh4ZHwaGRsfGIyGpuK52yjaSk8qxiaYRVkyeaaqvOsozoaL5gWlxqyxvNyfau7n3e5ZauGfuC0TF5uSDVdraqK5BCVL7lc8fR2JZZkaeZHoh+IAUgiiB0jdoMSDmFAQRMNcOhwCGuQYFMrQgSDSVwZHnEWIdXf52gjQtomZXHKkIit01ijVTFgdVp3a9q+WqFTNOoWKRNIsUd2yzrsgd2xZ/bxay3Pr9H10qJZ7mm5WYmezOy//6tq0Ozg6Ev1p2cHVaz5XlXybvpM9xZKT+8en3X21/dS3iK7Yi/k/5I9sXu6ge6+Kde7fO8CEfoA8edz94NcJi0upzO7K8mNzeArwpjDPJbovVexgW3sIOu7O8U5LkKvQlyYFeZ6qUIo0EzjWwgLn/DpjMA=
n×3
~
n
~
ox
AAACa3ichVHLSsNAFD2N7/potRtRF8VScVUmKiiuim5c1kdrQUWSOGowL5JpUIM/4NKNi7pREBE/w40/4KKfIOKqghsX3qQBUVFvmMyZM/fcOXNHdQzdE4w1ElJbe0dnV3dPsrevfyCVHhyqeHbN1XhZsw3braqKxw3d4mWhC4NXHZcrpmrwdfVgMdxf97nr6ba1Jo4cvmUqe5a+q2uKIKq66XMtsA9PttM5VmBRZH8COQY5xFGy0zfYxA5saKjBBIcFQdiAAo++DchgcIjbQkCcS0iP9jlOkCRtjbI4ZSjEHtB/j1YbMWvROqzpRWqNTjFouKTMIs8e2S1rsgd2x57Y+6+1gqhG6OWIZrWl5c526nR49e1flUmzwP6n6k/PAruYi7zq5N2JmPAWWkvvH583V+dX8sEEu2LP5P+SNdg93cDyX7XrZb5SR5IeQP7e7p+gMlWQpwtTyzO54kL8FN0YxTgmqd+zKGIJJZSjPp+hjovEi5SRRqSxVqqUiDUZfAkp/wELcI1D
~
oy
AAACa3ichVHLTsJAFD3UF+IDlI1RF0SCcUUGNNG4IrpxyUMeCRDS1kEbStu0hQQJP+DSjQvcaGKM8TPc+AMu+ARjXGHixoWX0sQoUW8znTNn7rlz5o5kqIplM9bzCGPjE5NT3mnfzOzcvD+wsJiz9IYp86ysq7pZkESLq4rGs7Ziq7xgmFysSyrPS7X9wX6+yU1L0bVDu2Xwcl081pSqIos2UYVSk8ttvdWpBMIsypwIjYKYC8JwI6kHblHCEXTIaKAODg02YRUiLPqKiIHBIK6MNnEmIcXZ5+jAR9oGZXHKEImt0f+YVkWX1Wg9qGk5aplOUWmYpAwhwp7YHeuzR3bPntnHr7XaTo2BlxbN0lDLjYr/bCnz/q+qTrONky/Vn55tVLHjeFXIu+Ewg1vIQ33z9KKf2U1H2uvsmr2Q/yvWYw90A635Jt+keLoLHz1A7Ge7R0EuHo1tRuOprXBiz30KL1awhg3q9zYSOEASWafP5+ji0vMqBIVlYXWYKnhcTRDfQoh8Ag1xjUQ=
~
oz
AAACa3ichVHLSsNAFD2N7/qquhF1USwVV2VSBcVV0Y1LX60FW0oSRw3mRTIN1NAfcOnGhW4URMTPcOMPuPATRFwpuHHhTRoQLeoNkzlz5p47Z+6ojqF7grHHhNTR2dXd09uX7B8YHBpOjYyWPLvuaryo2YbtllXF44Zu8aLQhcHLjssVUzX4tnq4Eu5v+9z1dNvaEg2HV01l39L3dE0RRJUrPtcC+6hZS2VYjkWRbgdyDDKIY81OXaOCXdjQUIcJDguCsAEFHn07kMHgEFdFQJxLSI/2OZpIkrZOWZwyFGIP6b9Pq52YtWgd1vQitUanGDRcUqaRZQ/shr2ye3bLntjHr7WCqEbopUGz2tJypzZ8PL75/q/KpFng4Ev1p2eBPSxGXnXy7kRMeAutpfePTl83lzaywQy7ZM/k/4I9sju6geW/aVfrfOMMSXoA+We720Epn5Pncvn1+UxhOX6KXkxiGrPU7wUUsIo1FKM+n+AM54kXaUyakKZaqVIi1ozhW0jZTw9yjUU=
:(0, 1, … 1, 0)
n×2048
Global Max Pooling
n×32
n×64
n×32
n×3
n×9
n×92
shared weight
MLP (92, 128)
Face Rotate Convolution
shared weight
MLP (16, 32)
shared weight
MLP (16, 32)
shared weight
MLP (512, 1024, 2048)
n×128
2048
Output
MLP (1024, 512, 256, dimout
)
x
AAACZHichVFNSwJBGH7cvswsLQmCICQxOsloQdFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC77/q+qTrONgy/Vn55tVLHueFXIu+EwvVvIfX3z6KKb3chE20vsmr2S/yvWYQ90A635Jt+keeYSPvqA+M/nHgT5RCy+EkukVyPJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nnWfALIWG2nyp4XE0I30JY+AT3mon8
y
AAACZHichVFNSwJBGH7cvswsLQmCICQxOsloQdFJ6tLRj/wAE9ndRltcd5fdVTDpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxroeYWR0bHzCO+mb8k/PBIKzc3lLb5oyz8m6qptFSbS4qmg8Zyu2youGycWGpPKCVN/p7xda3LQUXduz2wYvN8SaplQVWbSJSrcrwQiLMSfCwyDuggjcSOnBW+zjADpkNNEAhwabsAoRFrUS4mAwiCujQ5xJSHH2OY7hI22TsjhliMTWaazRquSyGq37NS1HLdMpKnWTlGFE2RO7Yz32yO7ZC/v4tVbHqdH30qZZGmi5UQmcLGTf/1U1aLZx+KX607ONKjYdrwp5Nxymfwt5oG8dXfSyW5loZ4Vds1fyf8W67IFuoLXe5Js0z1zCRx8Q//ncwyCfiMXXYon0eiS57X6FF4tYxiq99waS2EUKOTqX4xRnOPc8C34hJMwPUgWPqwnhWwhLn/maif0=
z
AAACZHichVFNSwJBGH7cvswsLQmCICQxOsloQdFJ6tLRj/wAE9ndxlpcd5fdVVDpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxroeYWR0bHzCO+mb8k/PBIKzc3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvp7xea3LQUXduzWwYv18VDTakqsmgTlW5XghEWY06Eh0HcBRG4kdKDt9jHAXTIaKAODg02YRUiLGolxMFgEFdGhziTkOLscxzDR9oGZXHKEImt0XhIq5LLarTu17QctUynqNRNUoYRZU/sjvXYI7tnL+zj11odp0bfS4tmaaDlRiVwspB9/1dVp9nG0ZfqT882qth0vCrk3XCY/i3kgb7ZvuhltzLRzgq7Zq/k/4p12QPdQGu+yTdpnrmEjz4g/vO5h0E+EYuvxRLp9Uhy2/0KLxaxjFV67w0ksYsUcnQuxynOcO55FvxCSJgfpAoeVxPCtxCWPgH7mon+
x
y
z
𝑜
𝑜
:(1, 0, … 1, 0)
:(1, 0, … 0, 1)

View Slide

提案
Center
Normal
Corner
Atom
Features
~
n
n×3
~
n
~
ox
~
oy
~
oz
:(0, 1, … 1, 0)
n×2048
Global Max Pooling
n×32
n×64
n×32
n×3
n×9
n×92
shared weight
MLP (92, 128)
shared weight
MLP (16, 32)
shared weight
MLP (16, 32)
shared weight
MLP (512, 1024, 2048)
n×128
2048
Output
MLP (1024, 512, 256, dimout
)
x
y
z
x
y
z
𝑜
𝑜
:(1, 0, … 1, 0)
:(1, 0, … 0, 1)
1. メッシュの作成 2. 特徴量の作成 3. モデルアーキテクチャの設計
3次元の結晶構造の情報を3次元のまま捉えられるデータ表現と深層学習モデルを設計した．

View Slide

提案
1. メッシュの作成：ドロネー四⾯体分割 [Delaunay 1934]
[Delaunay 1934] Sur la sphère vide. A la mémoire de Georges Voronoï, Bulletin de l'Académie des Sciences de l'URSS
ドロネー三⾓形分割
各点を結んでできる三⾓形の最⼩⾓度が
最⼤になるようにして分割する
ドロネー四⾯体分割
3次元点群
に適⽤
• 四⾯体で敷き詰められた構造をもつ
• 四⾯体は四つの三⾓形⾯で構成される．
メッシュを構成する三⾓形⾯を構成単位として捉える

View Slide

提案
2. 特徴量の作成
メッシュを構成する三⾓形⾯ごとに以下の4つの特徴量を作成する．
Center
Normal
Corner
Atom
Features
~
n
n×3
~
n
~
ox
~
oy
~
oz
:(0, 1, … 1, 0)
n×3
n×9
n×92
x
y
z
x
y
z
𝑜
𝑜
:(1, 0, … 1, 0)
:(1, 0, … 0, 1)
原⼦の特徴量はCGCNNと
同じものを⽤いた
説明役割
Center 重⼼の座標三⾓形⾯の位置
Normal
重⼼から⾯と垂直に交わる⻑さ1
の法線ベクトル
三⾓形⾯の向き
Corner 重⼼から各頂点に向けたベクトル三⾓形⾯の形
Atom
Features
下表の特徴量を結合した92次元
のバイナリベクトルの平均値
三⾓形⾯を構成する
原⼦の特徴量

View Slide

提案
3. モデルアーキテクチャの設計
モデルへの⼊⼒データは，三⾓形⾯の特徴量を要素とする集合である．
① 要素の並び替えに対してモデルの出⼒が不変である
② モデルの⼊⼒となる集合の要素数が可変である
モデルの要件
PointNetの設計を採⽤ [Qi 2017]
[Qi 2017] PointNet: Deep Learning on Point Sets for 3D Classiﬁcation and Segmentation
要素数𝑛の集合𝑋 = {𝒙!
, 𝒙"
, … , 𝒙#
}が与えられたとき
モデルの出⼒𝑓(𝑋)は以下の式で表される．
異なる要素数でも
同⼀の次元になる
, , , . . .
① ②
𝒙!
𝒙"
・
・
・
𝒙#
shared weight
重み共有MLP
𝒙′′
MLP
出⼒値
同変性不変性
𝒙!
′
𝒙"
′
・
・
・
𝒙#
′
Global Max
Pooling

View Slide

提案
3. モデルアーキテクチャの設計
[Feng 2019] MeshNet: Mesh Neural Network for 3D Shape Representation
Center
Normal
Corner
Atom
Features
n×3
n×2048
Global Max Pooling
n×32
n×64
n×32
n×3
n×9
n×92
shared weight
MLP (92, 128)
shared weight
MLP (16, 32)
shared weight
MLP (16, 32)
shared weight
MLP (512, 1024, 2048)
n×128
2048
Output
MLP (1024, 512, 256, dimout
) 出典：[Feng 2019]のFigure 4
• 三⾓形の形に関する特徴を抽出できる
• 重み共有MLPと同様に要素の並び替え
に対する同変性を持つため要件を満たす
Face Rotate Convolution [Feng 2019]

View Slide

評価
評価の設定
データセット
ベースライン
• Materials Project※のデータセットを⽤いる．
• ⽋損値を除去したデータのうち，60 %を訓練データ，残りの20 %ずつを検証データ，
テストデータとした．
• 訓練データで学習したモデルのテストデータに対する性能を評価する．
• 評価における⽐較対象としてCGCNNを⽤いる．
※ https://figshare.com/articles/dataset/Materials_Project_Data/7227749
評価項⽬
1. 空間群の分類：提案⼿法が結晶の3次元の構造を捉えられているかの確認
2. 物性の予測：提案⼿法の物性予測の性能の確認

View Slide

評価
1. 空間群の分類
空間群とは，結晶構造の対称性に基づく分類であり，全ての結晶構造は230種類の空間群のうちの
どれか1つに属している．
230クラスの分類問題の分類精度を評価
• 提案⼿法の分類精度はCGCNNを⼤きく上回った．
• この結果は，CGCNNは結晶構造を2次元のグラフで表現しているのに対して，提案⼿法では
3次元のメッシュで表現していることに起因していると考えられる．
• 設計した深層学習モデルは，結晶の3次元構造を捉えられている．
評価結果
訓練データ数
50393
提案⼿法 /%
86.9
CGCNN /%
46.0
結果と考察

View Slide

評価
2. 物性の予測
3つの物性に対する予測を⾏い，平均絶対誤差（MAE）を評価した．
評価結果
結果と考察
• 形成エネルギーにおいて，提案⼿法はCGCNNの予測精度を下回っているもののシミュレーションに
よる計算誤差以下で予測可能である．
• 体積弾性率および剛性率において，提案⼿法はCGCNNと同等以上の予測精度であることを⽰した．
• 提案⼿法で捉えている結晶構造の3次元情報が形成エネルギーなどの電⼦的性質よりも，体積弾性率
や剛性率などの⼒学的性質の予測に寄与していることを⽰唆している．
物性
体積弾性率
剛性率
単位
𝑒𝑉/𝑎𝑡𝑜𝑚
log(𝐺𝑃𝑎)
log(𝐺𝑃𝑎)
訓練データ数
50393
4585
4459
提案⼿法
0.066
0.072
0.128
CGCNN
0.054
0.075
0.132
シミュレーション計算誤差
0.081〜0.136 [Kirklin 2015]
0.050 [Jong 2015]
0.069 [Jong 2015]
[Kirklin 2015] The Open Quantum Materials Database (OQMD): Assessing the Accuracy of DFT Formation Energies
[Jong 2015] Charting the Complete Elastic Properties of Inorganic Crystalline Compounds

View Slide

まとめと今後の展望
結晶構造を3次元メッシュとして捉える深層学習モデルの提案
• 本研究では，結晶構造を3次元メッシュとして表現することに着⽬し，メッシュデータと構成元素に
基づく特徴量を⽤いた物性予測のための深層学習モデルを提案した．
• Materials Projectのデータセットを⽤いた評価の結果，⼀部の物性予測においてCGCNNと同等以上
の精度で予測可能であることを⽰した．
• 今後は，材料科学分野のベンチマークであるMatbenchを⽤いて，より広範な物性および先⾏⼿法と
⽐較評価を⾏うことで、提案⼿法の有⽤性を確認する．
本研究は，科学技術振興機構(JST) CREST JPMJCR19J1の⽀援を受けたものである．ドロネー四⾯体
分割に関する有意義なご意⾒をいただいた産業技術総合研究所の⽇沼洋陽先⽣，富⼭⼤学の秋⼭正和
先⽣，物質・材料研究機構の⾼⽥悠⽒，東京⼤学の平野健太⽒に深く感謝の意を表する．
謝辞

View Slide

3次元メッシュで表現した結晶構造を用いた材料物性の予測に向けた深層学習モデルの設計 / Design of Deep Learning Model for Predicting Material Properties Using Crystal Structure Represented by Three-Dimensional Mesh

3次元メッシュで表現した結晶構造を用いた材料物性の予測に向けた深層学習モデルの設計 / Design of Deep Learning Model for Predicting Material Properties Using Crystal Structure Represented by Three-Dimensional Mesh

tsurubee

More Decks by tsurubee

Other Decks in Research

Featured

Transcript