(2021.11) 機械学習と機械発見：データ中心型の化学・材料科学の教訓とこれから

戣䊛♧㷕 [email protected] 椚⻉㷕灇瑔䨽ꬠ倜濼腉窟さ灇瑔إٝة٦ ⻌嵲麣㣐㷕⻉㷕⿾䘔ⶼ䧭灇瑔䬿挿 *$3F%% 堣唒㷕统ה堣唒涪鋅 ر٦ة⚥䗰㘗ך⻉㷕٥勞俱猰㷕ך侄鎮הֿ׸ַ׵ 2021䎃11剢12傈

戣䊛♧㷕 ׋ָֹ׻ ְ׍ָֻ 堣唒㷕统׾灇瑔׃גְ׷䪮遭㾊رأ ˖ 껺䊛源넝匟䋐欰ת׸ ˖ ։⻌嵲麣㣐䊨㷕灇瑔猰
⽆㡦䊨㷕 ⸋寸㹀⥋〾彁ⴓꨄך鍑ך椚锷ⴓ匿 ˖ ։❨鿪㣐⻉㷕灇瑔䨽讒㷕灇瑔猰 غ؎ؔ؎ٝؿؓوذ؍ؙأإٝة٦⸔侄 ˖ ։⻌嵲麣㣐䞔㜠猰㷕灇瑔猰㣐鋉垷濼陎Ⳣ椚灇瑔㹓Ⲥ侄䱇 ։+45ָֹֽׁ 勞俱؎ٝؿؓوذ؍ؙأ ˖ ։⻌嵲麣㣐㷕⻉㷕⿾䘔ⶼ䧭灇瑔䬿挿 *$3F%% ։椚⻉㷕灇瑔䨽ꬠ倜濼腉窟さ灇瑔إٝة٦ "*1 兛媮כ❨鿪㣐J14稢脄灇הך鸬䵿ٓن!❨ꢻ㣽חְתׅ J14稢脄鸬䵿⼔㷕涸ٔأؙ㔐鼘ث٦ي https://itakigawa.github.io

➙傈ך鑧堣唒㷕统ך⸂ך⯔僇꬗ה农랲꬗ 堣唒㷕统ה堣唒涪鋅ך䪮遭㾊ַ׵鋅׋ر٦ة⚥䗰㘗ך⻉㷕٥勞俱猰㷕ך侄鎮הֿ׸ַ׵ ๏ ⴓ㶨ך邌植㷕统ה(SBQI/FVSBM/FUXPSLT ๏ 䌓秛غ؎،أך鏣鎘הؚٖ؎نحؙأ剑黝⻉ ٓ؎ز؟؎س⯔僇꬗ ت٦ؙ؟؎س农랲꬗ ๏ 繎欰Ꟍ⸬卓ה6OEFSTQFDJDBUJPO
๏ չ✮庠ָדֹ׷ֿהպכչ椚鍑պװչ涪鋅պָדֹ׷ֿה׾䠐㄂׃זְ May the ML force be with you… 堣唒㷕统כչر٦ة׾✮庠ח㢌ִ׷պ䓼⸂זذؙظٗآ٦ 荈搫猰㷕ך㹋植韋ر٦ةד⢪ֲךכְ׹ְ׹慧يؤ ؿؓ٦أ

堣唒㷕统כչر٦ة׾✮庠ח㢌ִ׷պ

堣唒㷕统כչر٦ة׾✮庠ח㢌ִ׷պ ꅾׁ H ה넝ׁ DN ׾庠׷

堣唒㷕统כչر٦ة׾✮庠ח㢌ִ׷պ ꅾׁ H ה넝ׁ DN ׾庠׷ 5 6.25 7.5 8.75
10 90 112.5 135 157.5 180 • • • • • • • • • • ꅾׁ H 넝ׁ DN Ӫ׶׿׀ Ӫ׫ַ׿

10 90 112.5 135 157.5 180 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • ꅾׁ H 넝ׁ DN Ӫ׶׿׀ Ӫ׫ַ׿

10 90 112.5 135 157.5 180 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • ꅾׁ H 넝ׁ DN Ӫ׶׿׀ Ӫ׫ַ׿

10 90 112.5 135 157.5 180 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • ꅾׁ H 넝ׁ DN Ӫ׶׿׀ Ӫ׫ַ׿

10 90 112.5 135 157.5 180 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • ꅾׁ H 넝ׁ DN Ӫ׶׿׀ Ӫ׫ַ׿ 넝ׁ DN ꅾׁ H Ӫ׶׿׀ Ӫ׫ַ׿ ✮庠فؚٗٓي

堣唒㷕统כչر٦ة׾✮庠ח㢌ִ׷պ 鋅劤ر٦ةַ׵⡲׏גְֶ׋✮庠فؚٗٓي Ӫ׶׿׀ Ӫ׫ַ׿ ✮庠فؚٗٓي׾⡲׏׋הֹח鋅ׇ׋鋅劤⢽דכזְ⢽ח㼎׃ג չ׫ַ׿պPSչ׶׿׀պ׾✮庠ׅ׷ֿהָדֹ׷ 5 6.25 7.5 8.75
10 90 112.5 135 157.5 180 • • • • • • • • • • ꅾׁ H 넝ׁ DN 넝ׁ DN ꅾׁ H Ӫ׶׿׀ Ӫ׫ַ׿

堣唒㷕统כչ倜׃ְ ꧟ז ؝ٝؾُ٦ةفؚٗٓيך⡲׶倯պ ♧菙暟⡤钠陎 ؜٦يفٖ؎ ˑ֮׶ָהֲ˒ J’aime la musique I
love music 갈㡮钠陎堣唒缺鏬馄鍑⫷ فؚٗٓيךⰅ⸂ה⳿⸂ךꟼ⤘ָ״ֻⴓַ׵זְ㜥さד׮ծ ׋ֻׁ׿ךⰅ⳿⸂ך鋅劤ر٦ةח״׏ג꟦䱸涸ח׉׸׾ⱄ植דֹ׷فؚٗٓي׾⡲׶⳿ׅ䪮遭

堣唒㷕统כչ倜׃ְ ꧟ז ؝ٝؾُ٦ةفؚٗٓيך⡲׶倯պ ֿך⽃秪ז׃ֻ׫כ♳䩛ח⢪ֲהչ׭׍ׯֻ׍ׯ䓼⸂պדְ׹ְ׹ז嚂׃ְֿה׮דֹ׷

⢽堣唒㷕统ꆀ㶨⻉㷕 input output gdb_21014 1000 猱 Density Functional Theory
(DFT) B3LYP/6-31G(2df, p) <latexit sha1_base64="JI//afsBt1AdIhSgVUbVSGVXtww=">AAACmnichVHLSsNAFD2Nr1pfVREEXQSL4qpMpagIgiiC4qZVq4KVksSxHZomIZkWavAH/AEXrhRcqB/gB7jxB1z0E8SlghsX3qYBUVFvmMyZM/fcOTNXd0zhScYaEaWtvaOzK9od6+nt6x+IDw7teHbVNXjOsE3b3dM1j5vC4jkppMn3HJdrFd3ku3p5pbm/W+OuJ2xrW9YdflDRipY4EoYmiSrER/IlTfprJ2o+4wl1UV0NQCGeYEkWhPoTpEKQQBgZO36HPA5hw0AVFXBYkIRNaPDo20cKDA5xB/CJcwmJYJ/jBDHSVimLU4ZGbJn+RVrth6xF62ZNL1AbdIpJwyWlikn2yK7ZC3tgt+yJvf9ayw9qNL3UadZbWu4UBk5Ht97+VVVolih9qv70LHGE+cCrIO9OwDRvYbT0teOzl62FzUl/il2yZ/J/wRrsnm5g1V6NqyzfPP/Dj05e6MWoQanv7fgJdmaSqdlkOptOLC2HrYpiDBOYpn7MYQlryCBH9X1c4Aa3yriyrKwrG61UJRJqhvEllO0PT6aXZA==</latexit> ˆ H = E ⢽ ♧ꨵ㶨晛ך4DISµEJOHFS倯玎䒭 ,PIOˊ4IBN倯玎䒭 ך実鍑 ꆀ㶨⻉㷕鎘皾 ˖ ⰻ鿇ؒطؘٕ٦ ˖ 荈歋ؒطؘٕ٦ ˖ ئٗ挿䮶⹛ؒطؘٕ٦ ˖ 剑넝鄃⽑鮨麣 )0.0 ˖ 剑⡚瑞鮨麣 -6.0 ˖ ⴓ噰桦 ˖ ⿽噰㶨ٌ٦ًٝز ˖ 攦㺁ꆀ ˖ ؒٝةٕؾ٦

⢽堣唒㷕统ꆀ㶨⻉㷕 input output gdb_21014 1000 猱 Density Functional Theory
(DFT) B3LYP/6-31G(2df, p) <latexit sha1_base64="JI//afsBt1AdIhSgVUbVSGVXtww=">AAACmnichVHLSsNAFD2Nr1pfVREEXQSL4qpMpagIgiiC4qZVq4KVksSxHZomIZkWavAH/AEXrhRcqB/gB7jxB1z0E8SlghsX3qYBUVFvmMyZM/fcOTNXd0zhScYaEaWtvaOzK9od6+nt6x+IDw7teHbVNXjOsE3b3dM1j5vC4jkppMn3HJdrFd3ku3p5pbm/W+OuJ2xrW9YdflDRipY4EoYmiSrER/IlTfprJ2o+4wl1UV0NQCGeYEkWhPoTpEKQQBgZO36HPA5hw0AVFXBYkIRNaPDo20cKDA5xB/CJcwmJYJ/jBDHSVimLU4ZGbJn+RVrth6xF62ZNL1AbdIpJwyWlikn2yK7ZC3tgt+yJvf9ayw9qNL3UadZbWu4UBk5Ht97+VVVolih9qv70LHGE+cCrIO9OwDRvYbT0teOzl62FzUl/il2yZ/J/wRrsnm5g1V6NqyzfPP/Dj05e6MWoQanv7fgJdmaSqdlkOptOLC2HrYpiDBOYpn7MYQlryCBH9X1c4Aa3yriyrKwrG61UJRJqhvEllO0PT6aXZA==</latexit> ˆ H = E ⢽ ♧ꨵ㶨晛ך4DISµEJOHFS倯玎䒭 ,PIOˊ4IBN倯玎䒭 ך実鍑 ػցֶश 0.01 猱 ≈ ⦓넝鸞 ꆀ㶨⻉㷕鎘皾 ˖ ⰻ鿇ؒطؘٕ٦ ˖ 荈歋ؒطؘٕ٦ ˖ ئٗ挿䮶⹛ؒطؘٕ٦ ˖ 剑넝鄃⽑鮨麣 )0.0 ˖ 剑⡚瑞鮨麣 -6.0 ˖ ⴓ噰桦 ˖ ⿽噰㶨ٌ٦ًٝز ˖ 攦㺁ꆀ ˖ ؒٝةٕؾ٦

⢽堣唒㷕统ꆀ㶨⻉㷕 https://qcarchive.molssi.org/apps/ml_datasets/

⢽堣唒㷕统ꆀ㶨⻉㷕 ਅ஋(x࣠) vs ༧ଌ஋(y࣠) by SchNet (Schütt et al, 2017)
ਅ஋(x࣠) vs ༧ଌ஋(y࣠) by DimeNet (Klicpera et al, 2020) Dipole Moment Energy U HOMO LUMO Heat Capacity Enthalpy H Dipole Moment Energy U HOMO LUMO Heat Capacity Enthalpy H 堣唒㷕统ח״׷✮庠כ׭׏׍ׯ䔲׋׷ر٦ةך䲧ִ倯如痥דכ㣐ֹז〳腉䚍ָ֮׷

⢽堣唒㷕统ꆀ㶨⻉㷕 ਅ஋(x࣠) vs ༧ଌ஋(y࣠) by SchNet (Schütt et al, 2017)
ਅ஋(x࣠) vs ༧ଌ஋(y࣠) by DimeNet (Klicpera et al, 2020) Dipole Moment Energy U HOMO LUMO Heat Capacity Enthalpy H Dipole Moment Energy U HOMO LUMO Heat Capacity Enthalpy H ⦓鸞ְז׵ ⼧ⴓ鏩㺁דֹ׷✮庠铎䊴 ֿ׸כذأزر٦ة 鎮箺儗ח 鋅ׇגזְر٦ة ך穠卓堣唒㷕统ח״׷✮庠כ׭׏׍ׯ䔲׋׷ر٦ةך䲧ִ倯如痥דכ㣐ֹז〳腉䚍ָ֮׷

堣唒㷕统כչ倜׃ְ ꧟ז ؝ٝؾُ٦ةفؚٗٓيך⡲׶倯պ 堣唒㷕统ך،ٕ؞ٔؤيך麩ְכ㞮歲简ך䒷ֹ倯ך倯ꆙך׍ְָ׌ֽ ر٦ة Decision Tree Random Forest GBDT
Nearest Neighbor Logistic Regression SVM Gaussian Process Neural Network

堣唒㷕统כչ倜׃ְ ꧟ז ؝ٝؾُ٦ةفؚٗٓيך⡲׶倯պ 㞮歲简ך䒷ֹ倯ך倯ꆙ 䌓秛غ؎،أ ⰻ鿇⾱椚כչ刼꬗ٌرٕպ׾挿חؿ؍حذ؍ؚٝ׃גְ׷׌ֽ

堣唒㷕统כչ倜׃ְ ꧟ז ؝ٝؾُ٦ةفؚٗٓيך⡲׶倯պ ։ך然桦⦼ 1 ⳿⸂SFE 1 ⳿⸂CMVF 1
⳿⸂SFE 㞮歲简ך䒷ֹ倯ך倯ꆙ 䌓秛غ؎،أ ⰻ鿇⾱椚כչ刼꬗ٌرٕպ׾挿חؿ؍حذ؍ؚٝ׃גְ׷׌ֽ

堣唒㷕统כչ倜׃ְ ꧟ז ؝ٝؾُ٦ةفؚٗٓيך⡲׶倯պ Random Forest Gaussian Process Logistic Regression ։ך然桦⦼
1 ⳿⸂SFE 1 ⳿⸂CMVF 1 ⳿⸂SFE 㞮歲简ך䒷ֹ倯ך倯ꆙ 䌓秛غ؎،أ ⰻ鿇⾱椚כչ刼꬗ٌرٕպ׾挿חؿ؍حذ؍ؚٝ׃גְ׷׌ֽ

堣唒㷕统כչ倜׃ְ ꧟ז ؝ٝؾُ٦ةفؚٗٓيך⡲׶倯պ չ刼꬗ٌرٕպךⰻ鿇ػًٓة⦼׾锃侭׃ג鋅劤挿חֲ֮״ֲؿ؍حذ؍ؚׅٝ׷ Random Forest Neural Network SVR Kernel
Ridge p1 p2 p3 p4  刼꬗ٌرٕ

跐駈䋞劄涸ㄎן倯ח״׷䎐䟝ח׀岣䠐׾ 植㖈ך堣唒㷕统כ♧菙ח鸬䟝ׁ׸׷4'涸זչ➂䊨濼腉 "* պהכַז׶ַֽꨄ׸גְ׷ָծ չر٦ة׾✮庠ח㢌ִ׷պ⩎꬗ָ֮ת׶ח䓼⸂ז׋׭ծ猘׋׍ך傈䌢欰崞ַ׵➙䖓ך爡⠓ך ؕةثחתד䕦갟׾⿹ר׉ֲה׃גְ׷˘ չ➂䊨濼腉պչ堣唒㷕统պזוך䋞劄涸ㄎן倯כ劤颵׾ىأٔ٦س׃װְׅךד׀岣䠐׾ wishful mnemonics Why
Is AI So Dumb? A SPECIAL REPORT https://spectrum.ieee.org/ﬁles/11920/10_Spectrum_2021.pdf

帾㾴㷕统ה邌植㷕统 q1 q2 q3 q4  刼꬗ٌرٕ Ⰵ⸂㢌侧垥彊涸ז 堣唒㷕统
Random Forest GBDT Nearest Neighbor SVM Gaussian Process Neural Network

帾㾴㷕统ה邌植㷕统 q1 q2 q3 q4  刼꬗ٌرٕ p1 p2 p3
p4  㢌侧㢌䳔邌植㷕统 <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 Ⰵ⸂㢌侧

p4  㢌侧㢌䳔邌植㷕统 <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 Ⰵ⸂㢌侧 <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 悵㖈㢌侧

p4  㢌侧㢌䳔邌植㷕统 <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 Ⰵ⸂㢌侧 <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 悵㖈㢌侧葺ְ㢌侧ִׁ鋅אַ׸ל ֿֿכءٝفٕד葺ְ 垥彊涸ז 堣唒㷕统

p4  㢌侧㢌䳔邌植㷕统 <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 Ⰵ⸂㢌侧 <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 悵㖈㢌侧帾㾴㷕统葺ְ㢌侧ִׁ鋅אַ׸ל ֿֿכءٝفٕד葺ְ 垥彊涸ז 堣唒㷕统

帾㾴㷕统ה邌植㷕统 https://colah.github.io/posts/2014-03-NN-Manifolds-Topology/ דֹ׷׌ֽ简ד ⴓֽ׵׸׷״ֲח 㢌䳔׾㷕统 ְא׮ֲתְֻֻ הכꣲ׵זְ˘կ ꟦麩ִ׷ה⯋״׶ ꨇ׃ְ㉏겗חז׷ ر٦ة
Decision Tree Random Forest GBDT Nearest Neighbor Logistic Regression SVM Gaussian Process Neural Network

㹋⢽ⴓ㶨٥勞俱ך邌植㷕统ה(SBQI/FVSBM/FUXPSLT زهٗآ ⴓ㶨٥勞俱ך橆㞮勴⟝垥涸湱✼⡲欽˘ ؚٓؿ邌植鴟暴䗙 갥挿暴䗙 p1 p2 p3 
邌植㷕统 Ⰵ⸂䞔㜠ךさ䧭怴皾 q1 q2 q3  刼꬗ٌرٕ

➂꟦ָ罋ִ׋搀侧ךⴓ㶨鎸鶢㶨׾馄ִ׷害欽邌植כ֮׷ַ 珏겲ך鎸鶢㶨ָ鯹׏גְ׷ ˖ %鎸鶢㶨 ˖ DPOTUJUVUJPOBMEFTDSJQUPST ˖ DPVOUEFTDSJQUPST ˖
%鎸鶢㶨 ˖ MJTUPGTUSVDUVSBMGSBHNFOUT ˖ GJOHFSQSJOUT ˖ %鎸鶢㶨 ˖ HSBQIJOWBSJBOUT ˖ %鎸鶢㶨 ˖ %.P34& 8)*. (&5"8": ˖ RVBOUVNDIFNJDBMEFTDSJQUPST ˖ TJ[F TUFSJD TVSGBDF WPMVNF FUD ˖ %鎸鶢㶨 ˖ (3*% $P.'" 7PMTVSG %3"(0/ ⦐ך鎸鶢㶨׾鎘皾׃גֻ׸׷ ㉀欽ך鎸鶢㶨اؿزؐؑ، ˖ 㹋꿀涸ז鎘庠ꆀ ˖ 鎘皾涸ז鎸鶢㶨 ؔ٦فٝا٦أؿٖ٦يٙ٦ؙ • Descriptors • Descriptors3D • GraphDescriptors • Fingerprints • ChemicalFeatures • ChemicalForceFields rdkit.Chem rdkit.ML.Descriptors Todeschini and Consonni, Molecular Descriptors for Chemoinformatics. Wiley‐VCH, 2009. https://doi.org/10.1002/9783527628766

ⴓ㶨ךؚٓؿ邌植 explicit Hs ❗ atom features bond features topology Molecular
Graph read out graph-level output • sum, mean or max • attentive pooling CID 204 • atomic_num (one-hot, 101) • total_degree (one-hot, 7) • formal_charge (one-hot, 6) • chiral_tag (one-hot, 5) • num_Hs (one-hot, 6) • hybridization (one-hot, 6) • is_aromatic (binary, 1) • atomic_mass (real, 1) 17 edge(bond) features • no_bond (binary, 1) • is_single (binary, 1) • is_double (binary, 1) • is_triple (binary, 1) • is_aromatic (binary, 1) • is_connjugated (binary, 1) • is_in_ring (binary, 1) • stereo (one-hot, 7) 17 14 133 node(atom) features 133 features 14 features $IFN1SPQ :BOHFUBM ך暴䗙ꆀך⢽ atoms → nodes bonds → edges 1 2 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 1. ஔ׵ෆมੑ 2. ஔ׵ಉมੑ ה挿ה简ד䬄韋⻉ぐ挿הぐ简ח暴䗙ꆀ׾➰♷ ֿך殢〾➰ֽך䛬䠐䚍ד 穠卓ָ㢌׻׵זְ״ֲח

(SBQI/FVSBM/FUXPSLT N O C C C C H H H
H H N O C C C C H H H H H GNN Layer Ԯ ԮMessage 縧䳔ず㢌ז乼⡲ ˖ OO-JOFBSזו 鴟暴䗙ꆀכⰩ㘗涸חכ ֿךԮד⢪ֲ ԯ • sum, mean or max • attentive pooling ԯAggregate 縧䳔♶㢌ז乼⡲ <latexit sha1_base64="rQGx6XMOvsCjXRp7b9gbmKjgm1M=">AAAC/HichVHNTttAEB4b2tI0lNBeKnGxiKiChKJNhVrUU1QuPaHwE0DCkbU2m3jD+kfrTVBquQ/AC3DgVNQeEOIKD9BLX4ADBx4AcUylXnroxHEVtah0LHu//Wa+8bc7dih4pAi50vSx8QcPH008zj3JTz6dKkw/24yCjnRY3QlEILdtGjHBfVZXXAm2HUpGPVuwLXtveZDf6jIZ8cDfUL2QNTza8nmTO1QhZRX2TduL3cTihilYU1Epg33DDKNsX/qdXsiZNm8FoehEVtw2TO4bpkeV61ARr2A+QZHLjVG9kaH2ELHEink7mc+ZkrdcNW8ViqRM0jDugkoGipBFLShcgAm7EIADHfCAgQ8KsQAKET47UAECIXINiJGTiHiaZ5BADrUdrGJYQZHdw28LdzsZ6+N+0DNK1Q7+ReArUWnAHLkkJ6RPvpFTckN+/rNXnPYYeOnhag+1LLSmDl6s//ivysNVgTtS3etZQROWUq8cvYcpMziFM9R3Pxz219+uzcUvyTG5Rf+fyBX5iifwu9+dL6ts7egePzZ6wRvDAVX+HsddsPmqXHldXlxdLFbfZaOagBmYhRLO4w1U4T3UoI79r7UxLa9N6h/1z/qpfjYs1bVM8xz+CP38F+WDvZo=</latexit> hi 0 @hi, M j2Ni (hi, hj, eij) 1 A 鵚⩸ַ׵ךˑ.FTTBHF1BTTJOH˒ד刿倜 <latexit sha1_base64="+I1ZH8a510AHL/VRK05INyOdDHc=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTdmheJGmhhv6ASzcu6kbBhfgBfoAbf8BFP0FcVnDjwps0IFqsN0zmzJl77pyZK+oyMy1CBj5uanpmds4/H1hYDC6FwssrBVNrGxLNS5qsGSVRMKnMVJq3mCXTkm5QQRFlWhRbR85+sUMNk2nqqdXVaVURGiqrM0mwkCpVRMVu9mqsFo6SOHEjMg54D0TBi7QWfoQKnIEGErRBAQoqWIhlEMDErww8ENCRq4KNnIGIufsUehBAbRuzKGYIyLbw38BV2WNVXDs1TVct4SkyDgOVEYiRF3JPhuSZPJBX8vlnLdut4Xjp4iyOtFSvhS7Wch//qhScLWh+qyZ6tqAO+65Xht51l3FuIY30nfOrYS6Zjdmb5Ja8of8bMiBPeAO18y7dZWi2P8GPiF7wxbBB/O92jIPCdpzfjScyiWjq0GuVH9ZhA7awH3uQghNIQ97twyX04ZoLcjtckjsYpXI+T7MKP4I7/gL6JJMZ</latexit> hi <latexit sha1_base64="iVE2zwSrY7uMFp5lULN8y4s7ZXg=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZSKkiiEU3XfZhH9CWksSpjs2LJC3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPCmzQgWqw3TObMmXvunJkrGQqzbEJ6AW5sfGJyKjgdmpmdmw/zC4tFS2+ZMi3IuqKbZUm0qMI0WrCZrdCyYVJRlRRakpr77n6pTU2L6dqB3TFoTRWPNNZgsmgjValKqkO7dYeddOt8lMSJF5FhIPggCn5kdP4RqnAIOsjQAhUoaGAjVkAEC78KCEDAQK4GDnImIubtU+hCCLUtzKKYISLbxP8Rrio+q+HarWl5ahlPUXCYqIxAjLyQe9Inz+SBvJLPP2s5Xg3XSwdnaaClRj18tpz/+Fel4mzD8bdqpGcbGrDleWXo3fAY9xbyQN8+vejnt3MxZ43ckjf0f0N65AlvoLXf5bsszV2O8COhF3wxbJDwux3DoLgRF5LxRDYRTe35rQrCCqzCOvZjE1KQhgwUvBc9hyu45nguye1wu4NULuBrluBHcOkvYEmUlg==</latexit> eij 갥挿暴䗙ꆀ 鴟暴䗙ꆀ ԰ ԰Update ˖ OO-JOFBSזו 剣ぢ鴟♳ד暴䗙ꆀ׾刿倜׃גַ׵갥挿暴䗙ꆀפさ䧭ׅ׷ غٔؒ٦ءّٝ %JSFDUFE.1// כ֮׷ָֿ׸ָ㛇劤䕎

7JSUVBM4DSFFOJOH 24"32413 https://pubchem.ncbi.nlm.nih.gov/bioassay/1

7JSUVBM4DSFFOJOH 24"32413 input output ML BDUJWJUZˑ"DUJWF˒ ⴓ겲 -PH(* 㔐䌓
CID 11978790 GI50: concentration required for 50% inhibition of growth

7JSUVBM4DSFFOJOH 24"32413 ChemProp (Directed MPNN) ExtraTrees w/ ECFP6(1024) Standard ML
GNN Stokes et al, Cell (2020) https://doi.org/10.1016/j.cell.2020.01.021 Marchant, Nature (2020) https://doi.org/10.1038/d41586-020-00018-3 ChemProp (Yang et al, 2019) from MIT MLPDS (Machine Learning for Pharmaceutical Discovery and Synthesis) Consortium 95.079% (Active/Inactive) 95.604% (Active/Inactive) ˖ ✮庠礵䏝 ⴓ겲 ˖ ✮庠礵䏝 ⴓ겲 RMSE 0.6076 RMSE 0.7970 ˖ ✮庠礵䏝㔐䌓 ˖ ✮庠礵䏝㔐䌓鴟♳ד刿倜ׅ׷ ءٝفٕז(//

&$'1ה/FVSBM(SBQI'JOHFSQSJOU ˖ /FVSBM(SBQI'JOHFSQSJOU剑ⴱ劍ח䲿周ׁ׸׋(//ך♧א ˖ &$'1 $JSDVMBS'JOHFSQSJOU ך'JOHFSQSJOU鎘皾׾ػًٓة׾䭯א䗍ⴓ〳腉ז 怴皾ד剅ֹ湫ֿׅהד䖤׵׸׷㷕统〳腉ז'JOHFSQSJOUהְֲ⡘縧בֽ Duvenaud, Maclaurin,
Aguilera-Iparraguirre, Gómez-Bombarell, Hirzel, Aspuru-Guzik, Adams, Convolutional networks on graphs for learning molecular ﬁngerprints. NIPS (2015)

("5ה5SBOTGPSNFS㘗(// (Multihead) Self-attention Feed-forward NN Add + LayerNorm Add +
LayerNorm ˖ ぐ갥挿ך暴䗙كؙزٕ׾刿倜ׅ׷ꥷח"UUFOUJPO׾Ⰵ׸׋ְ ˖ 5SBOTGPSNFSכزهٗآⵖ秈ךזְ(SBQI"UUFOUJPO/FUXPSL ("5 㢌珏ה׫זׇ׷ ˖ 鷞ח׮׍׹׿5SBOTGPSNFS㘗ך4FMG"UUFOUJPO׾(//ח׮׍ֿ׬ֿה׮דֹ׷ Transformer GNN Layer ⡂גְ׷˘ Embedding + Pos Encoding A Generalization of Transformer Networks to Graphs Dwivedi & Bresson (2020) https://arxiv.org/abs/2012.09699 Do Transformers Really Perform Bad for Graph Representation? Ying et al (2021) https://arxiv.org/abs/2106.05234 Communicative Representation Learning on Attributed Molecular Graphs Song et al (2020) https://www.ijcai.org/proceedings/2020/0392.pdf Graph-BERT: Only Attention is Needed for Learning Graph Representations Zhang et al (2020) https://arxiv.org/abs/2001.05140 Ying et al (2021) ͷGraphormer͸KDDCup 2021ͷ Graph-levelλεΫͷ༏উϞσϧͰ࢖ΘΕͨ ✲⵸㷕统ָ⸬ַזְהׁ׸׋/-1װ $//♧䫛ַח鋅ִ׋$7׾㢌ꬠ׃גֹ׋ 5SBOTGPSNFSכⴓ㶨ةأؙ׮㢌ִ׷ךַ

㼭؟ٝفٕ㉏겗ך⯘剪ⴓ㶨邌植ך✲⵸㷕统ה鯄獳㷕统 ˖ 5SBOTGPSNFSפךꟼ䗰כ4FMG4VQFSWJTFEז㣐鋉垷✲⵸㷕统ה鯄獳פך劍䖉ך植׸ ˖ ׮׃害欽ךⴓ㶨邌植׾㣐鋉垷✲⵸㷕统ח״׶栻䖤׃'FXTIPU;FSPTIPU鯄獳ָדֹ׷ךז׵岚⿹⸬卓כ 鎘׶濼׸זְ DG$7ך*NBHF/FUQSFUSBJOFE$//װ/-1ך#&35瘝 Strategies for Pre-training
Graph Neural Networks Hu, Liu, Gomes, Zitnik, Liang, Pande, Leskovec (ICLR 2020) https://arxiv.org/abs/1905.12265 Self-Supervised Graph Transformer on Large-Scale Molecular Data Rong, Bian, Xu, Xie, Wei, Huang, Huang (NeurIPS 2020) https://arxiv.org/abs/2007.02835 4FMG4VQFSWJTFEזךד 㣐鋉垷ر٦ةָ֮׸ל 侄䌌ٓكٕ➰ָֽ♶銲 ✲⵸㷕统׃׋ⴓ㶨邌植כ 圫ղז♴崧ةأؙד鯄獳 ˖ 㢳圫זⴓ겲٥㔐䌓 ˖ ⴓ㶨欰䧭

ⴓ㶨邌植ך欰䧭(FOFSBUJWF$IFNJTUSZ ˖ ׮ֲמהאךⴓ㶨ך邌植㷕统פך劍䖉כⴓ㶨ؚٓؿװⴓ㶨圓鸡ך欰䧭 ˖ %FDPEFSָꬊ荈僇ծ圓䧭䚍ٌآُ٦ٕ䚍װ⻉㷕涸ٕ٦ٕ׮罋䣁׃זְה䠐㄂ךזְ⳿⸂חז׶䖤׷ ˖ 俑㶵⴨邌植 4.*-&4鎸岀 ַ׵ך欰䧭כ湫䱸涸זךדؚٓؿ邌植ך⮚⡘䚍׮銲嗚鏾 https://arxiv.org/abs/2012.15544

0(#-BSHF4DBMF$IBMMFOHF ,%%$VQ 1st place: 10 GNNs (12-Layer Graphormer) + 8
ExpC*s (5-Layer ExpandingConv) Test MAE 0.1200 (eV) 73 GNNs (11-Layer LiteGEMConv with Self-Supervised Pretraining) 2nd place:Test MAE 0.1204 (eV) 20 GNNs (32-Layer GNN with Noisy Nodes) 3rd place: Test MAE 0.1205 (eV) %ךⴓ㶨ؚٓؿַ׵ꆀ㶨⻉㷕鎘皾 %'5鎘皾 ד実׭׋)0.0-6.0ٍؘحف׾✮庠ׅ׷ةأؙ Results: https://ogb.stanford.edu/kddcup2021/results/#awardees_pcqm4m https://ogb.stanford.edu/kddcup2021/ ر٦ةإحز1VC$IFN2$ַ׵ ؚٓؿ DG2.כ ؚٓؿ

堣唒㷕统ך植➿涸⩎꬗΍Ⰵ⸂㢌侧ָ׭׏׍ׯ㢳ְ˘ p1 p2 p3 p4  刼꬗ٌرٕ 〸ך窩׾滗׭׷הծ堣唒㷕统ָխהխ⟃㢩ך Ⰵ⸂ׁ׸גזְ䞔㜠׾Ⰻֻ罋䣁׃גֻ׸זְֿהכ♧湡澗搫 ⳿⸂ך✮庠ח劤䔲כ䗳銲ז䞔㜠׾Ⰵ⸂׃גְזַ׏׋׵
堣唒㷕统כ亻⡂湱ꟼח麓ֺ׆⡦׮劤颵׾䯝ִ׵׸זְ spurious correlation

堣唒㷕统ך植➿涸⩎꬗΍Ⰵ⸂㢌侧ָ׭׏׍ׯ㢳ְ˘ p1 p2 p3 p4  刼꬗ٌرٕ 〸ך窩׾滗׭׷הծ堣唒㷕统ָխהխ⟃㢩ך Ⰵ⸂ׁ׸גזְ䞔㜠׾Ⰻֻ罋䣁׃גֻ׸זְֿהכ♧湡澗搫 ⳿⸂ך✮庠ח劤䔲כ䗳銲ז䞔㜠׾Ⰵ⸂׃גְזַ׏׋׵
堣唒㷕统כ亻⡂湱ꟼח麓ֺ׆⡦׮劤颵׾䯝ִ׵׸זְ spurious correlation 堣唒㷕统⻉㷕أة٦زٓ؎ٝדךאתבֹ ˖ 㢳ֻך㜥さծꟼ䗰ך⳿⸂׾䖤׷׋׭ח䗳銲⼧ⴓזⰅ⸂ָ⡦ זךַכ״ֻⴓַ׵זְ ˖ הְֲַծ׉׮׉׮״ֻⴓַ׵זְַ׵堣唒㷕统׾⢪ְ׋ְկ זךחծ堣唒㷕统ֲָתְֻֻ׋׭חכו׿זⰅ⸂ָ䗳銲ַ 椚鍑׃גֶֻ䗳銲ָ֮׷׏גוײֿה "

堣唒㷕统ך植➿涸⩎꬗΍Ⰵ⸂㢌侧ָ׭׏׍ׯ㢳ְ˘ 䗳搫涸חչ㼰׃ד׮ꟼ⤘֮׶׉ֲז䞔㜠כⰅ⸂׃גպ邌植㷕统דꅾ銲ז׮ך׾䃓ⴽהְֲ䨌殛ח q1 q2 q3 q4  刼꬗ٌرٕ <latexit sha1_base64="mpuRLmJhhTRKlPt+QsNIZJRw5HU=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQkTiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVTU21Hca6PmFsfGJyyj8dmJmdmw+GFhbzttGwFJ5TDM2wirJkc03Vec5RHY0XTYtLdVnjBbm2198vNLllq4Z+4LRMXq5LVV09VhXJISp7WhEroQiLMTfCw0D0QARepIzQIw5xBAMKGqiDQ4dDWIMEm74SRDCYxJXRJs4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq37NW1XrdApGg2LlGFE2Qu7Zz32zB7YK/v8s1bbrdH30qJZHmi5WQleLGc//lXVaXZw8q0a6dnBMbZdryp5N12mfwtloG+edXrZnUy0vcZu2Rv5v2Fd9kQ30Jvvyl2aZ65H+JHJC70YNUj83Y5hkN+IiVuxeDoeSe56rfJjBatYp34kkMQ+UshR/SoucYWO4BdiwqaQGKQKPk+zhB8hJL8AVLKQnA==</latexit>
x1 <latexit sha1_base64="C1ohMOVeKO2tnLKPo8dfEeHHC5o=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtISLxB0zcysKVJi6MH+AHuPEHXPAJxiUmblx4KU2MEvE20zlz5p47Z+ZKhqpYNmM9jzAxOTU94531zc0vLPoDS8t5S2+aMs/JuqqbRUm0uKpoPGcrtsqLhsnFhqTyglTfH+wXWty0FF07tNsGLzfEmqZUFVm0icqeVmKVQIhFmBPBURB1QQhupPTAI45wDB0ymmiAQ4NNWIUIi74SomAwiCujQ5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPalqOWqZTVBomKYMIsxd2z/rsmT2wV/b5Z62OU2PgpU2zNNRyo+K/WM1+/Ktq0Gzj5Fs11rONKnYcrwp5NxxmcAt5qG+ddfvZ3Uy4s8Fu2Rv5v2E99kQ30Frv8l2aZ67H+JHIC70YNSj6ux2jIB+LRLcj8XQ8lNxzW+XFGtaxSf1IIIkDpJCj+jVc4gpdwStEhC0hMUwVPK5mBT9CSH4BVtKQnQ==</latexit> x2 <latexit sha1_base64="80tKy5O2X9pRix5cNVQWm3Mk5KI=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCKDQTGuiG5c8pBHgoS0ZcCG0jZtISLxB0zcysKVJi6MH+AHuPEHXPAJxiUmblx4KU2MEvE20zlz5p47Z+ZKhqpYNmM9jzAxOTU94531zc0vLPoDS8s5S2+aMs/KuqqbBUm0uKpoPGsrtsoLhsnFhqTyvFQ/GOznW9y0FF07stsGLzXEmqZUFVm0icqclivlQIhFmBPBURB1QQhuJPXAI45RgQ4ZTTTAocEmrEKERV8RUTAYxJXQIc4kpDj7HOfwkbZJWZwyRGLr9K/RquiyGq0HNS1HLdMpKg2TlEGE2Qu7Z332zB7YK/v8s1bHqTHw0qZZGmq5UfZfrGY+/lU1aLZx8q0a69lGFbuOV4W8Gw4zuIU81LfOuv3MXjrc2WC37I3837Aee6IbaK13+S7F09dj/EjkhV6MGhT93Y5RkNuKRHcisVQslNh3W+XFGtaxSf2II4FDJJGl+jVc4gpdwStEhG0hPkwVPK5mBT9CSHwBwRKQzw==</latexit> xd p1 p2 p3 p4  㢌侧㢌䳔邌植㷕统  ׋ֻׁ׿ך Ⰵ⸂㢌侧

堣唒㷕统ך植➿涸⩎꬗΍Ⰵ⸂㢌侧ָ׭׏׍ׯ㢳ְ˘ 䗳搫涸חչ㼰׃ד׮ꟼ⤘֮׶׉ֲז䞔㜠כⰅ⸂׃גպ邌植㷕统דꅾ銲ז׮ך׾䃓ⴽהְֲ䨌殛ח q1 q2 q3 q4  刼꬗ٌرٕ <latexit sha1_base64="mpuRLmJhhTRKlPt+QsNIZJRw5HU=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQkTiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVTU21Hca6PmFsfGJyyj8dmJmdmw+GFhbzttGwFJ5TDM2wirJkc03Vec5RHY0XTYtLdVnjBbm2198vNLllq4Z+4LRMXq5LVV09VhXJISp7WhEroQiLMTfCw0D0QARepIzQIw5xBAMKGqiDQ4dDWIMEm74SRDCYxJXRJs4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq37NW1XrdApGg2LlGFE2Qu7Zz32zB7YK/v8s1bbrdH30qJZHmi5WQleLGc//lXVaXZw8q0a6dnBMbZdryp5N12mfwtloG+edXrZnUy0vcZu2Rv5v2Fd9kQ30Jvvyl2aZ65H+JHJC70YNUj83Y5hkN+IiVuxeDoeSe56rfJjBatYp34kkMQ+UshR/SoucYWO4BdiwqaQGKQKPk+zhB8hJL8AVLKQnA==</latexit>
x1 <latexit sha1_base64="C1ohMOVeKO2tnLKPo8dfEeHHC5o=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtISLxB0zcysKVJi6MH+AHuPEHXPAJxiUmblx4KU2MEvE20zlz5p47Z+ZKhqpYNmM9jzAxOTU94531zc0vLPoDS8t5S2+aMs/JuqqbRUm0uKpoPGcrtsqLhsnFhqTyglTfH+wXWty0FF07tNsGLzfEmqZUFVm0icqeVmKVQIhFmBPBURB1QQhupPTAI45wDB0ymmiAQ4NNWIUIi74SomAwiCujQ5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPalqOWqZTVBomKYMIsxd2z/rsmT2wV/b5Z62OU2PgpU2zNNRyo+K/WM1+/Ktq0Gzj5Fs11rONKnYcrwp5NxxmcAt5qG+ddfvZ3Uy4s8Fu2Rv5v2E99kQ30Frv8l2aZ67H+JHIC70YNSj6ux2jIB+LRLcj8XQ8lNxzW+XFGtaxSf1IIIkDpJCj+jVc4gpdwStEhC0hMUwVPK5mBT9CSH4BVtKQnQ==</latexit> x2 <latexit sha1_base64="80tKy5O2X9pRix5cNVQWm3Mk5KI=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCKDQTGuiG5c8pBHgoS0ZcCG0jZtISLxB0zcysKVJi6MH+AHuPEHXPAJxiUmblx4KU2MEvE20zlz5p47Z+ZKhqpYNmM9jzAxOTU94531zc0vLPoDS8s5S2+aMs/KuqqbBUm0uKpoPGsrtsoLhsnFhqTyvFQ/GOznW9y0FF07stsGLzXEmqZUFVm0icqclivlQIhFmBPBURB1QQhuJPXAI45RgQ4ZTTTAocEmrEKERV8RUTAYxJXQIc4kpDj7HOfwkbZJWZwyRGLr9K/RquiyGq0HNS1HLdMpKg2TlEGE2Qu7Z332zB7YK/v8s1bHqTHw0qZZGmq5UfZfrGY+/lU1aLZx8q0a69lGFbuOV4W8Gw4zuIU81LfOuv3MXjrc2WC37I3837Aee6IbaK13+S7F09dj/EjkhV6MGhT93Y5RkNuKRHcisVQslNh3W+XFGtaxSf2II4FDJJGl+jVc4gpdwStEhG0hPkwVPK5mBT9CSHwBwRKQzw==</latexit> xd p1 p2 p3 p4  㢌侧㢌䳔邌植㷕统  ׋ֻׁ׿ך Ⰵ⸂㢌侧 ⢽չ歗⫷ח⡦ָⱖ׏גְ׷ַպז׵歗⫷ךぐؾؙإٕך鰛䏝⦼׾Ⰻ鿇׉ךתתⰅ׸׷ ؾؙإٕךؕٓ٦歗⫷כ ⦐ך侧⦼ך֮את׶ խխ̔ 㢌侧 ̔ 㢌侧 ⾱葿邌植

堣唒㷕统ך植➿涸⩎꬗Ύⰻ鿇ػًٓةך侧׮娤טקו㢳ְ˘ 3FT/FU♰ػًٓة 3FT/FU♰ػًٓة &DJFOU/FU#♰ػًٓة 7((⭙♰ػًٓة MBZFS IFBET#&35⭙♰ػًٓة MBZFS IFBET#&35⭙♰ػًٓة (159-⭙♰ػًٓة
(15⭙ػًٓة 植➿ך堣唒㷕统ך䪮遭灇瑔ָぢֹさֲ鏣㹀 ⭙⦐ךػًٓة⦼׾䭯אٌرٕ׾侧⼧♰ך㢌侧׾䭯א侧⼪♰⦐ךر٦ةחؿ؍حذ؍ؚٝ 넝如⯋ךⰅ⳿⸂ꟼ⤘ָוך״ֲז׮ךד֮׏ג׮邌植ׅ׷׋׭ػًٓة侧׮娤טקו㢳ְ q1 q2 q3 q4  刼꬗ٌرٕ <latexit sha1_base64="mpuRLmJhhTRKlPt+QsNIZJRw5HU=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQkTiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVTU21Hca6PmFsfGJyyj8dmJmdmw+GFhbzttGwFJ5TDM2wirJkc03Vec5RHY0XTYtLdVnjBbm2198vNLllq4Z+4LRMXq5LVV09VhXJISp7WhEroQiLMTfCw0D0QARepIzQIw5xBAMKGqiDQ4dDWIMEm74SRDCYxJXRJs4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq37NW1XrdApGg2LlGFE2Qu7Zz32zB7YK/v8s1bbrdH30qJZHmi5WQleLGc//lXVaXZw8q0a6dnBMbZdryp5N12mfwtloG+edXrZnUy0vcZu2Rv5v2Fd9kQ30Jvvyl2aZ65H+JHJC70YNUj83Y5hkN+IiVuxeDoeSe56rfJjBatYp34kkMQ+UshR/SoucYWO4BdiwqaQGKQKPk+zhB8hJL8AVLKQnA==</latexit> x1 <latexit sha1_base64="C1ohMOVeKO2tnLKPo8dfEeHHC5o=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtISLxB0zcysKVJi6MH+AHuPEHXPAJxiUmblx4KU2MEvE20zlz5p47Z+ZKhqpYNmM9jzAxOTU94531zc0vLPoDS8t5S2+aMs/JuqqbRUm0uKpoPGcrtsqLhsnFhqTyglTfH+wXWty0FF07tNsGLzfEmqZUFVm0icqeVmKVQIhFmBPBURB1QQhupPTAI45wDB0ymmiAQ4NNWIUIi74SomAwiCujQ5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPalqOWqZTVBomKYMIsxd2z/rsmT2wV/b5Z62OU2PgpU2zNNRyo+K/WM1+/Ktq0Gzj5Fs11rONKnYcrwp5NxxmcAt5qG+ddfvZ3Uy4s8Fu2Rv5v2E99kQ30Frv8l2aZ67H+JHIC70YNSj6ux2jIB+LRLcj8XQ8lNxzW+XFGtaxSf1IIIkDpJCj+jVc4gpdwStEhC0hMUwVPK5mBT9CSH4BVtKQnQ==</latexit> x2 <latexit sha1_base64="80tKy5O2X9pRix5cNVQWm3Mk5KI=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCKDQTGuiG5c8pBHgoS0ZcCG0jZtISLxB0zcysKVJi6MH+AHuPEHXPAJxiUmblx4KU2MEvE20zlz5p47Z+ZKhqpYNmM9jzAxOTU94531zc0vLPoDS8s5S2+aMs/KuqqbBUm0uKpoPGsrtsoLhsnFhqTyvFQ/GOznW9y0FF07stsGLzXEmqZUFVm0icqclivlQIhFmBPBURB1QQhuJPXAI45RgQ4ZTTTAocEmrEKERV8RUTAYxJXQIc4kpDj7HOfwkbZJWZwyRGLr9K/RquiyGq0HNS1HLdMpKg2TlEGE2Qu7Z332zB7YK/v8s1bHqTHw0qZZGmq5UfZfrGY+/lU1aLZx8q0a69lGFbuOV4W8Gw4zuIU81LfOuv3MXjrc2WC37I3837Aee6IbaK13+S7F09dj/EjkhV6MGhT93Y5RkNuKRHcisVQslNh3W+XFGtaxSf2II4FDJJGl+jVc4gpdwStEhG0hPkwVPK5mBT9CSHwBwRKQzw==</latexit> xd p1 p2 p3 p4  㢌侧㢌䳔邌植㷕统  ׋ֻׁ׿ך Ⰵ⸂㢌侧

穠卓ծ植㖈ך堣唒㷕统ٌرٕכ،م׫׋ְחر٦ة׾굸ֲ˘ ˖ ⡦ד׮ַ׿ד׮Ⰵ⸂㢌侧חⰅ׸תֻ׷Ⰻ鿇Ⰵ׶ٌرٕכչؗحثٝءؙٝ㔐䌓պה䴅䲪ׁ׸ ⠗窟涸ז䘔欽窟鎘㷕דכةـ٦׌׏׋˘ 麓黝さךٔأָؙ㣐ֹֺׅג葺ְֿהזְַ׵ ˖ 葺䚍ך麓黝さչؽحؚر٦ةպדכ麓黝さ荈⡤ָ׉׮׉׮ꨇ׃ְךד孡ח׃זְ甧㜥׮ ءّنְ钠濼腉⸂ךֶתִ׵➂꟦חה׏׋׵չؽحؚպر٦ةַ׮׃׵׿ֽוծ مٝوח䗳銲ז䞔㜠ꆀַ׵׃׋׵عشؙا׫׋ְז׮׿װזխ
CZر؍٦فٓ٦صؚٝ圫堣唒㷕统⻉㷕椚锷٥悵㖈涸〳腉䚍ה植㹋ך㣐ֹזٍؘحف 植➿ך堣唒㷕统כ䓼⸂ד葺ְر٦ةָ⼧ⴓח֮׸ל醱꧟זⰅ⳿⸂ꟼ⤘ד׮㷕统דֹ׷ 植㹋חכծ鍑瑞꟦ך䎢ַׁ׵罋ִ׸לչؽحؚر٦ةպדׅ׵չ⼧ⴓպך宏彊חכקו黅ְ˘

繎欰Ꟍ⸬卓ה6OEFSTQFDJGJDBUJPO 繎欰Ꟍ⸬卓葺ְ堣唒㷕统ٌرٕך㢳ꅾ䚍 ꬊ♧䠐䚍ずׄ鋅劤⢽ر٦ةַ׵ず玎䏝ך넝ְ✮庠礵䏝׾䭯א葺ְ堣唒㷕统ٌرٕכ搀侧ח⡲׸׷ ⾱㔓Ⰵ⸂㢌侧ך鼅ן倯ծٌرٕך鼅䫛װ鏣鎘ծⴱ劍⦼ך麩ְծػًٓةך㢳ꅾ䚍ծ˘

繎欰Ꟍ⸬卓ה6OEFSTQFDJGJDBUJPO 繎欰Ꟍ⸬卓葺ְ堣唒㷕统ٌرٕך㢳ꅾ䚍 ꬊ♧䠐䚍ずׄ鋅劤⢽ر٦ةַ׵ず玎䏝ך넝ְ✮庠礵䏝׾䭯א葺ְ堣唒㷕统ٌرٕכ搀侧ח⡲׸׷ ⾱㔓Ⰵ⸂㢌侧ך鼅ן倯ծٌرٕך鼅䫛װ鏣鎘ծⴱ劍⦼ך麩ְծػًٓةך㢳ꅾ䚍ծ˘ ˖ 植韋ךչ椚鍑պך׋׭栻䖤׃׋堣唒㷕统ٌرٕ׾ⴓ匿׃ג爙㇗׾䒷ֹ⳿׉ֲהׅ׷הֹך 剑㣐ךꥺ㹱կ溪㹋㄂׾䌒ן׋鍑ꅸָ搀侧ח֮׷ֿהחז׶תׁח溪㹋כչ谞ך⚥պ˘ ˖ ׁ׵ח㹋ꥷכ劤颵涸חر٦ةָ駈׶גזְ
6OEFSTQFDJDBUJPO ֿהד㢳ꅾ䚍כׁ׵ח䝤⻉ ׌ְ׋ְך倯岀ד겲⡂ 䩛岀װٌرٕח״׏ג✮庠儗ך䮙⹛חַז׶䊴ָ⳿ג׃תֲ

植➿ך䪮遭涸ꟼ䗰כֿך넝如⯋䚍׾וֲ䩛䥿ֽ׷ַ 然桦涸剑黝⻉٥姻⵱⻉ ✲⵸㷕统 8BSN4UBSU ך鯄獳 ٌرָٕ㣐ְֹ荈歋䏝ך⚥ד凐׸תֻ׵זְ״ֲ ⹛ֽ׷眔㔲׾⡦הַ׃גⵖ䖴٥ⵖꣲ٥㸜㹀⻉ׅ׷ ✲⵸ח䱱׃גְֶ׋葺ְ䠬ׄךػًٓةⴱ劍⦼׾⢪ֲ

植➿ך䪮遭涸ꟼ䗰כֿך넝如⯋䚍׾וֲ䩛䥿ֽ׷ַ 然桦涸剑黝⻉٥姻⵱⻉ ✲⵸㷕统 8BSN4UBSU ך鯄獳 ٌرָٕ㣐ְֹ荈歋䏝ך⚥ד凐׸תֻ׵זְ״ֲ ⹛ֽ׷眔㔲׾⡦הַ׃גⵖ䖴٥ⵖꣲ٥㸜㹀⻉ׅ׷ p1
p2 p3 p4  刼꬗ٌرٕ 刼꬗ٌرָٕו׿זⰅ⳿⸂ꟼ⤘ד׮邌植דֹ׷ֿהָ鷞ח 亻⡂湱ꟼװ6OEFSTQFDJDBUJPOך㉏겗׾䝤⻉ׇׁגְ׷ 䌓秛غ؎،أך鏣鎘 ✲⵸ח䱱׃גְֶ׋葺ְ䠬ׄךػًٓةⴱ劍⦼׾⢪ֲ

植➿ך䪮遭涸ꟼ䗰כֿך넝如⯋䚍׾וֲ䩛䥿ֽ׷ַ 然桦涸剑黝⻉٥姻⵱⻉ ✲⵸㷕统 8BSN4UBSU ך鯄獳 ٌرָٕ㣐ְֹ荈歋䏝ך⚥ד凐׸תֻ׵זְ״ֲ ⹛ֽ׷眔㔲׾⡦הַ׃גⵖ䖴٥ⵖꣲ٥㸜㹀⻉ׅ׷ ⻉㷕涸ח㧅䔲䚍׾妀ֻ״ֲזٌرָٕ䠐㔳ׇ׆邌植ׁ׸ג
׃ת׻זְ״ֲח⻉㷕ך濼陎װ椚锷猰㷕٥鎘皾⻉㷕ך濼鋅׾ 筨⹛㆞׃גٌرٕך荈歋䏝׾䪮遭涸חⵖꣲׅ׷ 堣唒㷕统⻉㷕⻉㷕ח黝さ׃׋䌓秛غ؎،أךرؠ؎ٝ p1 p2 p3 p4  刼꬗ٌرٕ 刼꬗ٌرָٕו׿זⰅ⳿⸂ꟼ⤘ד׮邌植דֹ׷ֿהָ鷞ח 亻⡂湱ꟼװ6OEFSTQFDJDBUJPOך㉏겗׾䝤⻉ׇׁגְ׷ 䌓秛غ؎،أך鏣鎘 ✲⵸ח䱱׃גְֶ׋葺ְ䠬ׄךػًٓةⴱ劍⦼׾⢪ֲ

ؚٖ؎نحؙأ剑黝⻉⻉㷕ח黝さ׃׋䌓秛غ؎،أך鏣鎘 ICML 2017 https://arxiv.org/abs/1704.01212 JCTC 2017 https://doi.org/10.1021/acs.jctc.7b00577 (PPHMFָ葿ղז(//׾.1// .FTTBHF1BTTJOH// ה׃ג窟♧⻉׃׋ꥷծ%'5鎘皾鵚⡂׾ة٦؜حزח
堣唒㷕统ך⠓陽ד 涪邌ׁ׸׋

ؚٖ؎نحؙأ剑黝⻉⻉㷕ח黝さ׃׋䌓秛غ؎،أך鏣鎘 '$'1⾱㶨♶㢌ꆀ &$'1ך⾱㶨♶㢌ꆀ • the number of immediate neighbors who
are “heavy” (non-hydrogen) atoms • the valence minus the number of hydrogens • the atomic number • the atomic mass • the atomic charge • the number of attached hydrogens • whether the atom is contained in at least one ring %BZMJHIU ⾱㶨♶㢌ꆀ • hydrogen-bond acceptor or not? • hydrogen-bond donor or not? • negatively ionizable or not? • positively ionizable or not? • aromatic or not? • halogen or not? Rogers and Hahn, JCIM (2005) https://doi.org/10.1021/ci100050t Faber et al, JCTC (2017) https://doi.org/10.1021/acs.jctc.7b00577 .1//ד欽ְ׵׸׋갥挿٥鴟暴䗙鸬竲ꆀٓكٕ ؛ٌ؎ٝؿؓوذ؍ؙأך⾱㶨♶㢌ꆀ &$'1ך،ٕ؞ٔؤيדכ ⾱㶨♶㢌ꆀח鸬竲⦼׾Ⰵ׸׷ךכ ֮׶ִזַ׏׋ 갥挿ٓكٕך䕵ⶴ

4DI/FU䎗⡦涸(//ך⯓꽀涸أةٝت٦س input molecule H2O gdb_3 atom features
0 1 2 0 bond features 0 1 1 0 2 2 1 2 0.9620 0.9622 1.5133 <latexit sha1_base64="WhwbZjIo+PbaHz7kU/YZBO38PiQ=">AAACp3ichVG7SgNBFD2u72eiNoLNYlC0MEwkqAhC0MbO+EgMGFl211En2Re7m4Cu6cUfsLBSsBDBVnsbf8DCTxBLBRsLbzYLoqLeZXbOnLnnzpm5mmMIz2fssUlqbmlta+/o7Oru6e2LxfsH8p5dcXWe023Ddgua6nFDWDznC9/gBcflqqkZfEMrL9b3N6rc9YRtrfv7Dt8y1V1L7Ahd9YlS4iOuEohSTZ6bl4uHRc0M3Joi5Ek5giVilXiCJVkY8k+QikACUWTt+A2K2IYNHRWY4LDgEzagwqNvEykwOMRtISDOJSTCfY4aukhboSxOGSqxZfrv0mozYi1a12t6oVqnUwwaLilljLIHdsle2D27Yk/s/ddaQVij7mWfZq2h5Y4SOx5ae/tXZdLsY+9T9adnHzuYDb0K8u6ETP0WekNfPTh5WZtbHQ3G2Dl7Jv9n7JHd0Q2s6qt+scJXT//wo5EXejFqUOp7O36C/FQyNZ1Mr6QTmYWoVR0YxgjGqR8zyGAJWeSo/hGucYNbaUJalvJSoZEqNUWaQXwJSf0AKaGdRg==</latexit> rij := kri rj k 0 1 2 graph (SchNet) 0 1 2 edges w/ cutoff (10Å) edge_index <latexit sha1_base64="kMmroSd0z/qeaFfqTkrtDbgltFg=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVW5LUWrIhR14bIP+8BaShKnNTRNQpIWavEH3LkS7ErBhfgBfoAbf8BFP0FcVnDjwps0IFqsN0zmzJl77pyZK+qKbFqIPQ83Nj4xOeWd9s34Z+cCwfmFvKk1DYnlJE3RjKIomEyRVZazZEthRd1gQkNUWEGs79n7hRYzTFlTD622zsoNoabKVVkSLKIKRxXkd/hEJRjCCDrBD4OoC0LgRkoLPsIxnIAGEjShAQxUsAgrIIBJXwmigKATV4YOcQYh2dlncA4+0jYpi1GGQGyd/jValVxWpbVd03TUEp2i0DBIyUMYX/Ae+/iMD/iKn3/W6jg1bC9tmsWBlumVwMVS9uNfVYNmC06/VSM9W1CFhONVJu+6w9i3kAb61tlVP7uVCXdW8RbfyP8N9vCJbqC23qW7NMt0R/gRyQu9GDUo+rsdwyAfi0TXI/F0PJTcdVvlhWVYgTXqxwYk4QBSkHPqX8I1dDk/F+M2ue1BKudxNYvwI7j9Ly4OkVo=</latexit> Z0 = 8 <latexit sha1_base64="QxdA1PVsyCLNE23CpTjm2APprYs=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVWZlOIToagLl33YB1YpSZzWoWkSkmmhFn/AnSvBrhRciB/gB7jxB1z0E8RlBTcuvEkDosV6w2TOnLnnzpm5iqkxmxPS9Qkjo2PjE/7JwFRweiYUnp3L20bDUmlONTTDKiqyTTWm0xxnXKNF06JyXdFoQantOvuFJrVsZugHvGXS47pc1VmFqTJHqnBYlsRtUSqHIyRG3BAHgeSBCHiRMsKPcAQnYIAKDagDBR04Yg1ksPErgQQETOSOoY2chYi5+xTOIYDaBmZRzJCRreG/iquSx+q4dmrarlrFUzQcFipFiJIXck965Jk8kFfy+WettlvD8dLCWelrqVkOXSxkP/5V1XHmcPqtGuqZQwXWXa8MvZsu49xC7eubZ1e97GYm2l4mt+QN/d+QLnnCG+jNd/UuTTOdIX4U9IIvhg2SfrdjEOTjMWk1lkgnIskdr1V+WIQlWMF+rEES9iEFObf+JVxDRwgKcWFD2OqnCj5PMw8/Qtj7AiFSkVQ=</latexit> Z1 = 1 <latexit sha1_base64="PJMbQqlxF/BaTgtbHwfwEQN8SrI=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVWZlOIToagLl33YB1YpSZzWoWkSkmmhFn/AnSvBrhRciB/gB7jxB1z0E8RlBTcuvEkDosV6w2TOnLnnzpm5iqkxmxPS9Qkjo2PjE/7JwFRweiYUnp3L20bDUmlONTTDKiqyTTWm0xxnXKNF06JyXdFoQantOvuFJrVsZugHvGXS47pc1VmFqTJHqnBYjovbolQOR0iMuCEOAskDEfAiZYQf4QhOwAAVGlAHCjpwxBrIYONXAgkImMgdQxs5CxFz9ymcQwC1DcyimCEjW8N/FVclj9Vx7dS0XbWKp2g4LFSKECUv5J70yDN5IK/k889abbeG46WFs9LXUrMculjIfvyrquPM4fRbNdQzhwqsu14ZejddxrmF2tc3z6562c1MtL1Mbskb+r8hXfKEN9Cb7+pdmmY6Q/wo6AVfDBsk/W7HIMjHY9JqLJFORJI7Xqv8sAhLsIL9WIMk7EMKcm79S7iGjhAU4sKGsNVPFXyeZh5+hLD3BSN2kVU=</latexit> Z2 = 1 <latexit sha1_base64="A/aHUcWCUQde6WVY9Df1h30Gjpk=">AAACqXichVE9T9tQFD2Ylo/wkQALEotFSoUERDdtSFokpKgsjCQQiEiiyDYPsPCXbCdSiPgD/AEGJpAYqi7dKlhZ+gc65CegjlTqwsC1Y6kqiHAt+5533j3X572rOobu+USdPqn/zduBwaHh2Mjo2Hg8MTG57dkNVxMlzTZst6wqnjB0S5R83TdE2XGFYqqG2FGP1oL9naZwPd22tvyWI2qmcmDp+7qm+EzVE++qqtl2T+okr8qVJUrRx0xmUabU51xuOchEuWytnkgGKAj5OUhHIIkoNuzED1SxBxsaGjAhYMFnbECBx08FaRAc5mpoM+cy0sN9gRPEWNvgKsEVCrNH/D3gVSViLV4HPb1QrfFfDH5dVsqYo1/0le7pJ32jO3p4sVc77BF4aXFWu1rh1OOn05t/X1WZnH0c/lP19OxjH59Crzp7d0ImOIXW1TePz+43V4pz7fd0Sb/Z/wV16JZPYDX/aFcFUTzv4UdlL3xjPKD003E8B9sfUulsKlPIJPNfolENYQazmOd55JDHOjZQ4v6n+I5r3EgLUkEqS7vdUqkv0kzhv5C0R6Sdmbs=</latexit> r0 = [ 0.0344, 0.9775, 0.0076] <latexit sha1_base64="2hhG9gKLK2JIb9w0aH6ObiinRms=">AAACpnichVHLSsNQED3GV3226kZwUy2KCykTqbUIgujGlfiqFWqpSbxqMC+StKDFteAPuHCl4ELErX6AG3/AhZ8gLhXcuHCSBkRFnZDMuefOmZx7R3UM3fOJHhukxqbmltZYW3tHZ1d3PNHTu+bZFVcTec02bHddVTxh6JbI+7pviHXHFYqpGqKg7s0F+4WqcD3dtlb9fUeUTGXH0rd1TfGZKicGN1Sz5h6W5eR0skhpymZyY5zGKRskkidK5UQqQEEkfwI5AilEsWgnbrGBLdjQUIEJAQs+YwMKPH6KkEFwmCuhxpzLSA/3BQ7RztoKVwmuUJjd4+8Or4oRa/E66OmFao3/YvDrsjKJYXqgS3qhe7qiJ3r/tVct7BF42ees1rXCKceP+1fe/lWZnH3sfqr+9OxjG7nQq87enZAJTqHV9dWDk5eVqeXh2gid0zP7P6NHuuMTWNVX7WJJLJ/+4UdlL3xjPCD5+zh+grXxtJxNZ5YyqZnZaFQxDGAIozyPScxgHovIc/8jXOMGt9KotCDlpUK9VGqINH34EtLmBwvLmR0=</latexit> r1 = [0.0648, 0.0206, 0.0015] <latexit sha1_base64="FqaYo7zlBtUvxlEmhgyAfxy/v8k=">AAACpnichVHLSsNAFD3G97NVN4KbalFcSLjRYosgiG5cia9aoZaaxFGDeZGkBS2uBX/AhSsFFyJu7Qe48Qdc+AniUsGNC2/TgKioN0zmzJl77pyZq7mm4QdEjw1SY1NzS2tbe0dnV3dPLN7bt+47JU8XWd0xHW9DU31hGrbIBkZgig3XE6qlmSKn7c/X9nNl4fmGY68FB64oWOqubewYuhowVYwPbWpWxTsqTiRmEnmSM2klM67Ik0SZcZKJKF0oxpMh4kj8BEoEkohiyYlXsYltONBRggUBGwFjEyp8/vJQQHCZK6DCnMfICPcFjtDB2hJnCc5Qmd3n/y6v8hFr87pW0w/VOp9i8vBYmcAIPdAVvdA9XdMTvf9aqxLWqHk54Fmra4VbjJ0MrL79q7J4DrD3qfrTc4AdZEKvBnt3Q6Z2C72uLx+evqxOr4xURumCntn/OT3SHd/ALr/ql8ti5ewPPxp74RfjBinf2/ETrE/IypScWk4lZ+eiVrVhEMMY436kMYsFLCHL9Y9xg1tUpTFpUcpKuXqq1BBp+vElpK0PJf+ZKQ==</latexit> r2 = [0.8718, 1.3008, 0.0007] SchNet (Schütt et al, 2017) <latexit sha1_base64="tzvRXqv2dAYIROlG6uwbJPf0mrw=">AAAC9XichVHNShxBEK6d+BeNuiaXgJchi7IiLL0iieQk5pKT+Lcq2DL0jL27vfZMDz29a3SYF8gL5BByiKgQcvDoA3jxBRLwEYJHBS8erJ0dEqKoNcz011/VV/N1lxtKERlCznPWs67unt6+5/0DLwaHhvMjL1cj1dQer3hKKr3usohLEfCKEUby9VBz5ruSr7nbH9r5tRbXkVDBitkN+abPaoGoCo8ZpJx8SF0//pQ4wqaSVw3TWu3Yf7lJm4aRSDNFGjV9J27YVAQ29Zmpe0zG81iVYFFdFDNRY8KmakuZtAlVPq+xxIlFI6Fa1OpmwskXSImkYd8H5QwUIIsFlT8BClugwIMm+MAhAINYAoMInw0oA4EQuU2IkdOIRJrnkEA/aptYxbGCIbuN3xruNjI2wH27Z5SqPfyLxFej0oYx8ov8IJfkjPwkf8jNg73itEfbyy6ubkfLQ2f48+vl6ydVPq4G6v9Uj3o2UIWZ1KtA72HKtE/hdfStvS+Xy++XxuJxsk8u0P93ck5O8QRB68o7XORLXx/x46IXvDEcUPnuOO6D1alS+W1penG6MDuXjaoPRuENFHEe72AWPsICVLD/b7jJded6rB3rm3VgHXVKrVymeQX/hXV8C560vMU=</latexit> xi xi + 0 @ X j2Ni (xj) !ij 1 A Message Passing with residual connections <latexit sha1_base64="4oqceeOsg0RegmHmCOLOjG0SaOU=">AAACi3ichVHNSgJRFD5Of2aZVpugjSRGKzmWVEgLKYKW/uQPqMjMdLXB+WNmlGzwBVq2aWGbghbRA/QAbXqBFj5CtDRo06LjOBAl2Rnu3O9+93znfvceQZcl00LsebiJyanpGe+sb27evxAILi7lTa1piCwnarJmFAXeZLKkspwlWTIr6gbjFUFmBaFxMNgvtJhhSpp6bLV1VlH4uirVJJG3iCqWBcU+61SxGgxjFJ0IjYKYC8LgRkoLPkIZTkADEZqgAAMVLMIy8GDSV4IYIOjEVcAmziAkOfsMOuAjbZOyGGXwxDboX6dVyWVVWg9qmo5apFNkGgYpQxDBF7zHPj7jA77i55+1bKfGwEubZmGoZXo1cLGS/fhXpdBswem3aqxnC2qw63iVyLvuMINbiEN96/yqn01kIvY63uIb+b/BHj7RDdTWu3iXZpnuGD8CeaEXowbFfrdjFOQ3o7HtaDwdDyf33VZ5YRXWYIP6sQNJOIIU5Jw+XEIXrjk/t8UluL1hKudxNcvwI7jDL6M0kvA=</latexit> x0 <latexit sha1_base64="jqQfQ7TB6F1UPH31OFoS1eerzNw=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWt8LRwlceJGZBTwHoiCF2kt/AgVOAENJGiBAhRUsBDLIICJXxl4IKAjVwUbOQMRc/cpdCGA2hZmUcwQkG3iv4GrssequHZqmq5awlNkHAYqIxAjL+SeDMgzeSCv5PPPWrZbw/HSwVkcaqleC12s5D7+VSk4W3D6rRrr2YI67LpeGXrXXca5hTTUt8+vBrlkNmavk1vyhv5vSJ884Q3U9rt0l6HZ3hg/InrBF8MG8b/bMQoKm3F+O57IJKKpfa9VfliFNdjAfuxACo4gDXm3D5fQg2suyG1xSW5vmMr5PM0y/Aju8AulVJLx</latexit> x1 <latexit sha1_base64="fLMd1ywDpT0cBkzaL9hTb77jq/8=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZ1KJSXBRFcNmHfUBbShLHGpoXybRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFQ1FthghfR83MTk1PeOfDczNBxdC4cWloqW3TIkWJF3RzbIoWFSRNVpgMlNo2TCpoIoKLYnNfWe/1KamJevaEesYtKYKDU0+kSWBIVWuiqp91q0n6uEoiRM3IqOA90AUvMjo4UeowjHoIEELVKCgAUOsgAAWfhXggYCBXA1s5ExEsrtPoQsB1LYwi2KGgGwT/w1cVTxWw7VT03LVEp6i4DBRGYEYeSH3ZECeyQN5JZ9/1rLdGo6XDs7iUEuNeuhiJf/xr0rFmcHpt2qsZwYnsON6ldG74TLOLaShvn1+NcincjF7ndySN/R/Q/rkCW+gtd+luyzN9cb4EdELvhg2iP/djlFQTMT5rXgym4ym97xW+WEV1mAD+7ENaTiEDBTcPlxCD665ILfJpbjdYSrn8zTL8CO4gy+ndJLy</latexit> x2 <latexit sha1_base64="YVJW2X9s34FCmpunsQgR00z8vXY=">AAACjnichVHLSsNAFL2Nr1ofrboR3BRLxVW5kVJFEItuuuzDPqAtJYlTDc2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPC2zQgWqw3TObMmXvunJkrGops2YhdHzc2PjE55Z8OzMzOzQdDC4sFS2+aEstLuqKbJVGwmCJrLG/LtsJKhskEVVRYUWzs9/eLLWZasq4d2G2DVVXhSJPrsiTYRJUrouqcdGoO8p1aKIIxdCM8DHgPRMCLtB56hAocgg4SNEEFBhrYhBUQwKKvDDwgGMRVwSHOJCS7+ww6ECBtk7IYZQjENuh/RKuyx2q07te0XLVEpyg0TFKGIYoveI89fMYHfMXPP2s5bo2+lzbN4kDLjFrwbDn38a9KpdmG42/VSM821GHL9SqTd8Nl+reQBvrW6UUvt52NOmt4i2/k/wa7+EQ30Frv0l2GZS9H+BHJC70YNYj/3Y5hUNiI8YlYPBOPJPe8VvlhBVZhnfqxCUlIQRry7ouewxVccyEuwe1wu4NUzudpluBHcKkvk/uUNg==</latexit> w01 <latexit sha1_base64="tYR7XnwyhyUSVK/6XFo1uz/tDtI=">AAACjnichVFLSwJRFD5OL7OHVpugjSRGKzmKWASR1Malj3yAisxMVxucFzOjYYN/oH20CIqCFtEP6Ae06Q+08CdES4M2LTqOA1GSneHO/e53z3fud+8RdFkyLcSeh5uYnJqe8c765uYXFv2BpeWCqbUMkeVFTdaMksCbTJZUlrckS2Yl3WC8IsisKDQPBvvFNjNMSVMPrY7OqgrfUKW6JPIWUeWKoNgn3ZqNsW4tEMIIOhEcBVEXhMCNtBZ4hAocgQYitEABBipYhGXgwaSvDFFA0Imrgk2cQUhy9hl0wUfaFmUxyuCJbdK/Qauyy6q0HtQ0HbVIp8g0DFIGIYwveI99fMYHfMXPP2vZTo2Blw7NwlDL9Jr/bDX38a9KodmC42/VWM8W1GHb8SqRd91hBrcQh/r26UU/t5MN2xt4i2/k/wZ7+EQ3UNvv4l2GZS/H+BHIC70YNSj6ux2joBCLRBOReCYeSu67rfLCGqzDJvVjC5KQgjTknRc9hyu45gJcgtvl9oapnMfVrMCP4FJflhyUNw==</latexit> w02 <latexit sha1_base64="Ak3wjfcp94hUo7DAHdEjDzlDdm0=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZlFJFEItuuuzDPqAtJYnTOjQvkrRSQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9OAaLHeMJkzZ+65c2auZCjMsgnp+biJyanpGf9sYG5+YTHILy0XLL1lyjQv64puliTRogrTaN5mtkJLhklFVVJoUWoeDPaLbWpaTNcO7Y5Bq6rY0FidyaKNVLkiqc5Jt+YIsW6ND5MocSM0CgQPhMGLtM4/QgWOQAcZWqACBQ1sxAqIYOFXBgEIGMhVwUHORMTcfQpdCKC2hVkUM0Rkm/hv4KrssRquBzUtVy3jKQoOE5UhiJAXck/65Jk8kFfy+Wctx60x8NLBWRpqqVELnq3mPv5VqTjbcPytGuvZhjpsu14ZejdcZnALeahvn170czvZiLNBbskb+r8hPfKEN9Da7/JdhmYvx/iR0Au+GDZI+N2OUVCIRYVENJ6Jh5P7Xqv8sAbrsIn92IIkpCANefdFz+EKrjmeS3C73N4wlfN5mhX4EVzqC5g+lDg=</latexit> w12 #JP24"3ח⢪ֲ(//ה嫰ץ׷הַז׶ 䌓秛غ؎،أ׾⻉㷕ח㺔ׇג鏣鎘

0 1 2 0 bond features 0 1 1 0 2 2 1 2 0.9620 0.9622 1.5133 <latexit sha1_base64="WhwbZjIo+PbaHz7kU/YZBO38PiQ=">AAACp3ichVG7SgNBFD2u72eiNoLNYlC0MEwkqAhC0MbO+EgMGFl211En2Re7m4Cu6cUfsLBSsBDBVnsbf8DCTxBLBRsLbzYLoqLeZXbOnLnnzpm5mmMIz2fssUlqbmlta+/o7Oru6e2LxfsH8p5dcXWe023Ddgua6nFDWDznC9/gBcflqqkZfEMrL9b3N6rc9YRtrfv7Dt8y1V1L7Ahd9YlS4iOuEohSTZ6bl4uHRc0M3Joi5Ek5giVilXiCJVkY8k+QikACUWTt+A2K2IYNHRWY4LDgEzagwqNvEykwOMRtISDOJSTCfY4aukhboSxOGSqxZfrv0mozYi1a12t6oVqnUwwaLilljLIHdsle2D27Yk/s/ddaQVij7mWfZq2h5Y4SOx5ae/tXZdLsY+9T9adnHzuYDb0K8u6ETP0WekNfPTh5WZtbHQ3G2Dl7Jv9n7JHd0Q2s6qt+scJXT//wo5EXejFqUOp7O36C/FQyNZ1Mr6QTmYWoVR0YxgjGqR8zyGAJWeSo/hGucYNbaUJalvJSoZEqNUWaQXwJSf0AKaGdRg==</latexit> rij := kri rj k 0 1 2 graph (SchNet) 0 1 2 edges w/ cutoff (10Å) edge_index <latexit sha1_base64="kMmroSd0z/qeaFfqTkrtDbgltFg=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVW5LUWrIhR14bIP+8BaShKnNTRNQpIWavEH3LkS7ErBhfgBfoAbf8BFP0FcVnDjwps0IFqsN0zmzJl77pyZK+qKbFqIPQ83Nj4xOeWd9s34Z+cCwfmFvKk1DYnlJE3RjKIomEyRVZazZEthRd1gQkNUWEGs79n7hRYzTFlTD622zsoNoabKVVkSLKIKRxXkd/hEJRjCCDrBD4OoC0LgRkoLPsIxnIAGEjShAQxUsAgrIIBJXwmigKATV4YOcQYh2dlncA4+0jYpi1GGQGyd/jValVxWpbVd03TUEp2i0DBIyUMYX/Ae+/iMD/iKn3/W6jg1bC9tmsWBlumVwMVS9uNfVYNmC06/VSM9W1CFhONVJu+6w9i3kAb61tlVP7uVCXdW8RbfyP8N9vCJbqC23qW7NMt0R/gRyQu9GDUo+rsdwyAfi0TXI/F0PJTcdVvlhWVYgTXqxwYk4QBSkHPqX8I1dDk/F+M2ue1BKudxNYvwI7j9Ly4OkVo=</latexit> Z0 = 8 <latexit sha1_base64="QxdA1PVsyCLNE23CpTjm2APprYs=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVWZlOIToagLl33YB1YpSZzWoWkSkmmhFn/AnSvBrhRciB/gB7jxB1z0E8RlBTcuvEkDosV6w2TOnLnnzpm5iqkxmxPS9Qkjo2PjE/7JwFRweiYUnp3L20bDUmlONTTDKiqyTTWm0xxnXKNF06JyXdFoQantOvuFJrVsZugHvGXS47pc1VmFqTJHqnBYlsRtUSqHIyRG3BAHgeSBCHiRMsKPcAQnYIAKDagDBR04Yg1ksPErgQQETOSOoY2chYi5+xTOIYDaBmZRzJCRreG/iquSx+q4dmrarlrFUzQcFipFiJIXck965Jk8kFfy+WettlvD8dLCWelrqVkOXSxkP/5V1XHmcPqtGuqZQwXWXa8MvZsu49xC7eubZ1e97GYm2l4mt+QN/d+QLnnCG+jNd/UuTTOdIX4U9IIvhg2SfrdjEOTjMWk1lkgnIskdr1V+WIQlWMF+rEES9iEFObf+JVxDRwgKcWFD2OqnCj5PMw8/Qtj7AiFSkVQ=</latexit> Z1 = 1 <latexit sha1_base64="PJMbQqlxF/BaTgtbHwfwEQN8SrI=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVWZlOIToagLl33YB1YpSZzWoWkSkmmhFn/AnSvBrhRciB/gB7jxB1z0E8RlBTcuvEkDosV6w2TOnLnnzpm5iqkxmxPS9Qkjo2PjE/7JwFRweiYUnp3L20bDUmlONTTDKiqyTTWm0xxnXKNF06JyXdFoQantOvuFJrVsZugHvGXS47pc1VmFqTJHqnBYjovbolQOR0iMuCEOAskDEfAiZYQf4QhOwAAVGlAHCjpwxBrIYONXAgkImMgdQxs5CxFz9ymcQwC1DcyimCEjW8N/FVclj9Vx7dS0XbWKp2g4LFSKECUv5J70yDN5IK/k889abbeG46WFs9LXUrMculjIfvyrquPM4fRbNdQzhwqsu14ZejddxrmF2tc3z6562c1MtL1Mbskb+r8hXfKEN9Cb7+pdmmY6Q/wo6AVfDBsk/W7HIMjHY9JqLJFORJI7Xqv8sAhLsIL9WIMk7EMKcm79S7iGjhAU4sKGsNVPFXyeZh5+hLD3BSN2kVU=</latexit> Z2 = 1 <latexit sha1_base64="A/aHUcWCUQde6WVY9Df1h30Gjpk=">AAACqXichVE9T9tQFD2Ylo/wkQALEotFSoUERDdtSFokpKgsjCQQiEiiyDYPsPCXbCdSiPgD/AEGJpAYqi7dKlhZ+gc65CegjlTqwsC1Y6kqiHAt+5533j3X572rOobu+USdPqn/zduBwaHh2Mjo2Hg8MTG57dkNVxMlzTZst6wqnjB0S5R83TdE2XGFYqqG2FGP1oL9naZwPd22tvyWI2qmcmDp+7qm+EzVE++qqtl2T+okr8qVJUrRx0xmUabU51xuOchEuWytnkgGKAj5OUhHIIkoNuzED1SxBxsaGjAhYMFnbECBx08FaRAc5mpoM+cy0sN9gRPEWNvgKsEVCrNH/D3gVSViLV4HPb1QrfFfDH5dVsqYo1/0le7pJ32jO3p4sVc77BF4aXFWu1rh1OOn05t/X1WZnH0c/lP19OxjH59Crzp7d0ImOIXW1TePz+43V4pz7fd0Sb/Z/wV16JZPYDX/aFcFUTzv4UdlL3xjPKD003E8B9sfUulsKlPIJPNfolENYQazmOd55JDHOjZQ4v6n+I5r3EgLUkEqS7vdUqkv0kzhv5C0R6Sdmbs=</latexit> r0 = [ 0.0344, 0.9775, 0.0076] <latexit sha1_base64="2hhG9gKLK2JIb9w0aH6ObiinRms=">AAACpnichVHLSsNQED3GV3226kZwUy2KCykTqbUIgujGlfiqFWqpSbxqMC+StKDFteAPuHCl4ELErX6AG3/AhZ8gLhXcuHCSBkRFnZDMuefOmZx7R3UM3fOJHhukxqbmltZYW3tHZ1d3PNHTu+bZFVcTec02bHddVTxh6JbI+7pviHXHFYqpGqKg7s0F+4WqcD3dtlb9fUeUTGXH0rd1TfGZKicGN1Sz5h6W5eR0skhpymZyY5zGKRskkidK5UQqQEEkfwI5AilEsWgnbrGBLdjQUIEJAQs+YwMKPH6KkEFwmCuhxpzLSA/3BQ7RztoKVwmuUJjd4+8Or4oRa/E66OmFao3/YvDrsjKJYXqgS3qhe7qiJ3r/tVct7BF42ees1rXCKceP+1fe/lWZnH3sfqr+9OxjG7nQq87enZAJTqHV9dWDk5eVqeXh2gid0zP7P6NHuuMTWNVX7WJJLJ/+4UdlL3xjPCD5+zh+grXxtJxNZ5YyqZnZaFQxDGAIozyPScxgHovIc/8jXOMGt9KotCDlpUK9VGqINH34EtLmBwvLmR0=</latexit> r1 = [0.0648, 0.0206, 0.0015] <latexit sha1_base64="FqaYo7zlBtUvxlEmhgyAfxy/v8k=">AAACpnichVHLSsNAFD3G97NVN4KbalFcSLjRYosgiG5cia9aoZaaxFGDeZGkBS2uBX/AhSsFFyJu7Qe48Qdc+AniUsGNC2/TgKioN0zmzJl77pyZq7mm4QdEjw1SY1NzS2tbe0dnV3dPLN7bt+47JU8XWd0xHW9DU31hGrbIBkZgig3XE6qlmSKn7c/X9nNl4fmGY68FB64oWOqubewYuhowVYwPbWpWxTsqTiRmEnmSM2klM67Ik0SZcZKJKF0oxpMh4kj8BEoEkohiyYlXsYltONBRggUBGwFjEyp8/vJQQHCZK6DCnMfICPcFjtDB2hJnCc5Qmd3n/y6v8hFr87pW0w/VOp9i8vBYmcAIPdAVvdA9XdMTvf9aqxLWqHk54Fmra4VbjJ0MrL79q7J4DrD3qfrTc4AdZEKvBnt3Q6Z2C72uLx+evqxOr4xURumCntn/OT3SHd/ALr/ql8ti5ewPPxp74RfjBinf2/ETrE/IypScWk4lZ+eiVrVhEMMY436kMYsFLCHL9Y9xg1tUpTFpUcpKuXqq1BBp+vElpK0PJf+ZKQ==</latexit> r2 = [0.8718, 1.3008, 0.0007] nn.Embedding 128 -1.249 1.6278 -0.1370 ⋮ -0.9488 0.3105 -1.6185 0.1960 ⋮ -0.5310 0.3105 -1.6185 0.1960 ⋮ -0.5310 <latexit sha1_base64="4oqceeOsg0RegmHmCOLOjG0SaOU=">AAACi3ichVHNSgJRFD5Of2aZVpugjSRGKzmWVEgLKYKW/uQPqMjMdLXB+WNmlGzwBVq2aWGbghbRA/QAbXqBFj5CtDRo06LjOBAl2Rnu3O9+93znfvceQZcl00LsebiJyanpGe+sb27evxAILi7lTa1piCwnarJmFAXeZLKkspwlWTIr6gbjFUFmBaFxMNgvtJhhSpp6bLV1VlH4uirVJJG3iCqWBcU+61SxGgxjFJ0IjYKYC8LgRkoLPkIZTkADEZqgAAMVLMIy8GDSV4IYIOjEVcAmziAkOfsMOuAjbZOyGGXwxDboX6dVyWVVWg9qmo5apFNkGgYpQxDBF7zHPj7jA77i55+1bKfGwEubZmGoZXo1cLGS/fhXpdBswem3aqxnC2qw63iVyLvuMINbiEN96/yqn01kIvY63uIb+b/BHj7RDdTWu3iXZpnuGD8CeaEXowbFfrdjFOQ3o7HtaDwdDyf33VZ5YRXWYIP6sQNJOIIU5Jw+XEIXrjk/t8UluL1hKudxNcvwI7jDL6M0kvA=</latexit> x0 <latexit sha1_base64="jqQfQ7TB6F1UPH31OFoS1eerzNw=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWt8LRwlceJGZBTwHoiCF2kt/AgVOAENJGiBAhRUsBDLIICJXxl4IKAjVwUbOQMRc/cpdCGA2hZmUcwQkG3iv4GrssequHZqmq5awlNkHAYqIxAjL+SeDMgzeSCv5PPPWrZbw/HSwVkcaqleC12s5D7+VSk4W3D6rRrr2YI67LpeGXrXXca5hTTUt8+vBrlkNmavk1vyhv5vSJ884Q3U9rt0l6HZ3hg/InrBF8MG8b/bMQoKm3F+O57IJKKpfa9VfliFNdjAfuxACo4gDXm3D5fQg2suyG1xSW5vmMr5PM0y/Aju8AulVJLx</latexit> x1 <latexit sha1_base64="fLMd1ywDpT0cBkzaL9hTb77jq/8=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZ1KJSXBRFcNmHfUBbShLHGpoXybRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFQ1FthghfR83MTk1PeOfDczNBxdC4cWloqW3TIkWJF3RzbIoWFSRNVpgMlNo2TCpoIoKLYnNfWe/1KamJevaEesYtKYKDU0+kSWBIVWuiqp91q0n6uEoiRM3IqOA90AUvMjo4UeowjHoIEELVKCgAUOsgAAWfhXggYCBXA1s5ExEsrtPoQsB1LYwi2KGgGwT/w1cVTxWw7VT03LVEp6i4DBRGYEYeSH3ZECeyQN5JZ9/1rLdGo6XDs7iUEuNeuhiJf/xr0rFmcHpt2qsZwYnsON6ldG74TLOLaShvn1+NcincjF7ndySN/R/Q/rkCW+gtd+luyzN9cb4EdELvhg2iP/djlFQTMT5rXgym4ym97xW+WEV1mAD+7ENaTiEDBTcPlxCD665ILfJpbjdYSrn8zTL8CO4gy+ndJLy</latexit> x2 SchNet (Schütt et al, 2017) <latexit sha1_base64="tzvRXqv2dAYIROlG6uwbJPf0mrw=">AAAC9XichVHNShxBEK6d+BeNuiaXgJchi7IiLL0iieQk5pKT+Lcq2DL0jL27vfZMDz29a3SYF8gL5BByiKgQcvDoA3jxBRLwEYJHBS8erJ0dEqKoNcz011/VV/N1lxtKERlCznPWs67unt6+5/0DLwaHhvMjL1cj1dQer3hKKr3usohLEfCKEUby9VBz5ruSr7nbH9r5tRbXkVDBitkN+abPaoGoCo8ZpJx8SF0//pQ4wqaSVw3TWu3Yf7lJm4aRSDNFGjV9J27YVAQ29Zmpe0zG81iVYFFdFDNRY8KmakuZtAlVPq+xxIlFI6Fa1OpmwskXSImkYd8H5QwUIIsFlT8BClugwIMm+MAhAINYAoMInw0oA4EQuU2IkdOIRJrnkEA/aptYxbGCIbuN3xruNjI2wH27Z5SqPfyLxFej0oYx8ov8IJfkjPwkf8jNg73itEfbyy6ubkfLQ2f48+vl6ydVPq4G6v9Uj3o2UIWZ1KtA72HKtE/hdfStvS+Xy++XxuJxsk8u0P93ck5O8QRB68o7XORLXx/x46IXvDEcUPnuOO6D1alS+W1penG6MDuXjaoPRuENFHEe72AWPsICVLD/b7jJded6rB3rm3VgHXVKrVymeQX/hXV8C560vMU=</latexit> xi xi + 0 @ X j2Ni (xj) !ij 1 A Message Passing with residual connections <latexit sha1_base64="YVJW2X9s34FCmpunsQgR00z8vXY=">AAACjnichVHLSsNAFL2Nr1ofrboR3BRLxVW5kVJFEItuuuzDPqAtJYlTDc2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPC2zQgWqw3TObMmXvunJkrGops2YhdHzc2PjE55Z8OzMzOzQdDC4sFS2+aEstLuqKbJVGwmCJrLG/LtsJKhskEVVRYUWzs9/eLLWZasq4d2G2DVVXhSJPrsiTYRJUrouqcdGoO8p1aKIIxdCM8DHgPRMCLtB56hAocgg4SNEEFBhrYhBUQwKKvDDwgGMRVwSHOJCS7+ww6ECBtk7IYZQjENuh/RKuyx2q07te0XLVEpyg0TFKGIYoveI89fMYHfMXPP2s5bo2+lzbN4kDLjFrwbDn38a9KpdmG42/VSM821GHL9SqTd8Nl+reQBvrW6UUvt52NOmt4i2/k/wa7+EQ30Frv0l2GZS9H+BHJC70YNYj/3Y5hUNiI8YlYPBOPJPe8VvlhBVZhnfqxCUlIQRry7ouewxVccyEuwe1wu4NUzudpluBHcKkvk/uUNg==</latexit> w01 <latexit sha1_base64="tYR7XnwyhyUSVK/6XFo1uz/tDtI=">AAACjnichVFLSwJRFD5OL7OHVpugjSRGKzmKWASR1Malj3yAisxMVxucFzOjYYN/oH20CIqCFtEP6Ae06Q+08CdES4M2LTqOA1GSneHO/e53z3fud+8RdFkyLcSeh5uYnJqe8c765uYXFv2BpeWCqbUMkeVFTdaMksCbTJZUlrckS2Yl3WC8IsisKDQPBvvFNjNMSVMPrY7OqgrfUKW6JPIWUeWKoNgn3ZqNsW4tEMIIOhEcBVEXhMCNtBZ4hAocgQYitEABBipYhGXgwaSvDFFA0Imrgk2cQUhy9hl0wUfaFmUxyuCJbdK/Qauyy6q0HtQ0HbVIp8g0DFIGIYwveI99fMYHfMXPP2vZTo2Blw7NwlDL9Jr/bDX38a9KodmC42/VWM8W1GHb8SqRd91hBrcQh/r26UU/t5MN2xt4i2/k/wZ7+EQ3UNvv4l2GZS/H+BHIC70YNSj6ux2joBCLRBOReCYeSu67rfLCGqzDJvVjC5KQgjTknRc9hyu45gJcgtvl9oapnMfVrMCP4FJflhyUNw==</latexit> w02 <latexit sha1_base64="Ak3wjfcp94hUo7DAHdEjDzlDdm0=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZlFJFEItuuuzDPqAtJYnTOjQvkrRSQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9OAaLHeMJkzZ+65c2auZCjMsgnp+biJyanpGf9sYG5+YTHILy0XLL1lyjQv64puliTRogrTaN5mtkJLhklFVVJoUWoeDPaLbWpaTNcO7Y5Bq6rY0FidyaKNVLkiqc5Jt+YIsW6ND5MocSM0CgQPhMGLtM4/QgWOQAcZWqACBQ1sxAqIYOFXBgEIGMhVwUHORMTcfQpdCKC2hVkUM0Rkm/hv4KrssRquBzUtVy3jKQoOE5UhiJAXck/65Jk8kFfy+Wctx60x8NLBWRpqqVELnq3mPv5VqTjbcPytGuvZhjpsu14ZejdcZnALeahvn170czvZiLNBbskb+r8hPfKEN9Da7/JdhmYvx/iR0Au+GDZI+N2OUVCIRYVENJ6Jh5P7Xqv8sAbrsIn92IIkpCANefdFz+EKrjmeS3C73N4wlfN5mhX4EVzqC5g+lDg=</latexit> w12 #JP24"3ח⢪ֲ(//ה嫰ץ׷הַז׶ 䌓秛غ؎،أ׾⻉㷕ח㺔ׇג鏣鎘

0 1 2 0 bond features 0 1 1 0 2 2 1 2 0.9620 0.9622 1.5133 <latexit sha1_base64="WhwbZjIo+PbaHz7kU/YZBO38PiQ=">AAACp3ichVG7SgNBFD2u72eiNoLNYlC0MEwkqAhC0MbO+EgMGFl211En2Re7m4Cu6cUfsLBSsBDBVnsbf8DCTxBLBRsLbzYLoqLeZXbOnLnnzpm5mmMIz2fssUlqbmlta+/o7Oru6e2LxfsH8p5dcXWe023Ddgua6nFDWDznC9/gBcflqqkZfEMrL9b3N6rc9YRtrfv7Dt8y1V1L7Ahd9YlS4iOuEohSTZ6bl4uHRc0M3Joi5Ek5giVilXiCJVkY8k+QikACUWTt+A2K2IYNHRWY4LDgEzagwqNvEykwOMRtISDOJSTCfY4aukhboSxOGSqxZfrv0mozYi1a12t6oVqnUwwaLilljLIHdsle2D27Yk/s/ddaQVij7mWfZq2h5Y4SOx5ae/tXZdLsY+9T9adnHzuYDb0K8u6ETP0WekNfPTh5WZtbHQ3G2Dl7Jv9n7JHd0Q2s6qt+scJXT//wo5EXejFqUOp7O36C/FQyNZ1Mr6QTmYWoVR0YxgjGqR8zyGAJWeSo/hGucYNbaUJalvJSoZEqNUWaQXwJSf0AKaGdRg==</latexit> rij := kri rj k 50 MLP 50 →128 0.1803 0.0826 0.3349 ⋮ -0.474 0.0403 -0.003 0.0802 ⋮ -0.061 0.1803 0.0826 0.3349 ⋮ -0.474 128 <latexit sha1_base64="zybc8bdG60pci39izd8WqLQ5/Rk=">AAACsXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQvoxKRWFGjoxqQn5uYmxsck5hRkJCpoFMVXZ2bVKugqxOSWQgU144w04wWUDfQMwEABk2EIZSgzQEFAvsB2hhiGFIZ8hmSGUoZchlSGPIYSIDuHIZGhGAijGQwZDBgKgGKxDNVAsSIgKxMsn8pQy8AF1FsKVJUKVJEIFM0GkulAXjRUNA/IB5lZDNadDLQlB4iLgDoVGFQNrhqsNPhscMJgtcFLgz84zaoGmwFySyWQToLoTS2I5++SCP5OUFcukC5hyEDowuvmEoY0BguwWzOBbi8Ai4B8kQzRX1Y1/XOwVZBqtZrBIoPXQPcvNLhpcBjog7yyL8lLA1ODZuNxTxLQLcAQA0aQIXp0YDLCjPQMzfRMAk2UHZygUcXBIM2gxKABjA9zBgcGD4YAhlCg+ZMYdjAcZDjEZMwUyZTAlARRysQI1SPMgAKYsgGYdqCv</latexit> exp( ↵(rij µ↵)2) 0 1 2 graph (SchNet) 0 1 2 edges w/ cutoff (10Å) edge_index <latexit sha1_base64="kMmroSd0z/qeaFfqTkrtDbgltFg=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVW5LUWrIhR14bIP+8BaShKnNTRNQpIWavEH3LkS7ErBhfgBfoAbf8BFP0FcVnDjwps0IFqsN0zmzJl77pyZK+qKbFqIPQ83Nj4xOeWd9s34Z+cCwfmFvKk1DYnlJE3RjKIomEyRVZazZEthRd1gQkNUWEGs79n7hRYzTFlTD622zsoNoabKVVkSLKIKRxXkd/hEJRjCCDrBD4OoC0LgRkoLPsIxnIAGEjShAQxUsAgrIIBJXwmigKATV4YOcQYh2dlncA4+0jYpi1GGQGyd/jValVxWpbVd03TUEp2i0DBIyUMYX/Ae+/iMD/iKn3/W6jg1bC9tmsWBlumVwMVS9uNfVYNmC06/VSM9W1CFhONVJu+6w9i3kAb61tlVP7uVCXdW8RbfyP8N9vCJbqC23qW7NMt0R/gRyQu9GDUo+rsdwyAfi0TXI/F0PJTcdVvlhWVYgTXqxwYk4QBSkHPqX8I1dDk/F+M2ue1BKudxNYvwI7j9Ly4OkVo=</latexit> Z0 = 8 <latexit sha1_base64="QxdA1PVsyCLNE23CpTjm2APprYs=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVWZlOIToagLl33YB1YpSZzWoWkSkmmhFn/AnSvBrhRciB/gB7jxB1z0E8RlBTcuvEkDosV6w2TOnLnnzpm5iqkxmxPS9Qkjo2PjE/7JwFRweiYUnp3L20bDUmlONTTDKiqyTTWm0xxnXKNF06JyXdFoQantOvuFJrVsZugHvGXS47pc1VmFqTJHqnBYlsRtUSqHIyRG3BAHgeSBCHiRMsKPcAQnYIAKDagDBR04Yg1ksPErgQQETOSOoY2chYi5+xTOIYDaBmZRzJCRreG/iquSx+q4dmrarlrFUzQcFipFiJIXck965Jk8kFfy+WettlvD8dLCWelrqVkOXSxkP/5V1XHmcPqtGuqZQwXWXa8MvZsu49xC7eubZ1e97GYm2l4mt+QN/d+QLnnCG+jNd/UuTTOdIX4U9IIvhg2SfrdjEOTjMWk1lkgnIskdr1V+WIQlWMF+rEES9iEFObf+JVxDRwgKcWFD2OqnCj5PMw8/Qtj7AiFSkVQ=</latexit> Z1 = 1 <latexit sha1_base64="PJMbQqlxF/BaTgtbHwfwEQN8SrI=">AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVWZlOIToagLl33YB1YpSZzWoWkSkmmhFn/AnSvBrhRciB/gB7jxB1z0E8RlBTcuvEkDosV6w2TOnLnnzpm5iqkxmxPS9Qkjo2PjE/7JwFRweiYUnp3L20bDUmlONTTDKiqyTTWm0xxnXKNF06JyXdFoQantOvuFJrVsZugHvGXS47pc1VmFqTJHqnBYjovbolQOR0iMuCEOAskDEfAiZYQf4QhOwAAVGlAHCjpwxBrIYONXAgkImMgdQxs5CxFz9ymcQwC1DcyimCEjW8N/FVclj9Vx7dS0XbWKp2g4LFSKECUv5J70yDN5IK/k889abbeG46WFs9LXUrMculjIfvyrquPM4fRbNdQzhwqsu14ZejddxrmF2tc3z6562c1MtL1Mbskb+r8hXfKEN9Cb7+pdmmY6Q/wo6AVfDBsk/W7HIMjHY9JqLJFORJI7Xqv8sAhLsIL9WIMk7EMKcm79S7iGjhAU4sKGsNVPFXyeZh5+hLD3BSN2kVU=</latexit> Z2 = 1 <latexit sha1_base64="A/aHUcWCUQde6WVY9Df1h30Gjpk=">AAACqXichVE9T9tQFD2Ylo/wkQALEotFSoUERDdtSFokpKgsjCQQiEiiyDYPsPCXbCdSiPgD/AEGJpAYqi7dKlhZ+gc65CegjlTqwsC1Y6kqiHAt+5533j3X572rOobu+USdPqn/zduBwaHh2Mjo2Hg8MTG57dkNVxMlzTZst6wqnjB0S5R83TdE2XGFYqqG2FGP1oL9naZwPd22tvyWI2qmcmDp+7qm+EzVE++qqtl2T+okr8qVJUrRx0xmUabU51xuOchEuWytnkgGKAj5OUhHIIkoNuzED1SxBxsaGjAhYMFnbECBx08FaRAc5mpoM+cy0sN9gRPEWNvgKsEVCrNH/D3gVSViLV4HPb1QrfFfDH5dVsqYo1/0le7pJ32jO3p4sVc77BF4aXFWu1rh1OOn05t/X1WZnH0c/lP19OxjH59Crzp7d0ImOIXW1TePz+43V4pz7fd0Sb/Z/wV16JZPYDX/aFcFUTzv4UdlL3xjPKD003E8B9sfUulsKlPIJPNfolENYQazmOd55JDHOjZQ4v6n+I5r3EgLUkEqS7vdUqkv0kzhv5C0R6Sdmbs=</latexit> r0 = [ 0.0344, 0.9775, 0.0076] <latexit sha1_base64="2hhG9gKLK2JIb9w0aH6ObiinRms=">AAACpnichVHLSsNQED3GV3226kZwUy2KCykTqbUIgujGlfiqFWqpSbxqMC+StKDFteAPuHCl4ELErX6AG3/AhZ8gLhXcuHCSBkRFnZDMuefOmZx7R3UM3fOJHhukxqbmltZYW3tHZ1d3PNHTu+bZFVcTec02bHddVTxh6JbI+7pviHXHFYqpGqKg7s0F+4WqcD3dtlb9fUeUTGXH0rd1TfGZKicGN1Sz5h6W5eR0skhpymZyY5zGKRskkidK5UQqQEEkfwI5AilEsWgnbrGBLdjQUIEJAQs+YwMKPH6KkEFwmCuhxpzLSA/3BQ7RztoKVwmuUJjd4+8Or4oRa/E66OmFao3/YvDrsjKJYXqgS3qhe7qiJ3r/tVct7BF42ees1rXCKceP+1fe/lWZnH3sfqr+9OxjG7nQq87enZAJTqHV9dWDk5eVqeXh2gid0zP7P6NHuuMTWNVX7WJJLJ/+4UdlL3xjPCD5+zh+grXxtJxNZ5YyqZnZaFQxDGAIozyPScxgHovIc/8jXOMGt9KotCDlpUK9VGqINH34EtLmBwvLmR0=</latexit> r1 = [0.0648, 0.0206, 0.0015] <latexit sha1_base64="FqaYo7zlBtUvxlEmhgyAfxy/v8k=">AAACpnichVHLSsNAFD3G97NVN4KbalFcSLjRYosgiG5cia9aoZaaxFGDeZGkBS2uBX/AhSsFFyJu7Qe48Qdc+AniUsGNC2/TgKioN0zmzJl77pyZq7mm4QdEjw1SY1NzS2tbe0dnV3dPLN7bt+47JU8XWd0xHW9DU31hGrbIBkZgig3XE6qlmSKn7c/X9nNl4fmGY68FB64oWOqubewYuhowVYwPbWpWxTsqTiRmEnmSM2klM67Ik0SZcZKJKF0oxpMh4kj8BEoEkohiyYlXsYltONBRggUBGwFjEyp8/vJQQHCZK6DCnMfICPcFjtDB2hJnCc5Qmd3n/y6v8hFr87pW0w/VOp9i8vBYmcAIPdAVvdA9XdMTvf9aqxLWqHk54Fmra4VbjJ0MrL79q7J4DrD3qfrTc4AdZEKvBnt3Q6Z2C72uLx+evqxOr4xURumCntn/OT3SHd/ALr/ql8ti5ewPPxp74RfjBinf2/ETrE/IypScWk4lZ+eiVrVhEMMY436kMYsFLCHL9Y9xg1tUpTFpUcpKuXqq1BBp+vElpK0PJf+ZKQ==</latexit> r2 = [0.8718, 1.3008, 0.0007] nn.Embedding 128 -1.249 1.6278 -0.1370 ⋮ -0.9488 0.3105 -1.6185 0.1960 ⋮ -0.5310 0.3105 -1.6185 0.1960 ⋮ -0.5310 <latexit sha1_base64="4oqceeOsg0RegmHmCOLOjG0SaOU=">AAACi3ichVHNSgJRFD5Of2aZVpugjSRGKzmWVEgLKYKW/uQPqMjMdLXB+WNmlGzwBVq2aWGbghbRA/QAbXqBFj5CtDRo06LjOBAl2Rnu3O9+93znfvceQZcl00LsebiJyanpGe+sb27evxAILi7lTa1piCwnarJmFAXeZLKkspwlWTIr6gbjFUFmBaFxMNgvtJhhSpp6bLV1VlH4uirVJJG3iCqWBcU+61SxGgxjFJ0IjYKYC8LgRkoLPkIZTkADEZqgAAMVLMIy8GDSV4IYIOjEVcAmziAkOfsMOuAjbZOyGGXwxDboX6dVyWVVWg9qmo5apFNkGgYpQxDBF7zHPj7jA77i55+1bKfGwEubZmGoZXo1cLGS/fhXpdBswem3aqxnC2qw63iVyLvuMINbiEN96/yqn01kIvY63uIb+b/BHj7RDdTWu3iXZpnuGD8CeaEXowbFfrdjFOQ3o7HtaDwdDyf33VZ5YRXWYIP6sQNJOIIU5Jw+XEIXrjk/t8UluL1hKudxNcvwI7jDL6M0kvA=</latexit> x0 <latexit sha1_base64="jqQfQ7TB6F1UPH31OFoS1eerzNw=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWt8LRwlceJGZBTwHoiCF2kt/AgVOAENJGiBAhRUsBDLIICJXxl4IKAjVwUbOQMRc/cpdCGA2hZmUcwQkG3iv4GrssequHZqmq5awlNkHAYqIxAjL+SeDMgzeSCv5PPPWrZbw/HSwVkcaqleC12s5D7+VSk4W3D6rRrr2YI67LpeGXrXXca5hTTUt8+vBrlkNmavk1vyhv5vSJ884Q3U9rt0l6HZ3hg/InrBF8MG8b/bMQoKm3F+O57IJKKpfa9VfliFNdjAfuxACo4gDXm3D5fQg2suyG1xSW5vmMr5PM0y/Aju8AulVJLx</latexit> x1 <latexit sha1_base64="fLMd1ywDpT0cBkzaL9hTb77jq/8=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZ1KJSXBRFcNmHfUBbShLHGpoXybRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFQ1FthghfR83MTk1PeOfDczNBxdC4cWloqW3TIkWJF3RzbIoWFSRNVpgMlNo2TCpoIoKLYnNfWe/1KamJevaEesYtKYKDU0+kSWBIVWuiqp91q0n6uEoiRM3IqOA90AUvMjo4UeowjHoIEELVKCgAUOsgAAWfhXggYCBXA1s5ExEsrtPoQsB1LYwi2KGgGwT/w1cVTxWw7VT03LVEp6i4DBRGYEYeSH3ZECeyQN5JZ9/1rLdGo6XDs7iUEuNeuhiJf/xr0rFmcHpt2qsZwYnsON6ldG74TLOLaShvn1+NcincjF7ndySN/R/Q/rkCW+gtd+luyzN9cb4EdELvhg2iP/djlFQTMT5rXgym4ym97xW+WEV1mAD+7ENaTiEDBTcPlxCD665ILfJpbjdYSrn8zTL8CO4gy+ndJLy</latexit> x2 Weighted ACSFs (ACSFs = atom- centered symmetry functions) for Behler-Parrinello potentials <latexit sha1_base64="bbWlQHipawsZwudry4/MYk1A7nU=">AAACyXichVG7TtxAFD0YQgjhsZAGKY2VFQgUaTVGCBAVIhSR0vBaQMLIsiezuxO8thnPrgDLFR0/kCJVIlGQfAAfkCZlGorNH0QpiZQmRe7alqIEAdey58y591yfmetFvow1Y50eo7fvQf/DgUeDj4eGR0ZLY+PbcdhSXFR56Idq13Nj4ctAVLXUvtiNlHCbni92vIMX3fxOW6hYhsGWPo7EftOtB7ImuauJckqrdk25PLHSZDY1bV/U9LRp8zDOYZ60I2kqJ5Fv0jRRDqc6JesNPfPcKoBTKrMKy8K8CawClFHEWli6hI3XCMHRQhMCATRhHy5ievZggSEibh8JcYqQzPICKQZJ26IqQRUusQf0rdNur2AD2nd7xpma0198ehUpTUyyK3bBrtkX9ol9Z79v7ZVkPbpejmn1cq2InNGzic1f96qatGo0/qru9KxRw2LmVZL3KGO6p+C5vn3y9npzaWMymWIf2A/y/5512Gc6QdD+yc/Xxca7O/x45IVujAZk/T+Om2B7tmLNV+bW58rLK8WoBvAUzzBN81jAMl5iDVXq/xFf0cE345VxaBwZJ3mp0VNonuCfME7/AH+9q6g=</latexit> 1 2 ✓ cos ✓ ⇡rij rc ◆ + 1 ◆ cutoff function element-wise product <latexit sha1_base64="YVJW2X9s34FCmpunsQgR00z8vXY=">AAACjnichVHLSsNAFL2Nr1ofrboR3BRLxVW5kVJFEItuuuzDPqAtJYlTDc2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPC2zQgWqw3TObMmXvunJkrGops2YhdHzc2PjE55Z8OzMzOzQdDC4sFS2+aEstLuqKbJVGwmCJrLG/LtsJKhskEVVRYUWzs9/eLLWZasq4d2G2DVVXhSJPrsiTYRJUrouqcdGoO8p1aKIIxdCM8DHgPRMCLtB56hAocgg4SNEEFBhrYhBUQwKKvDDwgGMRVwSHOJCS7+ww6ECBtk7IYZQjENuh/RKuyx2q07te0XLVEpyg0TFKGIYoveI89fMYHfMXPP2s5bo2+lzbN4kDLjFrwbDn38a9KpdmG42/VSM821GHL9SqTd8Nl+reQBvrW6UUvt52NOmt4i2/k/wa7+EQ30Frv0l2GZS9H+BHJC70YNYj/3Y5hUNiI8YlYPBOPJPe8VvlhBVZhnfqxCUlIQRry7ouewxVccyEuwe1wu4NUzudpluBHcKkvk/uUNg==</latexit> w01 <latexit sha1_base64="tYR7XnwyhyUSVK/6XFo1uz/tDtI=">AAACjnichVFLSwJRFD5OL7OHVpugjSRGKzmKWASR1Malj3yAisxMVxucFzOjYYN/oH20CIqCFtEP6Ae06Q+08CdES4M2LTqOA1GSneHO/e53z3fud+8RdFkyLcSeh5uYnJqe8c765uYXFv2BpeWCqbUMkeVFTdaMksCbTJZUlrckS2Yl3WC8IsisKDQPBvvFNjNMSVMPrY7OqgrfUKW6JPIWUeWKoNgn3ZqNsW4tEMIIOhEcBVEXhMCNtBZ4hAocgQYitEABBipYhGXgwaSvDFFA0Imrgk2cQUhy9hl0wUfaFmUxyuCJbdK/Qauyy6q0HtQ0HbVIp8g0DFIGIYwveI99fMYHfMXPP2vZTo2Blw7NwlDL9Jr/bDX38a9KodmC42/VWM8W1GHb8SqRd91hBrcQh/r26UU/t5MN2xt4i2/k/wZ7+EQ3UNvv4l2GZS/H+BHIC70YNSj6ux2joBCLRBOReCYeSu67rfLCGqzDJvVjC5KQgjTknRc9hyu45gJcgtvl9oapnMfVrMCP4FJflhyUNw==</latexit> w02 <latexit sha1_base64="Ak3wjfcp94hUo7DAHdEjDzlDdm0=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZlFJFEItuuuzDPqAtJYnTOjQvkrRSQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9OAaLHeMJkzZ+65c2auZCjMsgnp+biJyanpGf9sYG5+YTHILy0XLL1lyjQv64puliTRogrTaN5mtkJLhklFVVJoUWoeDPaLbWpaTNcO7Y5Bq6rY0FidyaKNVLkiqc5Jt+YIsW6ND5MocSM0CgQPhMGLtM4/QgWOQAcZWqACBQ1sxAqIYOFXBgEIGMhVwUHORMTcfQpdCKC2hVkUM0Rkm/hv4KrssRquBzUtVy3jKQoOE5UhiJAXck/65Jk8kFfy+Wctx60x8NLBWRpqqVELnq3mPv5VqTjbcPytGuvZhjpsu14ZejdcZnALeahvn170czvZiLNBbskb+r8hPfKEN9Da7/JdhmYvx/iR0Au+GDZI+N2OUVCIRYVENJ6Jh5P7Xqv8sAbrsIn92IIkpCANefdFz+EKrjmeS3C73N4wlfN5mhX4EVzqC5g+lDg=</latexit> w12 SchNet (Schütt et al, 2017) <latexit sha1_base64="tzvRXqv2dAYIROlG6uwbJPf0mrw=">AAAC9XichVHNShxBEK6d+BeNuiaXgJchi7IiLL0iieQk5pKT+Lcq2DL0jL27vfZMDz29a3SYF8gL5BByiKgQcvDoA3jxBRLwEYJHBS8erJ0dEqKoNcz011/VV/N1lxtKERlCznPWs67unt6+5/0DLwaHhvMjL1cj1dQer3hKKr3usohLEfCKEUby9VBz5ruSr7nbH9r5tRbXkVDBitkN+abPaoGoCo8ZpJx8SF0//pQ4wqaSVw3TWu3Yf7lJm4aRSDNFGjV9J27YVAQ29Zmpe0zG81iVYFFdFDNRY8KmakuZtAlVPq+xxIlFI6Fa1OpmwskXSImkYd8H5QwUIIsFlT8BClugwIMm+MAhAINYAoMInw0oA4EQuU2IkdOIRJrnkEA/aptYxbGCIbuN3xruNjI2wH27Z5SqPfyLxFej0oYx8ov8IJfkjPwkf8jNg73itEfbyy6ubkfLQ2f48+vl6ydVPq4G6v9Uj3o2UIWZ1KtA72HKtE/hdfStvS+Xy++XxuJxsk8u0P93ck5O8QRB68o7XORLXx/x46IXvDEcUPnuOO6D1alS+W1penG6MDuXjaoPRuENFHEe72AWPsICVLD/b7jJded6rB3rm3VgHXVKrVymeQX/hXV8C560vMU=</latexit> xi xi + 0 @ X j2Ni (xj) !ij 1 A Message Passing with residual connections #JP24"3ח⢪ֲ(//ה嫰ץ׷הַז׶ 䌓秛غ؎،أ׾⻉㷕ח㺔ׇג鏣鎘

4DI/FU䎗⡦涸(//ך⯓꽀涸أةٝت٦س SchNet (Schütt et al, 2017) DimeNet (Klicpera et al,
2020) Free Energy Free Energy y_true y_true y_pred y_pred ExtraTrees w/ ECFP6 LightGBM w/ ECFP6 3-Layer MLP w/ ECFP6 (without 3D geometry) (without 3D geometry) (without 3D geometry) Free Energy Free Energy Free Energy 錬䏝׮⢪ֲ 3BEJBM#BTJT 2D Spherical (Fourier-Bessel) Basis 穠さ錬׾罋䣁׃ 鴟♳ד刿倜ׅ׷ 何葺晛 ⸂׮✮庠ׅ׷ 鴟♳ד刿倜

4DI/0SC岚⹛ꟼ侧荈⡤׾堣唒㷕统

(//ַ׵䎗⡦涸帾㾴㷕统פ https://arxiv.org/abs/2104.13478 https://youtu.be/uF53xsT7mjc https://youtu.be/w6Pw4MOzMuo ICLR 2021 Keynote (Michael Bronstein) Seminar
Talk (Petar Veličković) (//כ䌴䎢ְ䎗⡦圓鸡׾窟♧涸ח䪔ִ׷単穈׫ 堣唒㷕统ךٕؒٓٝ؜ٝ٥فؚٗٓي (T(SJET (SPVQT (SBQIT (FPEFTJDT(BVHFT

ِ٦ؙٔحسך麊⹛纇חꟼׅ׷♶㢌䚍٥ず㢌䚍 ˖ ِ٦ؙٔحس纇& %ך⚛鹌٥㔐鯄㼎獥䚍 ˖ 暴婊ِ٦ؙٔحس纇4& %ך⚛鹌٥㔐鯄٥ꖎ⫷㼎獥䚍 Schütt
et al, SchNet. (2017) https://arxiv.org/abs/1706.08566 Satorras et al, E(n) Equivariant Graph Neural Networks. (2021) https://arxiv.org/abs/2102.09844 Anderson et al, Cormorant. (2019) https://arxiv.org/abs/1906.04015 Unke et al, PhysNet. (2019) https://arxiv.org/abs/1902.08408 Klicpera et al, DimeNet++. (2020) https://arxiv.org/abs/2011.14115 Fuchs et al, SE(3)-Transformers. (2021) https://arxiv.org/abs/2006.10503 Köhler et al, Equivariant Flows (Radial Field). (2020) https://arxiv.org/abs/2006.02425 Thomas et al, Tensor Field Networks. (2018) https://arxiv.org/abs/1802.08219 䎗⡦涸(//דכ㛇劤涸ז銲锜暴חꆀ㶨⻉㷕鎘皾鵚⡂ך㜥さ & ず㢌 & ♶㢌 4& ず㢌⾱㶨ךYZ[䏟垥⦼׾׉ךתת갥挿暴䗙ꆀחׅ׷ךכ 䎂遤獳⹛װ㔐鯄דYZ[כ㢌׻׷ָ⢽ִל׉ךⴓ㶨ךؒطؘٕ٦כ㢌׻׵זְ ̔穠さꞿ ⾱㶨꟦ך騃ꨄ ծ穠さ錬ծ✳꬗錬זו׾僇爙涸ח罋䣁ׅ׷䗳銲ָ֮׷ 갥挿װ鴟ך暴䗙ꆀװ(// ⱖ⫷ ךرؠ؎ٝד㹋植ׅ׷ ⱖ⫷ָ㢌䳔חꟼ׃ג ♶㢌 JOWBSJBU ず㢌 FRVJWBSJBOU <latexit sha1_base64="NH4UQ68bqmsH0AzQM//vHVYIu40=">AAACn3ichVFNLwNRFD0d3/VVbITN0FRq07wiiETSsGAlrSoVpJkZrzUxnZnMvDZoJNb+gIUVCYlYsPMDbPwBCz9BLCuxsXA7nUQQ3MnMO/e8e+6c965qG7orGHsKSA2NTc0trW3B9o7Oru5QT++qa5UcjWc0y7CcrKq43NBNnhG6MHjWdrhSVA2+pu7O1/bXytxxdctcEfs23yoqBVPP65oiiMqFBvLRwqa2bQl5b1SelQtyPclH90ZzoTCLMS/knyDugzD8SFqhO2xiGxY0lFAEhwlB2IACl54NxMFgE7eFCnEOId3b5zhEkLQlquJUoRC7S98CZRs+a1Je6+l6ao3+YtDrkFJGhD2yK1ZlD+yaPbP3X3tVvB41L/u0qnUtt3Pdx/3pt39VRVoFdj5Vf3oWyGPa86qTd9tjaqfQ6vrywUk1PbMcqYywc/ZC/s/YE7unE5jlV+0ixZdP//Cjkhe6MRpQ/Ps4foLVsVh8Mjaemggn5vxRtWIQw4jSPKaQwCKSyFD/I1ziBrfSkLQgLUnJeqkU8DV9+BLS+gekOpi/</latexit> f(g · x) = g · f(x) <latexit sha1_base64="z65vGkIR8AznuZeRro+w9TcH+xY=">AAACl3ichVHLSsNAFD3Gd3206kZxEyyVuilTFRVBLAri0qqtQislSac1mCYhmZZq8Qf8AReCoCAqfoAf4MYfcOEniMsKblx4mwZEi3rDZM6cuefOmbmqbeiuYOy5TWrv6Ozq7ukN9PUPDAZDQ8Np1yo7Gk9plmE5u6rickM3eUrowuC7tsOVkmrwHfVgtbG/U+GOq1vmtji0+V5JKZp6QdcUQVQuNFyIFrNa3hJydUpekgvR6lQuFGYx5oXcCuI+CMOPDSt0jyzysKChjBI4TAjCBhS49GUQB4NN3B5qxDmEdG+f4xgB0pYpi1OGQuwB/Yu0yvisSetGTddTa3SKQcMhpYwIe2K3rM4e2R17YR+/1qp5NRpeDmlWm1pu54Ino1vv/6pKNAvsf6n+9CxQwILnVSfvtsc0bqE19ZWj0/rW4makNsku2Sv5v2DP7IFuYFbetKsk3zz7w49KXujFqEHxn+1oBenpWHwuNpOcDSdW/Fb1YBwTiFI/5pHAOjaQovpVnOMaN9KYtCytSevNVKnN14zgW0jJT5AOlcI=</latexit> f(g · x) = f(x) <latexit sha1_base64="h5Nu57LzNEgsKVoc7SjFgDOfXxQ=">AAACiXichVFNLwNBGH6sr2p9FBeJS6OpODWzCOIkeuBIqyVpRXbXqGG/sjttQuMPOLkJTiQO4gf4AS7+gEN/gjiSuDh4d7uJIHg3s/PMM+/zzjPz6q4pfMlYs01p7+js6o71xBO9ff0DycGhku/UPIMXDcd0vA1d87kpbF6UQpp8w/W4ZukmX9f3c8H+ep17vnDsNXng8k1Lq9piRxiaJKpUrQg7tbSVTLMsCyP1E6gRSCOKFSd5hwq24cBADRY4bEjCJjT49JWhgsElbhMN4jxCItznOEKctDXK4pShEbtP/yqtyhFr0zqo6Ydqg04xaXikTCHDHtkNe2EP7JY9sfdfazXCGoGXA5r1lpa7WwPHI4W3f1UWzRK7n6o/PUvsYC70Ksi7GzLBLYyWvn54+lKYz2ca4+yKPZP/S9Zk93QDu/5qXK/y/MUffnTyQi9GDVK/t+MnKE1m1Zns1Op0emExalUMoxjDBPVjFgtYxgqKVH8PJzjDuZJQVGVOmW+lKm2RZhhfQsl9ANqLkbI=</latexit> g 2 G <latexit sha1_base64="98i0QCpyFbQuYbP7ylFU0FuKpWo=">AAACjHichVG7SgNBFD1Z3/GRqI1gEwyKVZjVoKIIoiCWSTQaMRJ210lcsi92JwEN/oCthYVaKFiIH+AH2PgDFn6CWCrYWHh3syAqxrvMzpkz99w5M1d1DN0TjD1FpLb2js6u7p5ob1//QCw+OLTp2TVX43nNNmy3oCoeN3SL54UuDF5wXK6YqsG31OqKv79V566n29aGOHD4rqlULL2sa4ogars8nygUhZ3YLsWTLMWCSPwGcgiSCCNjx+9QxB5saKjBBIcFQdiAAo++HchgcIjbRYM4l5Ae7HMcIUraGmVxylCIrdK/QqudkLVo7df0ArVGpxg0XFImMM4e2Q17ZQ/slj2zjz9rNYIavpcDmtWmljul2PHI+vu/KpNmgf0vVUvPAmXMBV518u4EjH8LramvH56+rs/nxhsT7Iq9kP9L9sTu6QZW/U27zvLcWQs/KnmhF6MGyT/b8RtsTqXkmdR0Np1cWg5b1Y1RjGGS+jGLJawhgzzVN3GCc1xIA1JaWpAWm6lSJNQM41tIq58ImpKf</latexit> f : X ! Y

灇瑔כ竲ֻׁ׵חⴓ㶨׾״׶葺ֻ邌植ׅ׷חכ˘ (FP.PM 4QIFSF/FU (FN/FU Liu et al https://arxiv.org/abs/2102.05013 Klicpera et
al (NeurIPS2021) https://arxiv.org/abs/2106.08903 Ganea et al (NeurIPS2021) https://arxiv.org/abs/2106.07802 4QIFSJDBM.FTTBHF1BTTJOH 4.1 ה׃ג♧菙䕎׾ⴓ匿 ✳꬗錬׮罋䣁ׅ׷ %JNF/FUך䭁䓸晛 ⡚ְؒطؘٕ٦ך$POGPSNFS،ٝ؟ٝـٕך 欰䧭חאְג4& ♶㢌ז䩛갫ד㹋植

堣唒㷕统ꆀ㶨⻉㷕鎘皾 Machine Learning at the Atomic Scale (Chem. Rev.) https://pubs.acs.org/toc/chreay/121/16
Data Science Meets Chemistry (Acc. Chem. Res.) https://pubs.acs.org/page/achre4/data-science-meets-chemistry

堣唒㷕统ءىُٖ٦ءّٝ Annu. Rev. Phys. Chem. 71:361–90 (2020) PNAS (2020) Acc.
Chem. Res. 54(7):1575–1585 (2021) ꆀ㶨⻉㷕鎘皾׌ֽדכזֻ圫ղזⴓꅿדءىُٖ٦ءّٝה堣唒㷕统ך輐さ灇瑔ָ渿׿ח灇瑔ׁ׸׷״ֲח

堣唒㷕统䩛竲ֹ涸乼⡲锷椚䱿锷 https://uclnlp.github.io/nampi/ Machine intelligence capable of learning complex procedural behavior,
inducing (latent) programs, and reasoning with these programs is a key to solving artiﬁcial intelligence. Recently, there have been a lot of success stories in the deep learning community related to learning neural networks capable of using trainable memory abstractions. Neural Abstract Machines & Program Induction • Differentiable Neural Computers / Neural Turing Machines (Graves+ 2014) • Memory Networks (Weston+ 2014) • Pointer Networks (Vinyals+ 2015) • Neural Stacks (Grefenstette+ 2015, Joulin+ 2015) • Hierarchical Attentive Memory (Andrychowicz+ 2016) • Neural Program Interpreters (Reed+ 2016) • Neural Programmer (Neelakantan+ 2016) • DeepCoder (Balog+ 2016) : 䩛竲ֹ涸٥鎸〾涸乼⡲׮㷕统דֹ׷فؚٗٓيה׃ג䪔ִ׷״ֲחז׏גֹ׋ 僇爙涸ז⻉㷕濼陎׮ 輐さ׃גְֽ׷ַ

ت٦ؙ؟؎سפ״ֲֿ׉ֿ׿ח׍כծ⚅歲 Ԩ ֿ׸תדך鑧כ⚺חչꆀ㶨⻉㷕鎘皾ח״׷ر٦ةպדغ٦ثٍٕז⚅歲 錁庠ظ؎ؤָזְ٥⳿⸂׾䖤׷ךח䗳銲⼧ⴓזⰅ⸂䞔㜠ָⴓַ׏גְ׷٥ְ׹ְ׹ז㣐鋉垷ז ؔ٦فٝر٦ةָⵃ欽דֹ׷ 2. "/* 0$ 1VC$IFN2$ $0--
.% (VBDB.PM  Ԩ ٔ،ٕז⚅歲כא׵ְ˘׉׿זח㿊קוךず颵זر٦ة《׸זְ״˘ ˖ 錁庠ظ؎ؤָ֮׶暟椚涸醱醡ָ䗳銲 ✳䏝庠׷ה⦼ָ殯ז׷倯ָ兛鸐 ˖ 椚锷鎘皾ח《׶Ⰵ׸׵׸גזְ搀侧ך❛窃㔓㶨װ㢩✉㔓㶨ך䕦갟 ˖ 醱꧟禸דכⰅ⸂㢌侧ח⡦׾Ⰵ׸׷ץֹזךַָ♶僇הְֲآٖٝو ̔Ⰵ⳿⸂ꟼ⤘ך堣䎷ָⴓַ׵זְַ׵堣唒㷕统׾⢪ְ׋ְךח䗳銲ז䞔㜠׾Ⰵ⸂ח Ⰵ׸זְה堣唒㷕统חכ亻⡂湱ꟼ׃ַ鋅ִזְ ˖ ׉׮׉׮鎘庠٥ⵖ䖴דֹזְ׋ֻׁ׿ךغحؙؚٓؐٝس㔓㶨ָ֮׷ ˖ ➂꟦ָ㹋꿀׾鎘歗ׅ׷ה䖤׵׸׷ر٦ةכ䌢חغ؎،أ׾ろ׬ ̔չ葺ְㅷ颵ךպ䗳銲⼧ⴓז鋅劤⢽׾⡲׷ךכ劤䔲חꨇ׃ְ )FMMP 8PSME

堣唒㷕统⻉㷕ך溪ך㉏겗 ♴鎸כו׸׮堣唒㷕统דַז׶넝礵䏝ז✮庠ָדֹתָׅծ׉׸כ猘׋׍ָ׉ך➬穈׫׾ 椚鍑דֹ׋ֿה׾㼰׃ד׮䠐㄂ׅ׷׌׹ֲַ וֲװ׏ג鋅ִגְ׷׮ך׾钠陎 וֲװ׏׋׵㔲烝⹧ג׷ ˑ֮׶ָהֲ˒ J’aime la musique I
love music וֲװ׏ג갈岚ַ׵鎉衝׾椚鍑 וֲװ׏ג㢳鎉铂׾椚鍑 չ✮庠ָדֹ׷պֿהכչ椚鍑պװչ涪鋅պָדֹ׷ֿה׾湫䱸כ䠐㄂׃זְ

㔓卓ך椚鍑חכ㹋꿀灇瑔 ➜Ⰵ灇瑔 ָ䗳銲♶〳妀堣唒㷕统כֻ֮תדر٦ةך⚥ך㢳如⯋湱ꟼ׾䯝ִծ׉׸ח״׏ג✮庠ׅ׷䪮遭 Ը錁㻊ׁ׸׋湱ꟼָ劤䔲ח㔓卓䚍׾ろ׬ךַ׾然ַ׭׷׋׭חכ㹋꿀ׅ׷׃ַזְ ⡤ꅾ 魦ꞿ 傈劤فٗꅿ椔Ꟛ䍊♧鮩鼅䩛ך魦ꞿ٥⡤ꅾر٦ة 䎃椔㔚Ⱅ䒭؟؎ز鼅䩛ر٦ة״׶荈⡲
չ⡤ꅾ׾㟓װׇל魦ꞿ׮⠼ן׷պָ姻׃ְַכ ֿך錁㻊ر٦ة׌ַֽ׵כ寸׃גⴓַ׵זְ 䘔欽窟鎘㷕ך㛇劤ךؗ 湱ꟼꟼ⤘כ䗳׆׃׮㔓卓ꟼ⤘׾䠐㄂׃זְ չ✮庠ָדֹ׷պֿהכչ椚鍑պװչ涪鋅պָ דֹ׷ֿה׾湫䱸כ䠐㄂׃זְ

邌植ה➜Ⰵ✮庠ַ׵椚鍑٥涪鋅פ ✲⟝כ؝ٝؾُ٦ة 堣唒㷕统 ך⚥ד饯ֹג׷׿ׄׯזְծ植㜥ד饯ֹגְ׷׿׌CZ⥯ 邌植 ➜Ⰵ ˖ 剣⸬זⰅ⸂㢌侧ךず㹀 ˖ 堣唒㷕统ةأؙךرؠ؎ٝ
˖ 鎮箺ر٦ةך鏣鎘ה　꧊ ˖ 傀㶷ךر٦ة٥濼陎ךⵃ欽 ˖ 㹋꿀ך鎘歗ה㹋倵 ˖ 穠卓ך鐰⣣ה鍑ꅸ ˖ 㹋꿀⻉㷕罏הך⼿⫴ ˖ 椚锷⻉㷕罏הך⼿⫴ 堣唒㷕统ٌرٕ 植㜥 ؝ٝؾُ٦ةך⚥ 猘׋׍װ㹋植韋植㜥ך䞔㜠׾Ⰵ׸׷ 䞔㜠׾植㜥ח䨱ׅ

侄鎮猰㷕灇瑔הכ穠㽷➂꟦ך㌀׫ չ椚鍑պװչ涪鋅պ׃׋ְךכ堣唒דכזֻ猘׋׍➂꟦ את׶ծ荈搫岀⵱ך㉏겗דכזֻ猘׋׍荈魦ך礵牞ה⚅歲ך֮׶倯ך㉏겗׾㉏ֲֿהחז׷

侄鎮猰㷕灇瑔הכ穠㽷➂꟦ך㌀׫ չ椚鍑պװչ涪鋅պ׃׋ְךכ堣唒דכזֻ猘׋׍➂꟦ את׶ծ荈搫岀⵱ך㉏겗דכזֻ猘׋׍荈魦ך礵牞ה⚅歲ך֮׶倯ך㉏겗׾㉏ֲֿהחז׷ ˖ 猘׋׍ךءّنְ钠濼腉⸂ח　ת׷״ֲזչ䎂僒ז椚鍑պָ実׭׵׸גְ׷կ

侄鎮猰㷕灇瑔הכ穠㽷➂꟦ך㌀׫ չ椚鍑պװչ涪鋅պ׃׋ְךכ堣唒דכזֻ猘׋׍➂꟦ את׶ծ荈搫岀⵱ך㉏겗דכזֻ猘׋׍荈魦ך礵牞ה⚅歲ך֮׶倯ך㉏겗׾㉏ֲֿהחז׷ ˖ 猘׋׍ךءّنְ钠濼腉⸂ח　ת׷״ֲזչ䎂僒ז椚鍑պָ実׭׵׸גְ׷կ ˖ 剣ꣲך儗꟦׃ַ欰ֹ׵׸זְ猘׋׍חչ涪鋅պהְֲ⡤꿀׾ֶ苇甧גׅ׷׋׭ךؼٝز ⳿׃ָ実׭׵׸גְ׷կ➂겲窫徦ךة؎ئىحزⰻח

侄鎮猰㷕灇瑔הכ穠㽷➂꟦ך㌀׫ չ椚鍑պװչ涪鋅պ׃׋ְךכ堣唒דכזֻ猘׋׍➂꟦ את׶ծ荈搫岀⵱ך㉏겗דכזֻ猘׋׍荈魦ך礵牞ה⚅歲ך֮׶倯ך㉏겗׾㉏ֲֿהחז׷ ˖ 猘׋׍ךءّنְ钠濼腉⸂ח　ת׷״ֲזչ䎂僒ז椚鍑պָ実׭׵׸גְ׷կ ˖ 剣ꣲך儗꟦׃ַ欰ֹ׵׸זְ猘׋׍חչ涪鋅պהְֲ⡤꿀׾ֶ苇甧גׅ׷׋׭ךؼٝز ⳿׃ָ実׭׵׸גְ׷կ➂겲窫徦ךة؎ئىحزⰻח ˖ 䞔㜠ך鿇ⴓ䚍ر٦ةחדֹ׷䞔㜠כְאד׮⚅歲ך䞔㜠ꆀךק׿ךמהַֽ׵׌ֽկ
ײֻ屎ך崧׸כ窫ִ׆׃גծ׃ַ׮׮הך宏ח֮׵׆կׅץג׾錁庠ׅ׷ֿהכדֹזְկ

ײֻ屎ך崧׸כ窫ִ׆׃גծ׃ַ׮׮הך宏ח֮׵׆կׅץג׾錁庠ׅ׷ֿהכדֹזְկ ˖ ➂꟦ָ♧欰䧄ㄏ꧊׭׋ر٦ةכוֲ׃׋׏ג⡦׵ַך⨉׶ַ׵鷕׸׵׸זְկ

ײֻ屎ך崧׸כ窫ִ׆׃גծ׃ַ׮׮הך宏ח֮׵׆կׅץג׾錁庠ׅ׷ֿהכדֹזְկ ˖ ➂꟦ָ♧欰䧄ㄏ꧊׭׋ر٦ةכוֲ׃׋׏ג⡦׵ַך⨉׶ַ׵鷕׸׵׸זְկ 䗳銲ז䞔㜠ךֲ׍ծְא׮⨉׏׋չ♧鿇պ׃ַر٦ةחכדֹזְ⵸䲿דծ猘׋׍荈魦ך鏩㺁 ꣲ歲ח鋅さֲ䞔㜠װ爙㇗׾䖤׷׋׭חչر٦ة׾✮庠ח㢌ִ׷麣Ⱗպ׾וֲ⢪ִ׷ַ

ײֻ屎ך崧׸כ窫ִ׆׃גծ׃ַ׮׮הך宏ח֮׵׆կׅץג׾錁庠ׅ׷ֿהכדֹזְկ ˖ ➂꟦ָ♧欰䧄ㄏ꧊׭׋ر٦ةכוֲ׃׋׏ג⡦׵ַך⨉׶ַ׵鷕׸׵׸זְկ ءّنְ钠濼腉⸂ךֶתִ׵➂꟦חה׏׋׵չؽحؚպر٦ةַ׮׃׵׿ֽוծ مٝوח䗳銲ז䞔㜠ꆀַ׵׃׋׵عشؙا׫׋ְז׮׿װז

堣唒㷕统ַ׵堣唒涪鋅פ Science 363 (2019) Nature 583 (2020) Nature Reviews Drug
Discovery 17 (2018) 㹋꿀荈⹛⻉ך䪮遭涸涪㾜⻉㷕ד׮ꬊ⸬桦ז⸤⫴ְָ׆׸荈⹛⻉ׁ׸׷ךכ娖〷涸䗳搫

堣唒㷕统ַ׵堣唒涪鋅פ ˖ 堣唒涪鋅䪮遭ך灇瑔㛇湍ה׃גꬊ䌢חꅾ銲ⱄ植䚍٥㾩➂䚍זוر٦ةך颵הꆀך然⥂ 㣟侁ر٦ة׾《׷㹋꿀װٓٝتي㹋꿀כر٦ة猰㷕♳כ䗳銲׌ָ➂꟦כװ׶׋ֻזְ˘ Science 363 (2019) Nature 583 (2020)
Nature Reviews Drug Discovery 17 (2018) 㹋꿀荈⹛⻉ך䪮遭涸涪㾜⻉㷕ד׮ꬊ⸬桦ז⸤⫴ְָ׆׸荈⹛⻉ׁ׸׷ךכ娖〷涸䗳搫

堣唒㷕统ַ׵堣唒涪鋅פ ˖ 堣唒涪鋅䪮遭ך灇瑔㛇湍ה׃גꬊ䌢חꅾ銲ⱄ植䚍٥㾩➂䚍זוر٦ةך颵הꆀך然⥂ 㣟侁ر٦ة׾《׷㹋꿀װٓٝتي㹋꿀כر٦ة猰㷕♳כ䗳銲׌ָ➂꟦כװ׶׋ֻזְ˘ ˖ 涪鋅ָ荈⹛⻉דֹ׷ַכ"*ⴓꅿחה׏ג׮琎䎃ך劢鍑寸㉏겗կչ➂䊨濼腉պ׾⡲׶׋ְז׵ 猘׋׍ָ傈ղ㼭ׁזչ涪鋅պהչ㷕统պ׾粸׶鵤׃ג⚅歲׾椚鍑׃גְֻ麓玎ך椚鍑כ♶〳鼘 Science 363 (2019)
Nature 583 (2020) Nature Reviews Drug Discovery 17 (2018) 㹋꿀荈⹛⻉ך䪮遭涸涪㾜⻉㷕ד׮ꬊ⸬桦ז⸤⫴ְָ׆׸荈⹛⻉ׁ׸׷ךכ娖〷涸䗳搫

堣唒㷕统ַ׵堣唒涪鋅פ ˖ 堣唒涪鋅䪮遭ך灇瑔㛇湍ה׃גꬊ䌢חꅾ銲ⱄ植䚍٥㾩➂䚍זוر٦ةך颵הꆀך然⥂ 㣟侁ر٦ة׾《׷㹋꿀װٓٝتي㹋꿀כر٦ة猰㷕♳כ䗳銲׌ָ➂꟦כװ׶׋ֻזְ˘ ˖ 涪鋅ָ荈⹛⻉דֹ׷ַכ"*ⴓꅿחה׏ג׮琎䎃ך劢鍑寸㉏겗կչ➂䊨濼腉պ׾⡲׶׋ְז׵ 猘׋׍ָ傈ղ㼭ׁזչ涪鋅պהչ㷕统պ׾粸׶鵤׃ג⚅歲׾椚鍑׃גְֻ麓玎ך椚鍑כ♶〳鼘 ˖ 㹋꿀荈⹛⻉ָ㹋植ׁ׸ג׮չ䌢חמהַֽ׵ך鿇ⴓ䞔㜠׃ַ䩛חⰅ׵זְպ劤颵כ㢌׻׵זְ Science
363 (2019) Nature 583 (2020) Nature Reviews Drug Discovery 17 (2018) 㹋꿀荈⹛⻉ך䪮遭涸涪㾜⻉㷕ד׮ꬊ⸬桦ז⸤⫴ְָ׆׸荈⹛⻉ׁ׸׷ךכ娖〷涸䗳搫

堣唒㷕统㾊״ծչ걧ד׏ַ׍պַ׵膴׃ծ植㜥ח⳿״ֲ ✲⟝כ؝ٝؾُ٦ة 堣唒㷕统 ך⚥ד饯ֹג׷׿ׄׯזְծ植㜥ד饯ֹגְ׷׿׌CZ⥯ 邌植 ➜Ⰵ ˖ 剣⸬זⰅ⸂㢌侧ךず㹀 ˖ 堣唒㷕统ةأؙךرؠ؎ٝ
˖ 鎮箺ر٦ةך鏣鎘ה　꧊ ˖ 傀㶷ךر٦ة٥濼陎ךⵃ欽 ˖ 㹋꿀ך鎘歗ה㹋倵 ˖ 穠卓ך鐰⣣ה鍑ꅸ ˖ 㹋꿀⻉㷕罏הך⼿⫴ ˖ 椚锷⻉㷕罏הך⼿⫴ 堣唒㷕统ٌرٕ 植㜥 ؝ٝؾُ٦ةך⚥ 猘׋׍װ㹋植韋植㜥ך䞔㜠׾Ⰵ׸׷ 䞔㜠׾植㜥ח䨱ׅ

⻌嵲麣㣐㷕⻉㷕⿾䘔ⶼ䧭灇瑔䬿挿 *$3F%% 涰䨌ꐤ熊ך鎘皾⻉㷕罏٥㹋꿀⻉㷕罏٥䞔㜠猰㷕罏ָ穠鎶׃גչ⻉㷕⿾䘔ךرؠ؎ٝה涪鋅պך װ׶倯׾ꬠ倜ׅ׷ֿה׾湡䭷׃ג꧊ֲ咿㿊屯կ傈ղ嚂׃ְ灇瑔ה陽锷ָ粸׶䎢־׵׸גְ׷կ 猘ך״ֲז䪮遭㾊חה׏ג׮堣唒㷕统٥堣唒涪鋅ך䪮遭灇瑔ה㹋⚅歲嗚鏾ך׋׭ך脼،خז植㜥䎃ظ٦كٕ⻉㷕颣「颣 ،؎ؙٖحس

תה׭.BZUIF.-GPSDFCFXJUIZPV 堣唒㷕统ה堣唒涪鋅ך䪮遭㾊ַ׵鋅׋ر٦ة⚥䗰㘗ך⻉㷕٥勞俱猰㷕ך侄鎮הֿ׸ַ׵ ๏ ⴓ㶨ך邌植㷕统ה(SBQI/FVSBM/FUXPSLT ๏ 䌓秛غ؎،أך鏣鎘הؚٖ؎نحؙأ剑黝⻉ ٓ؎ز؟؎س⯔僇꬗ ت٦ؙ؟؎س农랲꬗ ๏ 繎欰Ꟍ⸬卓ה6OEFSTQFDJDBUJPO
๏ չ✮庠ָדֹ׷ֿהպכչ椚鍑պװչ涪鋅պָדֹ׷ֿה׾䠐㄂׃זְ 堣唒㷕统כչر٦ة׾✮庠ח㢌ִ׷պ䓼⸂זذؙظٗآ٦ 荈搫猰㷕ך㹋植韋ر٦ةד⢪ֲךכְ׹ְ׹慧يؤ ➂ָ✲㹋׾欽ְג猰㷕׾אֻ׷ךכծ瀖׾欽ְג㹺׾鸡׷״ֲז׮ךד֮׷կ ✲㹋ך꧊琎ָ猰㷕דזְֿהכծ瀖ך꧊琎ָ㹺דזְךהずֿׄהד֮׷կ ،ٝٔ٥ه،ٖٝؕչ猰㷕ה⟎铡պ

(2021.11) 機械学習と機械発見：データ中心型の化学・材料科学の教訓とこれから

(2021.11) 機械学習と機械発見：データ中心型の化学・材料科学の教訓とこれから

More Decks by itakigawa

Featured

Transcript