Machine Learning for Molecules: Lessons and Challenges of Data-Centric Chemistry

Perspectives on Artificial Intelligence and Machine Learning in Materials Science, FY2021 IMI Joint Usage Research, Kyushu University, Feb 4-6, 2022.

https://joint.imi.kyushu-u.ac.jp/post-2695/

Transcript

1. Machine Learning for Molecules Lessons and Challenges of Data-Centric Chemistry Ichigaku Takigawa https://itakigawa.github.io/ 3*,&/
   $FOUFS
   GPS
   "EWBODFE
   *OUFMMJHFODF
   1SPKFDU
   "*1
   *OTUJUVUF
   GPS
   $IFNJDBM
   3FBDUJPO
   %FTJHO
   BOE
   %JTDPWFSZ
   *$3F%%
   )PLLBJEP
   6OJWFSTJUZ Feb 5th, 2022
2. ୍઒
   Ұֶ TAKIGAWA Ichigaku https://itakigawa.github.io • 1995-2004 Hokkaido Univ (Grad School. Engineering) 2004 PhD Computer Science • 2005-2011 Kyoto Univ (Inst. Chemical Research) Bioinformatics Center, Assist. Prof. Grad School Pharmaceutical Sciences, Assit. Prof. • 2012-2018 Hokkaido Univ (Grad School. Info Sci & Tech) Large-Scale Knowledge Processing Lab, Assoc. Prof. 2015-2018 JST PRESTO for Materials Informatics • 2019- RIKEN Center for AI Project @ ATR Kyoto 2019- Hokkaido Univ (Inst. Chemical Reaction Design & Discovery) Hi, I am a machine-learning researcher RIKEN AIP Kyoto, Kyoto Univ CiRA, Nikon jointly working on stem cell biology.
3. ୍઒
   Ұֶ TAKIGAWA Ichigaku https://itakigawa.github.io • 1995-2004 Hokkaido Univ (Grad School. Engineering) 2004 PhD Computer Science • 2005-2011 Kyoto Univ (Inst. Chemical Research) Bioinformatics Center, Assist. Prof. Grad School Pharmaceutical Sciences, Assit. Prof. • 2012-2018 Hokkaido Univ (Grad School. Info Sci & Tech) Large-Scale Knowledge Processing Lab, Assoc. Prof. 2015-2018 JST PRESTO for Materials Informatics • 2019- RIKEN Center for AI Project @ ATR Kyoto 2019- Hokkaido Univ (Inst. Chemical Reaction Design & Discovery) But also, I am a machine-learning user RIKEN AIP Kyoto, Kyoto Univ CiRA, Nikon jointly working on stem cell biology.
4. Inst. Chemical Reaction Design and Discovery https://www.icredd.hokudai.ac.jp We're working on real-world chemistry with great chemists! Prof. Ben List got 2021 Nobel Prize in Chemistry
5. My interest: Machine learning with discrete structures Discrete structures, i.e., combinatorial or algebraic structures such as sets, groups, permutations, combinations, sequences, trees, and graphs Target objects Relations between target objects ML models
6. https://cen.acs.org/physical-chemistry/computational-chemistry/Exploring-chemical-space-AI-take/98/i13 Molecules clearly have a combinatorial aspect
7. How can ML leverage these combinatorial nature? • A molecule is a set of atoms and bonds • A chemical reaction is a recombination pattern of bonds Compositionality and hiearchy Similar to natural language? We combine words to make any complicated sentences. The underlying rules are (largely) governed by many-body quantum chemistry of electrons Substituents
8. This talk 1. What actually ML is? 2. The dark side: Modern aspects of ML 3. The light side: Deep learning for molecules A quick review on the dark side and light side of ML from both viewpoints as an ML algorithm researcher and an ML practitioner/user May the ML Force be with you… Science is built up of facts, as a house is built of stones; but an accumulation of facts is no more a science than a heap of stones is a house. Henri Poincaré "Science and hypothesis" This slide is available at https://itakigawa.github.io/news.html
9. ML converts data into "prediction" get weight, height
10. ML converts data into "prediction" get weight, height 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Orange Ӫ
    Apple
11. ML converts data into "prediction" get weight, height 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Orange Ӫ
    Apple
12. ML converts data into "prediction" get weight, height 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Orange Ӫ
    Apple Height (cm) Weight (g) Ӫ
    Apple Ӫ
    Orange A program for "prediction"
13. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g)
14. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g)
15. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g)
16. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g)
17. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g)
18. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g)
19. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g)
20. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g)
21. ML converts data into "prediction" A program for "prediction" Ӫ
    Apple Ӫ
    Orange 5 6.25 7.5 8.75 10 90 112.5 135 157.5 180 • • • • • • • • • • Weight (g) Height (cm) Ӫ
    Apple Ӫ
    Orange Height (cm) Weight (g) Now we got a computer program to predict "orange or apple" for any unseen ones directly from collected data
22. ML is a new (lazy) way of programming Object recognition Game play ˑ֮׶ָהֲ˒ J’aime la musique I love music Speech recognition Machine translation Super resolution ML generates a computer program just by giving many input-output examples even when we don't know the underlying mechanism between inputs and outputs.
23. This simple idea is more powerful than you may think Remarkably powerful when we have relevant input-output examples (it's useless if we don't)
24. Many ways to mathematically represent the boundary ر٦ة Decision Tree Random Forest GBDT Nearest Neighbor Logistic Regression SVM Gaussian Process Neural Network This is why you see too many algorithms when you start to learn ML…
25. But anyway, we're just tweaking parameters for a good fit p1 p2 p3 p4  Surface model Internally, we're just fitting a surface to given points by adjusting its parameter values. Random Forest Gaussian Process Logistic Regression
26. Deep Learning (Representation Learning) q1 q2 q3 q4  Surface model Input variables Standard ML Random Forest GBDT Nearest Neighbor SVM Gaussian Process Neural Network
27. Deep Learning (Representation Learning) q1 q2 q3 q4  p1 p2 p3 p4  Variable transformation <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 <latexit sha1_base64="wThlqV4N/f6TJkASaopeeXy6hGk=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTg2JcEd245CGPBAlp64gNpW3aQgLEHzBxKwtXmrgwfoAf4MYfcMEnGJeYuHHhpTQxSsTbTOfMmXvunJkrm5pqO4z1fMLE5NT0jH82MDe/sBgMLS3nbaNhKTynGJphFWXJ5pqq85yjOhovmhaX6rLGC3LtYLBfaHLLVg39yGmZvFyXqrp6qiqSQ1S2XREroQiLMTfCo0D0QARepIzQI45xAgMKGqiDQ4dDWIMEm74SRDCYxJXRIc4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq0HNW1XrdApGg2LlGFE2Qu7Z332zB7YK/v8s1bHrTHw0qJZHmq5WQlerGY//lXVaXZw9q0a69nBKXZdryp5N11mcAtlqG+2u/3sXiba2WC37I3837Aee6Ib6M135S7NM9dj/MjkhV6MGiT+bscoyG/FxJ1YPB2PJPe9VvmxhnVsUj8SSOIQKeSofhWXuEJX8AsxYVtIDFMFn6dZwY8Qkl9Y9pCe</latexit> z1 <latexit sha1_base64="eRVZ9lBHtuomnSZ9U9icTCKNkZM=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDQTGuiG5c8pBHgoS0dcCG0jZtIQHiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVDFWxbMb6HmFqemZ2zjvvW1hcWvYHVlbzlt40ZZ6TdVU3i5JocVXReM5WbJUXDZOLDUnlBal+ONwvtLhpKbp2bLcNXm6INU2pKrJoE5XtVGKVQIhFmBPBcRB1QQhupPTAI05wCh0ymmiAQ4NNWIUIi74SomAwiCujS5xJSHH2Oc7hI22TsjhliMTW6V+jVcllNVoPa1qOWqZTVBomKYMIsxd2zwbsmT2wV/b5Z62uU2PopU2zNNJyo+K/WM9+/Ktq0Gzj7Fs10bONKvYcrwp5NxxmeAt5pG91eoPsfibc3WK37I3837A+e6IbaK13+S7NM9cT/EjkhV6MGhT93Y5xkI9ForuReDoeSh64rfJiA5vYpn4kkMQRUshR/RoucYWe4BUiwo6QGKUKHlezhh8hJL8AWxaQnw==</latexit> z2 -BUFOU
    WBSJBCMFT Deep Learning 5IJT
    QBSU
    DBO
    CF
    TJNQMF
    
    JG
    XF
    DBO
    OE
    BOE
    MFBSO
    B
    HPPE
    SFQSFTFOUBUJPO
    PG
    UIF
    JOQVU Standard ML Input variables Surface model
28. Pitfall: The lure of wishful wordings The current ML is stunningly powerful but it's very different from our sci-fi image of "AI". Be careful about these "wishful" wordings that needlessly distract and mislead us! Why Is AI So Dumb? A SPECIAL REPORT "Artificial intelligence" doesn't mean that we have something artificial also intelligent like us. "Machine learning" doesn't mean that machines actually learn things like us.
29. This talk 1. What actually ML is? 2. The dark side: Modern aspects of ML 3. The light side: Deep learning for molecules A quick review on the dark side and light side of ML from both viewpoints as an ML algorithm researcher and an ML practitioner/user May the ML Force be with you… Science is built up of facts, as a house is built of stones; but an accumulation of facts is no more a science than a heap of stones is a house. Henri Poincaré "Science and hypothesis" This slide is available at https://itakigawa.github.io/news.html
30. The dark side: Modern aspect of ML • High dimensionality: Too many input variables We tend to use many input variables because ML is completely unaware of any information not in the input variables. Missing relevant factors results in spurious correlation. 100 x 100 RGB image = 30 thousand variables e.g.) 1000 x 1000 RGB image = 3 million variables
31. The dark side: Modern aspect of ML • Overrepresentation: Too many parameters ResNet50: 26 million params ResNet101: 45 million params EfficientNet-B7: 66 million params VGG19: 144 million params 12-layer, 12-heads BERT: 110 million params 24-layer, 16-heads BERT: 336 million params GPT-2 XL: 1558 million params GPT-3: 175 billion params e.g.) Remember that we're fitting a surface with hundreds million parameters in a several million dimensional space! • High dimensionality: Too many input variables We tend to use many input variables because ML is completely unaware of any information not in the input variables. Missing relevant factors results in spurious correlation. 100 x 100 RGB image = 30 thousand variables e.g.) 1000 x 1000 RGB image = 3 million variables
32. The dark side: Modern aspect of ML • Data hungriness: Big data is big for human, but can be too small for ML models… As a result, it requires huge good data to make current ML models work.
33. The dark side: Modern aspect of ML • Data hungriness: Big data is big for human, but can be too small for ML models… As a result, it requires huge good data to make current ML models work. Think twice about how complex the input-output relationship you are trying to find by ML is. How many samples will be statistically sufficient to estimate 2-variable functions like these? What if you're fitting a 100-variable function, or 10-thousand-variable function?
34. The curse of dimensionality Bronstein MM, Bruna J, Cohen T, Veličković P. Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges. arXiv [cs.LG]. 2021. http://arxiv.org/abs/2104.13478 A classic result in function approximation: If we must approximate a function of d variables and we know only that it is Lipschitz, say, then we need order (1/ε)d observations on a grid in order to obtain an approximation scheme with uniform approximation error ε. for all <latexit sha1_base64="NqBYbofjRLhsRuy5gs3o5FfAjVo=">AAAConichVG7SgNBFD1Z3/EVtRFECEbFKkwkqKQK2ohVHkaFJIbddRKX7IvdSUCDlZ0/YGGlYCF2WvgBNv6ART5BLBVsLLzZLAQN6l1m58yZe+6cmavYuuYKxpoBqae3r39gcCg4PDI6Nh6amNxxrZqj8pxq6Zazp8gu1zWT54QmdL5nO1w2FJ3vKtWN1v5unTuuZpnb4sjmRUOumFpZU2VBVCk0W04UDFkcKkojc7J/EC4IK9whSqEIizIvwt0g5oMI/EhZoQcUcAALKmowwGFCENYhw6UvjxgYbOKKaBDnENK8fY4TBElboyxOGTKxVfpXaJX3WZPWrZqup1bpFJ2GQ8owFtgzu2Fv7Indshf2+Wuthlej5eWIZqWt5XZp/Gw6+/GvyqBZ4LCj+tOzQBlrnleNvNse07qF2tbXj8/fsonMQmORXbFX8n/JmuyRbmDW39XrNM9c/OFHIS/0YtSg2M92dIOd5WhsJRpPxyPJdb9Vg5jBHJaoH6tIYhMp5Kj+KW5wh3tpXtqS0lK2nSoFfM0UvoVU+AKNf5vS</latexit> f : Rd ! R <latexit sha1_base64="bLp7Jqe5Ke+bRuLIs0xt/zwFMHo=">AAACmnichVHLLgRBFD3T3u9BJBIWExOPhUxqRBCrCRtiM8a8EsOkuxUq+pXumgk68wN+wMKKxAIf4ANs/ICFTxBLEhsLd3o6EQS3U12nTt1z61RdzTGEJxl7jChNzS2tbe0dnV3dPb190f6BvGdXXJ3ndNuw3aKmetwQFs9JIQ1edFyumprBC9rBcn2/UOWuJ2wrK48cvmWqe5bYFboqiSpHhw6nDydjJWHFSqYq9zXNz9S2d8rROEuwIGI/QTIEcYSRtqO3KGEHNnRUYILDgiRsQIVH3yaSYHCI24JPnEtIBPscNXSStkJZnDJUYg/ov0erzZC1aF2v6QVqnU4xaLikjGGcPbAr9sLu2Q17Yu+/1vKDGnUvRzRrDS13yn0nwxtv/6pMmiX2P1V/epbYxULgVZB3J2Dqt9Ab+urx6cvGYmbcn2AX7Jn8n7NHdkc3sKqv+uU6z5z94UcjL/Ri1KDk93b8BPmZRHIuMbs+G08tha1qxwjGMEX9mEcKK0gjR/V9nOMaN8qosqSsKmuNVCUSagbxJZTsB6MZmAU=</latexit> x, x0 2 Rd -Lipschitz <latexit sha1_base64="VAwN9BEfNuoROOZ0f78ZUuUItlA=">AAACqHichVFNLwNRFD0d39/FRmIz0fhM2ryKIFYNGwuL+qgSFZkZr0y8zoyZ16a0fgB/wMKKxEIsLLG28Qcs/ASxJLGxcDudRBDcybx73nn33Dlvru4I05OMPYaUmtq6+obGpuaW1rb2jnBn17Jn512Dpwxb2O6KrnlcmBZPSVMKvuK4XMvpgqf1nZnKebrAXc+0rSW55/D1nLZlmVnT0CRRG+FIOTtUHI7SMjhcVjOC73pCs6Q6p2bKajFaHKRMVSzG/FB/gngAIggiaYevkcEmbBjIIwcOC5KwgAaPnjXEweAQt44ScS4h0z/nOEAzafNUxalCI3aH1i3arQWsRftKT89XG/QVQa9LShX97IFdsBd2zy7ZE3v/tVfJ71HxskdZr2q5s9Fx1LP49q8qR1li+1P1p2eJLCZ9ryZ5d3ymcgujqi/sH78sTi30lwbYGXsm/6fskd3RDazCq3E+zxdO/vCjkxf6YzSg+Pdx/ATLo7H4eGxsfiySmA5G1Yhe9GGI5jGBBGaRRIr6H+IKN7hVRpSkklZWq6VKKNB040so+gci3ZxP</latexit> |f(x) f(x0)| 6 Lkx x0k <latexit sha1_base64="+ZiSkRyCDmMX1dfLuFjrVp2j6hw=">AAAChHichVG7SgNBFD1ZNcZ31EawCQbFQsJE4wMLCdpYWJjERCGK7K6TOLjZXXYngRj8AW0VCysFC/ED/AAbf8AinyCWEWwsvNksiAb1LrNz5sw9d87M1WxDuJKxekDp6OwKdod6evv6BwaHwsMjOdcqOzrP6pZhOTua6nJDmDwrhTT4ju1wtaQZfFs7Wmvub1e44wrL3JJVm++V1KIpCkJXJVGpjf1wlMWYF5F2EPdBFH5sWuEH7OIAFnSUUQKHCUnYgAqXvjziYLCJ20ONOIeQ8PY5TtBL2jJlccpQiT2if5FWeZ81ad2s6XpqnU4xaDikjGCSPbM71mBP7J69sI9fa9W8Gk0vVZq1lpbb+0OnY5n3f1UlmiUOv1R/epYoYMnzKsi77THNW+gtfeX4spFZTk/WptgNeyX/16zOHukGZuVNv03x9NUffjTyQi9GDYr/bEc7yM3G4guxRCoRTa76rQphHBOYpn4sIol1bCJL9TnOcI4LJajMKHPKfCtVCfiaUXwLZeUTeMOPzA==</latexit> L Donoho DL, High-dimensional data analysis: The curses and blessings of dimensionality. Plenary Lecture, AMS National Meeting on Mathematical Challenges of the 21st Century. 2000. gives similar outputs for similar inputs
35. The interpolation vs extrapolation argument https://youtu.be/86ib0sfdFtw • If we define 'interpolation' as Interpolation occurs for a sample x whenever this sample falls inside the given dataset’s convex hull. • Then, the paper empirically and theoretically demonstrates that "on any high-dimensional (>100) dataset, interpolation almost surely never happens." • "Those results challenge the validity of our current interpolation/extrapolation definition as an indicator of generalization performances. " • In high dimension, even just determining interpolation or extrapolation is already counter-intuitive… Balestriero R, Pesenti J, LeCun Y. Learning in High Dimension Always Amounts to Extrapolation. arXiv [cs.LG]. 2021. http://arxiv.org/abs/2110.09485 Over 3 hours interview with authors @ MLStreetTalk sample x dataset’s convex hull
36. Assessing ML predictions is intrinsically very hard! It is quite obvious that ML correctly makes prediction for the given training data. ML predictions must be evaluated by using some data except the given training data, but they can mean any data we haven't seen yet. ✓ We have no other choice but to use some finite data for assessing any ML predictions. ✓ They are already in hand, and unintended cheating (data leakage) is very likely to happen Ԯ
    Training ԯ
    Validation ԰
    Test Example/Practice Questions + Answers Practice Tests + Answers Real Test (+ Answers)
37. Big challenge: Rashomon effect and underspecification Rashomon Effect: The multiplicity of good ML models In general, we can have many equally good but very different ML models that give equally accurate predictions for the given data.
38. Big challenge: Rashomon effect and underspecification Rashomon Effect: The multiplicity of good ML models In general, we can have many equally good but very different ML models that give equally accurate predictions for the given data. • Many explanations can exist for a single set of finite observations in general . (whether they are given by ML or by human experts.)
39. Big challenge: Rashomon effect and underspecification Rashomon Effect: The multiplicity of good ML models In general, we can have many equally good but very different ML models that give equally accurate predictions for the given data. • Many explanations can exist for a single set of finite observations in general . (whether they are given by ML or by human experts.) • They can largely disagree in a underspecified situation where data is statistically insufficient. Any ML model will work Different models can give very different predictions for out-of-sample cases Neural Network (Tanh) Kernel Ridge (RBF) Neural Network (ReLU)
40. https://arxiv.org/abs/2011.03395 https://ai.googleblog.com/2021/10/ how-underspecification-presents.html • We often see ML failures in real-world domains even when we trained them on well-curated data that structurally matched with the application domain. • "While ML models are validated on held-out data, this validation is often insufficient to guarantee that the models will have well-defined behavior when they are used in a new setting. " Underspecification appears in many practical ML systems?
41. Berner J, Grohs P, Kutyniok G, Petersen P. The Modern Mathematics of Deep Learning. arXiv [cs.LG]. 2021. http://arxiv.org/abs/2105.04026 Zhang C, Bengio S, Hardt M, Recht B, Vinyals O. Understanding deep learning (still) requires rethinking generalization. Commun ACM. 2021;64: 107–115. Many points in ML are still open problems! Definitely we still need to rethink our traditional understanding on concepts like generalization, overfitting, bias-variance tradeoff, interpolation/extrapolation, the curse of dimensionality, etc. • Too high expressive power Zero training error on random labels. (DL can represent any function / memorize entire data) • Benign overfitting (when interpolating noisy training data) Low test error even when we have zero training error on noisy training data. • Implicit regularization Stochastic optimization like SGD prefers low-complexity solutions.
42. A toy case: 'Benign' zero training error on noisy data PolyReg(1) RMSE 0.299 PolyReg(3) RMSE 0.28 PolyReg(5) RMSE 0.225 PolyReg(7) RMSE 0.113 PolyReg(10) RMSE 0.0189 PolyReg(15) RMSE 0.00737 PolyReg(20) RMSE 0.000 PolyReg(30) RMSE 0.000 ExtraTrees (no bootstrap) RMSE 0.000 ExtraTrees (bootstrap) RMSE 0.0121 Random Forest RMSE 0.012 LGBM RMSE 0.0508 95%-CI 95%-CI 95%-CI 95%-CI Problematic overfitting by polynomial regression of order k clearly overfitted but harmless (still informative) also we can assess the uncertainty
43. This talk 1. What actually ML is? 2. The dark side: Modern aspects of ML 3. The light side: Deep learning for molecules A quick review on the dark side and light side of ML from both viewpoints as an ML algorithm researcher and an ML practitioner/user May the ML Force be with you… Science is built up of facts, as a house is built of stones; but an accumulation of facts is no more a science than a heap of stones is a house. Henri Poincaré "Science and hypothesis" This slide is available at https://itakigawa.github.io/news.html
44. 1. Regularization (inc. implicit regularization by SGD) ML's interests: How to tame the high dimensionality? 2. Good initial value (warm start) of general use Control, restrict, or stabilize the solution space or optimization Trying to find the global minimum of very bumpy loss landscape… Large-scale pretraining and its transfer
45. 1. Regularization (inc. implicit regularization by SGD) ML's interests: How to tame the high dimensionality? 2. Good initial value (warm start) of general use Control, restrict, or stabilize the solution space or optimization Trying to find the global minimum of very bumpy loss landscape… Large-scale pretraining and its transfer 3. Relevant "inductive bias" ML models that can represent any function make worse the risk of Rashomon effect, underspecification, and spurious correlation. Design inductive biases (features, architectures, models, etc) by chemical knowledge, expert intuition, and theory so that ML models don't unintentionally represent a function that lacks any chemical validity.
46. Graph Neural Networks (GNNs) in general GNN Layer 1 3 2 4 1 2 3 4 5 6 1 2 3 4 1 2 3 4 5 6 Node features Edge features 1 3 2 4 1 2 3 4 5 6 1 2 3 4 1 2 3 4 5 6 Global Pooling (Readout) Graph-level Prediction Node-level Prediction Edge-level Prediction Update Update Head Head Head × Layers Derrow-Pinion A, She J, Wong D, Lange O, Hester T, Perez L, et al. ETA Prediction with Graph Neural Networks in Google Maps. CIKM 2021 Fang X, Huang J, Wang F, Zeng L, Liang H, Wang H. ConSTGAT: Contextual Spatial-Temporal Graph Attention Network for Travel Time Estimation at Baidu Maps. KDD 2020 Dong XL, He X, Kan A, Li X, Liang Y, Ma J, et al. AutoKnow: Self- Driving Knowledge Collection for Products of Thousands of Types. KDD 2020 Dighe P, Adya S, Li N, Vishnubhotla S, Naik D, Sagar A, et al. Lattice-Based Improvements for Voice Triggering Using Graph Neural Networks. ICASSP 2020 Travel Time Estimation (Google Maps, Baidu Maps) Siri Triggering (Apple) Knowledge Collection (Amazon)
47. Graph neural networks for chemical problems Topology An input graph Edge Features Node features p1 p2 p3  Representation Learning q1 q2 q3  Classification / Regression Head Other Info (Conditions, Environment, …)
48. Molecular graphs 1. 2. 1 2 1 0 2 3 12 0 3 4 12 0 4 5 12 0 5 6 12 0 6 7 12 0 7 8 2 0 7 9 12 0 9 10 12 0 10 11 2 0 10 12 12 0 12 13 1 0 9 14 1 0 6 2 12 0 12 5 12 0 1. 2. 3. 4. 5. 6. 1 C 6 4 3 0 12.011 0 2 N 7 3 0 0 14.007 1 3 C 6 3 1 0 12.011 1 4 N 7 2 0 0 14.007 1 5 C 6 3 0 0 12.011 1 6 C 6 3 0 0 12.011 1 7 C 6 3 0 0 12.011 1 8 O 8 1 0 0 15.999 0 9 N 7 3 0 0 14.007 1 10 C 6 3 0 0 12.011 1 11 O 8 1 0 0 15.999 0 12 N 7 3 0 0 14.007 1 13 C 6 4 3 0 12.011 0 14 C 6 4 3 0 12.011 0 8 11 12 2 9 4 6 5 7 10 3 13 1 14 Node features Edge features 1. Atomic number 2. # of directly-bonded neighbors 3. # of hydrogens 4. Formal charge 5. Atomic mass 6. Is in a ring? 1. Bond type 2. Stereochemistry
49. Geometric graphs Non-geometric node features Non-geometric edge features + Can be added
50. https://youtu.be/uF53xsT7mjc https://youtu.be/w6Pw4MOzMuo ICLR 2021 Keynote (Michael Bronstein) Seminar Talk (Petar Veličković) Geometric Deep Learning (GDL) Bronstein MM, Bruna J, Cohen T, Veličković P. Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges. arXiv [cs.LG]. 2021. http://arxiv.org/abs/2104.13478 https://geometricdeeplearning.com
51. Atz K, Grisoni F, Schneider G. Geometric deep learning on molecular representations. Nature Machine Intelligence. 2021;3: 1023–1032. https://arxiv.org/abs/2107.12375 GDL for molecular representations We need to consider equivariance under E(3) or SE(3) for some geometric features (coordinates, forces, vector field, etc)
52. Graph Representation Learning p1 p2 p3  Representation Learning Topology Node Features Edge Features We can seek for a good representation vector that can be computed from a molecular graph, which is expected to be superior to any man-made descriptors! A relatively low-dimensional good representation vector
53. Beyond man-made descriptors • 0-Dimensional Descriptors • Constitutional descriptors • Count descriptors • 1-Dimensional Descriptors • List of structural fragments • Fingerprints • 2-Dimensional Descriptors • Graph invariants • 3-Dimensional Descriptors • 3D MoRSE, WHIM, GETAWAY, ... • Quantum-chemical descriptors • Size, steric, surface, volume, … • 4-Dimensional Descriptors • GRID, CoMFA, Volsurf, ... "Dragon calculates 5,270 molecular descriptors" "Vol 1 contains an alphabetical listing of more than 3,300 descriptors"
54. Message Passing: The inner workings of GNNs N O C C C C H H H H H N O C C C C H H H H H GNN Layer Message Passing q1 q2 q3  Classification / Regression Head Update features by aggregating features around each node Ԯ
    Message Permutation equivariant operations • NN such as MLPs • Edge features usable • Sum, Mean or Max • Attentive pooling ԯ
    Aggregate Permutation invariant operations ԰
    Update • NN such as MLPs N O C C C C H H H H H Readout • Sum, Mean or Max • Attentive pooling Permutation invariant operations
55. Use Case 1: Virtual Screening (QSAR/QSPR) ML Activity (Active or Inactive) GI50: concentration required for 50% inhibition of growth NCI Human Tumor Cell Line Growth Inhibition Assay (PubChem AID 1) Active (2,814) Inactive (48,922) LogGI50 value • Classification Task • Regression Task Very Noisy, Complex Relationship…
56. Use Case 1: Virtual Screening (QSAR/QSPR) Activity (Active or Inactive) LogGI50 value • Classification Task • Regression Task ChemProp (Directed MPNN) ExtraTrees w/ ECFP6(1024) Standard ML GNN ChemProp (Yang et al, 2019) from MIT MLPDS (Machine Learning for Pharmaceutical Discovery and Synthesis) Consortium 95.079% 95.604% RMSE 0.6076 RMSE 0.7970
57. Use Case 2: Molecule Generation Encoder Decoder Discriminator Generator Faez F, Ommi Y, Baghshah MS, Rabiee HR. Deep Graph Generators: A Survey. IEEE Access. 2021;9: 106675–106702. • Autoregressive • Reinforcement-learning-based Generated or Actual? • Autoencoder-based / Flow-based • Adversarial Generator Generator GNNs are an important building block to design generation modules. The design patterns to generate images, sounds, texts, are quite useful!
58. Use Case 3: Fast Approximation for QM Calculations input output gdb_21014
    1000 sec Density Functional Theory (DFT) B3LYP/6-31G(2df, p) level <latexit sha1_base64="JI//afsBt1AdIhSgVUbVSGVXtww=">AAACmnichVHLSsNAFD2Nr1pfVREEXQSL4qpMpagIgiiC4qZVq4KVksSxHZomIZkWavAH/AEXrhRcqB/gB7jxB1z0E8SlghsX3qYBUVFvmMyZM/fcOTNXd0zhScYaEaWtvaOzK9od6+nt6x+IDw7teHbVNXjOsE3b3dM1j5vC4jkppMn3HJdrFd3ku3p5pbm/W+OuJ2xrW9YdflDRipY4EoYmiSrER/IlTfprJ2o+4wl1UV0NQCGeYEkWhPoTpEKQQBgZO36HPA5hw0AVFXBYkIRNaPDo20cKDA5xB/CJcwmJYJ/jBDHSVimLU4ZGbJn+RVrth6xF62ZNL1AbdIpJwyWlikn2yK7ZC3tgt+yJvf9ayw9qNL3UadZbWu4UBk5Ht97+VVVolih9qv70LHGE+cCrIO9OwDRvYbT0teOzl62FzUl/il2yZ/J/wRrsnm5g1V6NqyzfPP/Dj05e6MWoQanv7fgJdmaSqdlkOptOLC2HrYpiDBOYpn7MYQlryCBH9X1c4Aa3yriyrKwrG61UJRJqhvEllO0PT6aXZA==</latexit> ˆ H = E by solving a one-electron Schrödinger equation (Kohn–Sham equation) ML
    
    0.01 sec ≈ 100,000 times faster! Quantum mechanical calculations • Internal energy • Free energy • Zero point vibrational energy • Energy of HOMO • Energy of LUMO • Isotropic polarizabiliity • Dipole moment • Electronic spatial extent • Enthalpy • Heat capacity https://qcarchive.molssi.org/apps/ml_datasets/ …
59. Use Case 3: Fast Approximation for QM Calculations Predictions for Test Data by SchNet (Schütt et al, 2017) Predictions for Test Data by DimeNet (Klicpera et al, 2020) Dipole Moment Energy U HOMO LUMO Heat Capacity Enthalpy H Dipole Moment Energy U HOMO LUMO Heat Capacity Enthalpy H GNN predictions are strikingly accurate, in particular, for predicting enegies of a molecule of a conformation or forces at each atom to transition towards a more stable conformation! y_true y_pred y_true y_pred y_true y_pred y_true y_pred y_true y_pred y_true y_pred y_true y_pred y_true y_pred y_true y_pred y_true y_pred y_true y_pred y_true y_pred
60. Graph Regression: to predict the DFT-calculated HOMO-LUMO from 2D molecular graphs Dataset: 3,803,453 graphs from PubChemQC (cf. QM9 = 133,885 graphs) Rank Test MAE Models 1 0.1200 (eV) 10 × GNNs (12-layer Graphormer) + 8 × ExpC*s (5-layer ExpandingConv) 2 0.1204 (eV) 73 × GNNs (11-layer LiteGEMConv ʴ SSL pretraining) 3 0.1205 (eV) 20 × GNNs (32-layer GNN ʴ Noisy Nodes) https://ogb.stanford.edu/kddcup2021/results/ OGB Large-Scale Challenge (KDDCup 2021)
61. Pretrained models drive applied DL (ImageNet, BERT, …) Many practical applications lack large data, and the use of pretrained models are critical. Especially, the models that are pre-trained on broad data at scale and are adaptable to a wide range of downstream tasks. Call them "foundation models"?
62. Strategies for Pre-training Graph Neural Networks Hu, Liu, Gomes, Zitnik, Liang, Pande, Leskovec (ICLR 2020) https://arxiv.org/abs/1905.12265 Self-Supervised Graph Transformer on Large-Scale Molecular Data Rong, Bian, Xu, Xie, Wei, Huang, Huang (NeurIPS 2020) https://arxiv.org/abs/ 2007.02835 Large-scale pretraining by self-supervised learning tasks Representation learning module Representation learning module Head for pretraining Head for target task Target downstream task (small-data problem) Pretraining Large-scale Pretext task (often self-supervised) Transfer / Calibrate (Fine-Tune) SSL tasks for molecules
63. • Euclidean group E(3)ɿ translations, rotations, reflections in 3D • Special Euclidean group SE(3)ɿ translations, rotations in 3D Schütt et al, SchNet. (2017) https://arxiv.org/abs/1706.08566 Satorras et al, E(n) Equivariant Graph Neural Networks. (2021) https://arxiv.org/abs/2102.09844 Anderson et al, Cormorant. (2019) https://arxiv.org/abs/1906.04015 Unke et al, PhysNet. (2019) https://arxiv.org/abs/1902.08408 Klicpera et al, DimeNet++. (2020) https://arxiv.org/abs/2011.14115 Fuchs et al, SE(3)-Transformers. (2021) https://arxiv.org/abs/2006.10503 Köhler et al, Equivariant Flows (Radial Field). (2020) https://arxiv.org/abs/2006.02425 Thomas et al, Tensor Field Networks. (2018) https://arxiv.org/abs/1802.08219 E(3)-equivariant E(3)-invariant SE(3)-equivariant *OWBSJBOU &RVJWBSJBOU <latexit sha1_base64="NH4UQ68bqmsH0AzQM//vHVYIu40=">AAACn3ichVFNLwNRFD0d3/VVbITN0FRq07wiiETSsGAlrSoVpJkZrzUxnZnMvDZoJNb+gIUVCYlYsPMDbPwBCz9BLCuxsXA7nUQQ3MnMO/e8e+6c965qG7orGHsKSA2NTc0trW3B9o7Oru5QT++qa5UcjWc0y7CcrKq43NBNnhG6MHjWdrhSVA2+pu7O1/bXytxxdctcEfs23yoqBVPP65oiiMqFBvLRwqa2bQl5b1SelQtyPclH90ZzoTCLMS/knyDugzD8SFqhO2xiGxY0lFAEhwlB2IACl54NxMFgE7eFCnEOId3b5zhEkLQlquJUoRC7S98CZRs+a1Je6+l6ao3+YtDrkFJGhD2yK1ZlD+yaPbP3X3tVvB41L/u0qnUtt3Pdx/3pt39VRVoFdj5Vf3oWyGPa86qTd9tjaqfQ6vrywUk1PbMcqYywc/ZC/s/YE7unE5jlV+0ixZdP//Cjkhe6MRpQ/Ps4foLVsVh8Mjaemggn5vxRtWIQw4jSPKaQwCKSyFD/I1ziBrfSkLQgLUnJeqkU8DV9+BLS+gekOpi/</latexit> f(g · x) = g · f(x) <latexit sha1_base64="z65vGkIR8AznuZeRro+w9TcH+xY=">AAACl3ichVHLSsNAFD3Gd3206kZxEyyVuilTFRVBLAri0qqtQislSac1mCYhmZZq8Qf8AReCoCAqfoAf4MYfcOEniMsKblx4mwZEi3rDZM6cuefOmbmqbeiuYOy5TWrv6Ozq7ukN9PUPDAZDQ8Np1yo7Gk9plmE5u6rickM3eUrowuC7tsOVkmrwHfVgtbG/U+GOq1vmtji0+V5JKZp6QdcUQVQuNFyIFrNa3hJydUpekgvR6lQuFGYx5oXcCuI+CMOPDSt0jyzysKChjBI4TAjCBhS49GUQB4NN3B5qxDmEdG+f4xgB0pYpi1OGQuwB/Yu0yvisSetGTddTa3SKQcMhpYwIe2K3rM4e2R17YR+/1qp5NRpeDmlWm1pu54Ino1vv/6pKNAvsf6n+9CxQwILnVSfvtsc0bqE19ZWj0/rW4makNsku2Sv5v2DP7IFuYFbetKsk3zz7w49KXujFqEHxn+1oBenpWHwuNpOcDSdW/Fb1YBwTiFI/5pHAOjaQovpVnOMaN9KYtCytSevNVKnN14zgW0jJT5AOlcI=</latexit> f(g · x) = f(x) Geometric symmetry: Invariance and equivariance Fundamental Requirements for Geometric GNNs: The xyz coordinates cannot be directly used as node features. We need to consider the invariance and equivariance under the motion group
64. Edge-aware Message Passing Neural Networks (MPNNs) Gilmer J, Schoenholz SS, Riley PF, Vinyals O, Dahl GE. Neural Message Passing for Quantum Chemistry. ICML 2017 Faber FA, Hutchison L, Huang B, Gilmer J, Schoenholz SS, Dahl GE, et al. Prediction Errors of Molecular Machine Learning Models Lower than Hybrid DFT Error. J Chem Theory Comput. 2017;13: 5255–5264. Atom features Atom type H, C, N, O, F (one-hot) Atomic number # of protonns (int) Acceptor 0 or 1 (binary) Donor 0 or 1 (binary) Aromatic 0 or 1 (binary) Hybridization sp, sp2, sp3 (one-hot or null # of hydrogens (integer) Bond features Euclidean distace between atom pair (real) Bond types single, double, triple, aromatic (one-hot) E(3)-invariant xyz are used only as distances
65. SchNet (Schütt et al, 2017): Standard Geometric GNN gdb_3 Graph 0 1 2 0 1 2 edges w/ cutoff (10Å) H2 O atom features    0 1 2 <latexit sha1_base64="4oqceeOsg0RegmHmCOLOjG0SaOU=">AAACi3ichVHNSgJRFD5Of2aZVpugjSRGKzmWVEgLKYKW/uQPqMjMdLXB+WNmlGzwBVq2aWGbghbRA/QAbXqBFj5CtDRo06LjOBAl2Rnu3O9+93znfvceQZcl00LsebiJyanpGe+sb27evxAILi7lTa1piCwnarJmFAXeZLKkspwlWTIr6gbjFUFmBaFxMNgvtJhhSpp6bLV1VlH4uirVJJG3iCqWBcU+61SxGgxjFJ0IjYKYC8LgRkoLPkIZTkADEZqgAAMVLMIy8GDSV4IYIOjEVcAmziAkOfsMOuAjbZOyGGXwxDboX6dVyWVVWg9qmo5apFNkGgYpQxDBF7zHPj7jA77i55+1bKfGwEubZmGoZXo1cLGS/fhXpdBswem3aqxnC2qw63iVyLvuMINbiEN96/yqn01kIvY63uIb+b/BHj7RDdTWu3iXZpnuGD8CeaEXowbFfrdjFOQ3o7HtaDwdDyf33VZ5YRXWYIP6sQNJOIIU5Jw+XEIXrjk/t8UluL1hKudxNcvwI7jDL6M0kvA=</latexit> x0 <latexit sha1_base64="jqQfQ7TB6F1UPH31OFoS1eerzNw=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWt8LRwlceJGZBTwHoiCF2kt/AgVOAENJGiBAhRUsBDLIICJXxl4IKAjVwUbOQMRc/cpdCGA2hZmUcwQkG3iv4GrssequHZqmq5awlNkHAYqIxAjL+SeDMgzeSCv5PPPWrZbw/HSwVkcaqleC12s5D7+VSk4W3D6rRrr2YI67LpeGXrXXca5hTTUt8+vBrlkNmavk1vyhv5vSJ884Q3U9rt0l6HZ3hg/InrBF8MG8b/bMQoKm3F+O57IJKKpfa9VfliFNdjAfuxACo4gDXm3D5fQg2suyG1xSW5vmMr5PM0y/Aju8AulVJLx</latexit> x1 <latexit sha1_base64="fLMd1ywDpT0cBkzaL9hTb77jq/8=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZ1KJSXBRFcNmHfUBbShLHGpoXybRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFQ1FthghfR83MTk1PeOfDczNBxdC4cWloqW3TIkWJF3RzbIoWFSRNVpgMlNo2TCpoIoKLYnNfWe/1KamJevaEesYtKYKDU0+kSWBIVWuiqp91q0n6uEoiRM3IqOA90AUvMjo4UeowjHoIEELVKCgAUOsgAAWfhXggYCBXA1s5ExEsrtPoQsB1LYwi2KGgGwT/w1cVTxWw7VT03LVEp6i4DBRGYEYeSH3ZECeyQN5JZ9/1rLdGo6XDs7iUEuNeuhiJf/xr0rFmcHpt2qsZwYnsON6ldG74TLOLaShvn1+NcincjF7ndySN/R/Q/rkCW+gtd+luyzN9cb4EdELvhg2iP/djlFQTMT5rXgym4ym97xW+WEV1mAD+7ENaTiEDBTcPlxCD665ILfJpbjdYSrn8zTL8CO4gy+ndJLy</latexit> x2 0 0 1 1 0 2 2 1 2 bond features 0.9620 0.9622 1.5133 <latexit sha1_base64="WhwbZjIo+PbaHz7kU/YZBO38PiQ=">AAACp3ichVG7SgNBFD2u72eiNoLNYlC0MEwkqAhC0MbO+EgMGFl211En2Re7m4Cu6cUfsLBSsBDBVnsbf8DCTxBLBRsLbzYLoqLeZXbOnLnnzpm5mmMIz2fssUlqbmlta+/o7Oru6e2LxfsH8p5dcXWe023Ddgua6nFDWDznC9/gBcflqqkZfEMrL9b3N6rc9YRtrfv7Dt8y1V1L7Ahd9YlS4iOuEohSTZ6bl4uHRc0M3Joi5Ek5giVilXiCJVkY8k+QikACUWTt+A2K2IYNHRWY4LDgEzagwqNvEykwOMRtISDOJSTCfY4aukhboSxOGSqxZfrv0mozYi1a12t6oVqnUwwaLilljLIHdsle2D27Yk/s/ddaQVij7mWfZq2h5Y4SOx5ae/tXZdLsY+9T9adnHzuYDb0K8u6ETP0WekNfPTh5WZtbHQ3G2Dl7Jv9n7JHd0Q2s6qt+scJXT//wo5EXejFqUOp7O36C/FQyNZ1Mr6QTmYWoVR0YxgjGqR8zyGAJWeSo/hGucYNbaUJalvJSoZEqNUWaQXwJSf0AKaGdRg==</latexit> rij := kri rj k <latexit sha1_base64="YVJW2X9s34FCmpunsQgR00z8vXY=">AAACjnichVHLSsNAFL2Nr1ofrboR3BRLxVW5kVJFEItuuuzDPqAtJYlTDc2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPC2zQgWqw3TObMmXvunJkrGops2YhdHzc2PjE55Z8OzMzOzQdDC4sFS2+aEstLuqKbJVGwmCJrLG/LtsJKhskEVVRYUWzs9/eLLWZasq4d2G2DVVXhSJPrsiTYRJUrouqcdGoO8p1aKIIxdCM8DHgPRMCLtB56hAocgg4SNEEFBhrYhBUQwKKvDDwgGMRVwSHOJCS7+ww6ECBtk7IYZQjENuh/RKuyx2q07te0XLVEpyg0TFKGIYoveI89fMYHfMXPP2s5bo2+lzbN4kDLjFrwbDn38a9KpdmG42/VSM821GHL9SqTd8Nl+reQBvrW6UUvt52NOmt4i2/k/wa7+EQ30Frv0l2GZS9H+BHJC70YNYj/3Y5hUNiI8YlYPBOPJPe8VvlhBVZhnfqxCUlIQRry7ouewxVccyEuwe1wu4NUzudpluBHcKkvk/uUNg==</latexit> w01 <latexit sha1_base64="tYR7XnwyhyUSVK/6XFo1uz/tDtI=">AAACjnichVFLSwJRFD5OL7OHVpugjSRGKzmKWASR1Malj3yAisxMVxucFzOjYYN/oH20CIqCFtEP6Ae06Q+08CdES4M2LTqOA1GSneHO/e53z3fud+8RdFkyLcSeh5uYnJqe8c765uYXFv2BpeWCqbUMkeVFTdaMksCbTJZUlrckS2Yl3WC8IsisKDQPBvvFNjNMSVMPrY7OqgrfUKW6JPIWUeWKoNgn3ZqNsW4tEMIIOhEcBVEXhMCNtBZ4hAocgQYitEABBipYhGXgwaSvDFFA0Imrgk2cQUhy9hl0wUfaFmUxyuCJbdK/Qauyy6q0HtQ0HbVIp8g0DFIGIYwveI99fMYHfMXPP2vZTo2Blw7NwlDL9Jr/bDX38a9KodmC42/VWM8W1GHb8SqRd91hBrcQh/r26UU/t5MN2xt4i2/k/wZ7+EQ3UNvv4l2GZS/H+BHIC70YNSj6ux2joBCLRBOReCYeSu67rfLCGqzDJvVjC5KQgjTknRc9hyu45gJcgtvl9oapnMfVrMCP4FJflhyUNw==</latexit> w02 <latexit sha1_base64="Ak3wjfcp94hUo7DAHdEjDzlDdm0=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZlFJFEItuuuzDPqAtJYnTOjQvkrRSQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9OAaLHeMJkzZ+65c2auZCjMsgnp+biJyanpGf9sYG5+YTHILy0XLL1lyjQv64puliTRogrTaN5mtkJLhklFVVJoUWoeDPaLbWpaTNcO7Y5Bq6rY0FidyaKNVLkiqc5Jt+YIsW6ND5MocSM0CgQPhMGLtM4/QgWOQAcZWqACBQ1sxAqIYOFXBgEIGMhVwUHORMTcfQpdCKC2hVkUM0Rkm/hv4KrssRquBzUtVy3jKQoOE5UhiJAXck/65Jk8kFfy+Wctx60x8NLBWRpqqVELnq3mPv5VqTjbcPytGuvZhjpsu14ZejdcZnALeahvn170czvZiLNBbskb+r8hPfKEN9Da7/JdhmYvx/iR0Au+GDZI+N2OUVCIRYVENJ6Jh5P7Xqv8sAbrsIn92IIkpCANefdFz+EKrjmeS3C73N4wlfN5mhX4EVzqC5g+lDg=</latexit> w12 Jørgensen PB, Jacobsen KW, Schmidt MN. Neural Message Passing with Edge Updates for Predicting Properties of Molecules and Materials. arXiv [stat.ML]. 2018. http://arxiv.org/abs/1806.03146 SchNet-edge-update
66. nn.Embedding 128 <latexit sha1_base64="4oqceeOsg0RegmHmCOLOjG0SaOU=">AAACi3ichVHNSgJRFD5Of2aZVpugjSRGKzmWVEgLKYKW/uQPqMjMdLXB+WNmlGzwBVq2aWGbghbRA/QAbXqBFj5CtDRo06LjOBAl2Rnu3O9+93znfvceQZcl00LsebiJyanpGe+sb27evxAILi7lTa1piCwnarJmFAXeZLKkspwlWTIr6gbjFUFmBaFxMNgvtJhhSpp6bLV1VlH4uirVJJG3iCqWBcU+61SxGgxjFJ0IjYKYC8LgRkoLPkIZTkADEZqgAAMVLMIy8GDSV4IYIOjEVcAmziAkOfsMOuAjbZOyGGXwxDboX6dVyWVVWg9qmo5apFNkGgYpQxDBF7zHPj7jA77i55+1bKfGwEubZmGoZXo1cLGS/fhXpdBswem3aqxnC2qw63iVyLvuMINbiEN96/yqn01kIvY63uIb+b/BHj7RDdTWu3iXZpnuGD8CeaEXowbFfrdjFOQ3o7HtaDwdDyf33VZ5YRXWYIP6sQNJOIIU5Jw+XEIXrjk/t8UluL1hKudxNcvwI7jDL6M0kvA=</latexit> x0 <latexit sha1_base64="jqQfQ7TB6F1UPH31OFoS1eerzNw=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWt8LRwlceJGZBTwHoiCF2kt/AgVOAENJGiBAhRUsBDLIICJXxl4IKAjVwUbOQMRc/cpdCGA2hZmUcwQkG3iv4GrssequHZqmq5awlNkHAYqIxAjL+SeDMgzeSCv5PPPWrZbw/HSwVkcaqleC12s5D7+VSk4W3D6rRrr2YI67LpeGXrXXca5hTTUt8+vBrlkNmavk1vyhv5vSJ884Q3U9rt0l6HZ3hg/InrBF8MG8b/bMQoKm3F+O57IJKKpfa9VfliFNdjAfuxACo4gDXm3D5fQg2suyG1xSW5vmMr5PM0y/Aju8AulVJLx</latexit> x1 <latexit sha1_base64="fLMd1ywDpT0cBkzaL9hTb77jq/8=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZ1KJSXBRFcNmHfUBbShLHGpoXybRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFQ1FthghfR83MTk1PeOfDczNBxdC4cWloqW3TIkWJF3RzbIoWFSRNVpgMlNo2TCpoIoKLYnNfWe/1KamJevaEesYtKYKDU0+kSWBIVWuiqp91q0n6uEoiRM3IqOA90AUvMjo4UeowjHoIEELVKCgAUOsgAAWfhXggYCBXA1s5ExEsrtPoQsB1LYwi2KGgGwT/w1cVTxWw7VT03LVEp6i4DBRGYEYeSH3ZECeyQN5JZ9/1rLdGo6XDs7iUEuNeuhiJf/xr0rFmcHpt2qsZwYnsON6ldG74TLOLaShvn1+NcincjF7ndySN/R/Q/rkCW+gtd+luyzN9cb4EdELvhg2iP/djlFQTMT5rXgym4ym97xW+WEV1mAD+7ENaTiEDBTcPlxCD665ILfJpbjdYSrn8zTL8CO4gy+ndJLy</latexit> x2 SchNet (Schütt et al, 2017): Standard Geometric GNN gdb_3 Graph 0 1 2 0 1 2 edges w/ cutoff (10Å) H2 O atom features    0 1 2 0 0 1 1 0 2 2 1 2 bond features 0.9620 0.9622 1.5133 <latexit sha1_base64="WhwbZjIo+PbaHz7kU/YZBO38PiQ=">AAACp3ichVG7SgNBFD2u72eiNoLNYlC0MEwkqAhC0MbO+EgMGFl211En2Re7m4Cu6cUfsLBSsBDBVnsbf8DCTxBLBRsLbzYLoqLeZXbOnLnnzpm5mmMIz2fssUlqbmlta+/o7Oru6e2LxfsH8p5dcXWe023Ddgua6nFDWDznC9/gBcflqqkZfEMrL9b3N6rc9YRtrfv7Dt8y1V1L7Ahd9YlS4iOuEohSTZ6bl4uHRc0M3Joi5Ek5giVilXiCJVkY8k+QikACUWTt+A2K2IYNHRWY4LDgEzagwqNvEykwOMRtISDOJSTCfY4aukhboSxOGSqxZfrv0mozYi1a12t6oVqnUwwaLilljLIHdsle2D27Yk/s/ddaQVij7mWfZq2h5Y4SOx5ae/tXZdLsY+9T9adnHzuYDb0K8u6ETP0WekNfPTh5WZtbHQ3G2Dl7Jv9n7JHd0Q2s6qt+scJXT//wo5EXejFqUOp7O36C/FQyNZ1Mr6QTmYWoVR0YxgjGqR8zyGAJWeSo/hGucYNbaUJalvJSoZEqNUWaQXwJSf0AKaGdRg==</latexit> rij := kri rj k <latexit sha1_base64="YVJW2X9s34FCmpunsQgR00z8vXY=">AAACjnichVHLSsNAFL2Nr1ofrboR3BRLxVW5kVJFEItuuuzDPqAtJYlTDc2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPC2zQgWqw3TObMmXvunJkrGops2YhdHzc2PjE55Z8OzMzOzQdDC4sFS2+aEstLuqKbJVGwmCJrLG/LtsJKhskEVVRYUWzs9/eLLWZasq4d2G2DVVXhSJPrsiTYRJUrouqcdGoO8p1aKIIxdCM8DHgPRMCLtB56hAocgg4SNEEFBhrYhBUQwKKvDDwgGMRVwSHOJCS7+ww6ECBtk7IYZQjENuh/RKuyx2q07te0XLVEpyg0TFKGIYoveI89fMYHfMXPP2s5bo2+lzbN4kDLjFrwbDn38a9KpdmG42/VSM821GHL9SqTd8Nl+reQBvrW6UUvt52NOmt4i2/k/wa7+EQ30Frv0l2GZS9H+BHJC70YNYj/3Y5hUNiI8YlYPBOPJPe8VvlhBVZhnfqxCUlIQRry7ouewxVccyEuwe1wu4NUzudpluBHcKkvk/uUNg==</latexit> w01 <latexit sha1_base64="tYR7XnwyhyUSVK/6XFo1uz/tDtI=">AAACjnichVFLSwJRFD5OL7OHVpugjSRGKzmKWASR1Malj3yAisxMVxucFzOjYYN/oH20CIqCFtEP6Ae06Q+08CdES4M2LTqOA1GSneHO/e53z3fud+8RdFkyLcSeh5uYnJqe8c765uYXFv2BpeWCqbUMkeVFTdaMksCbTJZUlrckS2Yl3WC8IsisKDQPBvvFNjNMSVMPrY7OqgrfUKW6JPIWUeWKoNgn3ZqNsW4tEMIIOhEcBVEXhMCNtBZ4hAocgQYitEABBipYhGXgwaSvDFFA0Imrgk2cQUhy9hl0wUfaFmUxyuCJbdK/Qauyy6q0HtQ0HbVIp8g0DFIGIYwveI99fMYHfMXPP2vZTo2Blw7NwlDL9Jr/bDX38a9KodmC42/VWM8W1GHb8SqRd91hBrcQh/r26UU/t5MN2xt4i2/k/wZ7+EQ3UNvv4l2GZS/H+BHIC70YNSj6ux2joBCLRBOReCYeSu67rfLCGqzDJvVjC5KQgjTknRc9hyu45gJcgtvl9oapnMfVrMCP4FJflhyUNw==</latexit> w02 <latexit sha1_base64="Ak3wjfcp94hUo7DAHdEjDzlDdm0=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZlFJFEItuuuzDPqAtJYnTOjQvkrRSQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9OAaLHeMJkzZ+65c2auZCjMsgnp+biJyanpGf9sYG5+YTHILy0XLL1lyjQv64puliTRogrTaN5mtkJLhklFVVJoUWoeDPaLbWpaTNcO7Y5Bq6rY0FidyaKNVLkiqc5Jt+YIsW6ND5MocSM0CgQPhMGLtM4/QgWOQAcZWqACBQ1sxAqIYOFXBgEIGMhVwUHORMTcfQpdCKC2hVkUM0Rkm/hv4KrssRquBzUtVy3jKQoOE5UhiJAXck/65Jk8kFfy+Wctx60x8NLBWRpqqVELnq3mPv5VqTjbcPytGuvZhjpsu14ZejdcZnALeahvn170czvZiLNBbskb+r8hPfKEN9Da7/JdhmYvx/iR0Au+GDZI+N2OUVCIRYVENJ6Jh5P7Xqv8sAbrsIn92IIkpCANefdFz+EKrjmeS3C73N4wlfN5mhX4EVzqC5g+lDg=</latexit> w12 Jørgensen PB, Jacobsen KW, Schmidt MN. Neural Message Passing with Edge Updates for Predicting Properties of Molecules and Materials. arXiv [stat.ML]. 2018. http://arxiv.org/abs/1806.03146 SchNet-edge-update
67. nn.Embedding 128 <latexit sha1_base64="4oqceeOsg0RegmHmCOLOjG0SaOU=">AAACi3ichVHNSgJRFD5Of2aZVpugjSRGKzmWVEgLKYKW/uQPqMjMdLXB+WNmlGzwBVq2aWGbghbRA/QAbXqBFj5CtDRo06LjOBAl2Rnu3O9+93znfvceQZcl00LsebiJyanpGe+sb27evxAILi7lTa1piCwnarJmFAXeZLKkspwlWTIr6gbjFUFmBaFxMNgvtJhhSpp6bLV1VlH4uirVJJG3iCqWBcU+61SxGgxjFJ0IjYKYC8LgRkoLPkIZTkADEZqgAAMVLMIy8GDSV4IYIOjEVcAmziAkOfsMOuAjbZOyGGXwxDboX6dVyWVVWg9qmo5apFNkGgYpQxDBF7zHPj7jA77i55+1bKfGwEubZmGoZXo1cLGS/fhXpdBswem3aqxnC2qw63iVyLvuMINbiEN96/yqn01kIvY63uIb+b/BHj7RDdTWu3iXZpnuGD8CeaEXowbFfrdjFOQ3o7HtaDwdDyf33VZ5YRXWYIP6sQNJOIIU5Jw+XEIXrjk/t8UluL1hKudxNcvwI7jDL6M0kvA=</latexit> x0 <latexit sha1_base64="jqQfQ7TB6F1UPH31OFoS1eerzNw=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWt8LRwlceJGZBTwHoiCF2kt/AgVOAENJGiBAhRUsBDLIICJXxl4IKAjVwUbOQMRc/cpdCGA2hZmUcwQkG3iv4GrssequHZqmq5awlNkHAYqIxAjL+SeDMgzeSCv5PPPWrZbw/HSwVkcaqleC12s5D7+VSk4W3D6rRrr2YI67LpeGXrXXca5hTTUt8+vBrlkNmavk1vyhv5vSJ884Q3U9rt0l6HZ3hg/InrBF8MG8b/bMQoKm3F+O57IJKKpfa9VfliFNdjAfuxACo4gDXm3D5fQg2suyG1xSW5vmMr5PM0y/Aju8AulVJLx</latexit> x1 <latexit sha1_base64="fLMd1ywDpT0cBkzaL9hTb77jq/8=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZ1KJSXBRFcNmHfUBbShLHGpoXybRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFQ1FthghfR83MTk1PeOfDczNBxdC4cWloqW3TIkWJF3RzbIoWFSRNVpgMlNo2TCpoIoKLYnNfWe/1KamJevaEesYtKYKDU0+kSWBIVWuiqp91q0n6uEoiRM3IqOA90AUvMjo4UeowjHoIEELVKCgAUOsgAAWfhXggYCBXA1s5ExEsrtPoQsB1LYwi2KGgGwT/w1cVTxWw7VT03LVEp6i4DBRGYEYeSH3ZECeyQN5JZ9/1rLdGo6XDs7iUEuNeuhiJf/xr0rFmcHpt2qsZwYnsON6ldG74TLOLaShvn1+NcincjF7ndySN/R/Q/rkCW+gtd+luyzN9cb4EdELvhg2iP/djlFQTMT5rXgym4ym97xW+WEV1mAD+7ENaTiEDBTcPlxCD665ILfJpbjdYSrn8zTL8CO4gy+ndJLy</latexit> x2 SchNet (Schütt et al, 2017): Standard Geometric GNN gdb_3 Graph 0 1 2 0 1 2 edges w/ cutoff (10Å) H2 O atom features    0 1 2 0 0 1 1 0 2 2 1 2 bond features 0.9620 0.9622 1.5133 <latexit sha1_base64="WhwbZjIo+PbaHz7kU/YZBO38PiQ=">AAACp3ichVG7SgNBFD2u72eiNoLNYlC0MEwkqAhC0MbO+EgMGFl211En2Re7m4Cu6cUfsLBSsBDBVnsbf8DCTxBLBRsLbzYLoqLeZXbOnLnnzpm5mmMIz2fssUlqbmlta+/o7Oru6e2LxfsH8p5dcXWe023Ddgua6nFDWDznC9/gBcflqqkZfEMrL9b3N6rc9YRtrfv7Dt8y1V1L7Ahd9YlS4iOuEohSTZ6bl4uHRc0M3Joi5Ek5giVilXiCJVkY8k+QikACUWTt+A2K2IYNHRWY4LDgEzagwqNvEykwOMRtISDOJSTCfY4aukhboSxOGSqxZfrv0mozYi1a12t6oVqnUwwaLilljLIHdsle2D27Yk/s/ddaQVij7mWfZq2h5Y4SOx5ae/tXZdLsY+9T9adnHzuYDb0K8u6ETP0WekNfPTh5WZtbHQ3G2Dl7Jv9n7JHd0Q2s6qt+scJXT//wo5EXejFqUOp7O36C/FQyNZ1Mr6QTmYWoVR0YxgjGqR8zyGAJWeSo/hGucYNbaUJalvJSoZEqNUWaQXwJSf0AKaGdRg==</latexit> rij := kri rj k Gaussian Smearing MLP (+ cutoff function) <latexit sha1_base64="YVJW2X9s34FCmpunsQgR00z8vXY=">AAACjnichVHLSsNAFL2Nr1ofrboR3BRLxVW5kVJFEItuuuzDPqAtJYlTDc2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPC2zQgWqw3TObMmXvunJkrGops2YhdHzc2PjE55Z8OzMzOzQdDC4sFS2+aEstLuqKbJVGwmCJrLG/LtsJKhskEVVRYUWzs9/eLLWZasq4d2G2DVVXhSJPrsiTYRJUrouqcdGoO8p1aKIIxdCM8DHgPRMCLtB56hAocgg4SNEEFBhrYhBUQwKKvDDwgGMRVwSHOJCS7+ww6ECBtk7IYZQjENuh/RKuyx2q07te0XLVEpyg0TFKGIYoveI89fMYHfMXPP2s5bo2+lzbN4kDLjFrwbDn38a9KpdmG42/VSM821GHL9SqTd8Nl+reQBvrW6UUvt52NOmt4i2/k/wa7+EQ30Frv0l2GZS9H+BHJC70YNYj/3Y5hUNiI8YlYPBOPJPe8VvlhBVZhnfqxCUlIQRry7ouewxVccyEuwe1wu4NUzudpluBHcKkvk/uUNg==</latexit> w01 <latexit sha1_base64="tYR7XnwyhyUSVK/6XFo1uz/tDtI=">AAACjnichVFLSwJRFD5OL7OHVpugjSRGKzmKWASR1Malj3yAisxMVxucFzOjYYN/oH20CIqCFtEP6Ae06Q+08CdES4M2LTqOA1GSneHO/e53z3fud+8RdFkyLcSeh5uYnJqe8c765uYXFv2BpeWCqbUMkeVFTdaMksCbTJZUlrckS2Yl3WC8IsisKDQPBvvFNjNMSVMPrY7OqgrfUKW6JPIWUeWKoNgn3ZqNsW4tEMIIOhEcBVEXhMCNtBZ4hAocgQYitEABBipYhGXgwaSvDFFA0Imrgk2cQUhy9hl0wUfaFmUxyuCJbdK/Qauyy6q0HtQ0HbVIp8g0DFIGIYwveI99fMYHfMXPP2vZTo2Blw7NwlDL9Jr/bDX38a9KodmC42/VWM8W1GHb8SqRd91hBrcQh/r26UU/t5MN2xt4i2/k/wZ7+EQ3UNvv4l2GZS/H+BHIC70YNSj6ux2joBCLRBOReCYeSu67rfLCGqzDJvVjC5KQgjTknRc9hyu45gJcgtvl9oapnMfVrMCP4FJflhyUNw==</latexit> w02 <latexit sha1_base64="Ak3wjfcp94hUo7DAHdEjDzlDdm0=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZlFJFEItuuuzDPqAtJYnTOjQvkrRSQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9OAaLHeMJkzZ+65c2auZCjMsgnp+biJyanpGf9sYG5+YTHILy0XLL1lyjQv64puliTRogrTaN5mtkJLhklFVVJoUWoeDPaLbWpaTNcO7Y5Bq6rY0FidyaKNVLkiqc5Jt+YIsW6ND5MocSM0CgQPhMGLtM4/QgWOQAcZWqACBQ1sxAqIYOFXBgEIGMhVwUHORMTcfQpdCKC2hVkUM0Rkm/hv4KrssRquBzUtVy3jKQoOE5UhiJAXck/65Jk8kFfy+Wctx60x8NLBWRpqqVELnq3mPv5VqTjbcPytGuvZhjpsu14ZejdcZnALeahvn170czvZiLNBbskb+r8hPfKEN9Da7/JdhmYvx/iR0Au+GDZI+N2OUVCIRYVENJ6Jh5P7Xqv8sAbrsIn92IIkpCANefdFz+EKrjmeS3C73N4wlfN5mhX4EVzqC5g+lDg=</latexit> w12 128 50 Jørgensen PB, Jacobsen KW, Schmidt MN. Neural Message Passing with Edge Updates for Predicting Properties of Molecules and Materials. arXiv [stat.ML]. 2018. http://arxiv.org/abs/1806.03146 SchNet-edge-update
68. nn.Embedding 128 <latexit sha1_base64="4oqceeOsg0RegmHmCOLOjG0SaOU=">AAACi3ichVHNSgJRFD5Of2aZVpugjSRGKzmWVEgLKYKW/uQPqMjMdLXB+WNmlGzwBVq2aWGbghbRA/QAbXqBFj5CtDRo06LjOBAl2Rnu3O9+93znfvceQZcl00LsebiJyanpGe+sb27evxAILi7lTa1piCwnarJmFAXeZLKkspwlWTIr6gbjFUFmBaFxMNgvtJhhSpp6bLV1VlH4uirVJJG3iCqWBcU+61SxGgxjFJ0IjYKYC8LgRkoLPkIZTkADEZqgAAMVLMIy8GDSV4IYIOjEVcAmziAkOfsMOuAjbZOyGGXwxDboX6dVyWVVWg9qmo5apFNkGgYpQxDBF7zHPj7jA77i55+1bKfGwEubZmGoZXo1cLGS/fhXpdBswem3aqxnC2qw63iVyLvuMINbiEN96/yqn01kIvY63uIb+b/BHj7RDdTWu3iXZpnuGD8CeaEXowbFfrdjFOQ3o7HtaDwdDyf33VZ5YRXWYIP6sQNJOIIU5Jw+XEIXrjk/t8UluL1hKudxNcvwI7jDL6M0kvA=</latexit> x0 <latexit sha1_base64="jqQfQ7TB6F1UPH31OFoS1eerzNw=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWt8LRwlceJGZBTwHoiCF2kt/AgVOAENJGiBAhRUsBDLIICJXxl4IKAjVwUbOQMRc/cpdCGA2hZmUcwQkG3iv4GrssequHZqmq5awlNkHAYqIxAjL+SeDMgzeSCv5PPPWrZbw/HSwVkcaqleC12s5D7+VSk4W3D6rRrr2YI67LpeGXrXXca5hTTUt8+vBrlkNmavk1vyhv5vSJ884Q3U9rt0l6HZ3hg/InrBF8MG8b/bMQoKm3F+O57IJKKpfa9VfliFNdjAfuxACo4gDXm3D5fQg2suyG1xSW5vmMr5PM0y/Aju8AulVJLx</latexit> x1 <latexit sha1_base64="fLMd1ywDpT0cBkzaL9hTb77jq/8=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZ1KJSXBRFcNmHfUBbShLHGpoXybRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFQ1FthghfR83MTk1PeOfDczNBxdC4cWloqW3TIkWJF3RzbIoWFSRNVpgMlNo2TCpoIoKLYnNfWe/1KamJevaEesYtKYKDU0+kSWBIVWuiqp91q0n6uEoiRM3IqOA90AUvMjo4UeowjHoIEELVKCgAUOsgAAWfhXggYCBXA1s5ExEsrtPoQsB1LYwi2KGgGwT/w1cVTxWw7VT03LVEp6i4DBRGYEYeSH3ZECeyQN5JZ9/1rLdGo6XDs7iUEuNeuhiJf/xr0rFmcHpt2qsZwYnsON6ldG74TLOLaShvn1+NcincjF7ndySN/R/Q/rkCW+gtd+luyzN9cb4EdELvhg2iP/djlFQTMT5rXgym4ym97xW+WEV1mAD+7ENaTiEDBTcPlxCD665ILfJpbjdYSrn8zTL8CO4gy+ndJLy</latexit> x2 SchNet (Schütt et al, 2017): Standard Geometric GNN gdb_3 Graph 0 1 2 0 1 2 edges w/ cutoff (10Å) H2 O atom features    0 1 2 0 0 1 1 0 2 2 1 2 bond features 0.9620 0.9622 1.5133 <latexit sha1_base64="WhwbZjIo+PbaHz7kU/YZBO38PiQ=">AAACp3ichVG7SgNBFD2u72eiNoLNYlC0MEwkqAhC0MbO+EgMGFl211En2Re7m4Cu6cUfsLBSsBDBVnsbf8DCTxBLBRsLbzYLoqLeZXbOnLnnzpm5mmMIz2fssUlqbmlta+/o7Oru6e2LxfsH8p5dcXWe023Ddgua6nFDWDznC9/gBcflqqkZfEMrL9b3N6rc9YRtrfv7Dt8y1V1L7Ahd9YlS4iOuEohSTZ6bl4uHRc0M3Joi5Ek5giVilXiCJVkY8k+QikACUWTt+A2K2IYNHRWY4LDgEzagwqNvEykwOMRtISDOJSTCfY4aukhboSxOGSqxZfrv0mozYi1a12t6oVqnUwwaLilljLIHdsle2D27Yk/s/ddaQVij7mWfZq2h5Y4SOx5ae/tXZdLsY+9T9adnHzuYDb0K8u6ETP0WekNfPTh5WZtbHQ3G2Dl7Jv9n7JHd0Q2s6qt+scJXT//wo5EXejFqUOp7O36C/FQyNZ1Mr6QTmYWoVR0YxgjGqR8zyGAJWeSo/hGucYNbaUJalvJSoZEqNUWaQXwJSf0AKaGdRg==</latexit> rij := kri rj k Gaussian Smearing MLP (+ cutoff function) <latexit sha1_base64="YVJW2X9s34FCmpunsQgR00z8vXY=">AAACjnichVHLSsNAFL2Nr1ofrboR3BRLxVW5kVJFEItuuuzDPqAtJYlTDc2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPC2zQgWqw3TObMmXvunJkrGops2YhdHzc2PjE55Z8OzMzOzQdDC4sFS2+aEstLuqKbJVGwmCJrLG/LtsJKhskEVVRYUWzs9/eLLWZasq4d2G2DVVXhSJPrsiTYRJUrouqcdGoO8p1aKIIxdCM8DHgPRMCLtB56hAocgg4SNEEFBhrYhBUQwKKvDDwgGMRVwSHOJCS7+ww6ECBtk7IYZQjENuh/RKuyx2q07te0XLVEpyg0TFKGIYoveI89fMYHfMXPP2s5bo2+lzbN4kDLjFrwbDn38a9KpdmG42/VSM821GHL9SqTd8Nl+reQBvrW6UUvt52NOmt4i2/k/wa7+EQ30Frv0l2GZS9H+BHJC70YNYj/3Y5hUNiI8YlYPBOPJPe8VvlhBVZhnfqxCUlIQRry7ouewxVccyEuwe1wu4NUzudpluBHcKkvk/uUNg==</latexit> w01 <latexit sha1_base64="tYR7XnwyhyUSVK/6XFo1uz/tDtI=">AAACjnichVFLSwJRFD5OL7OHVpugjSRGKzmKWASR1Malj3yAisxMVxucFzOjYYN/oH20CIqCFtEP6Ae06Q+08CdES4M2LTqOA1GSneHO/e53z3fud+8RdFkyLcSeh5uYnJqe8c765uYXFv2BpeWCqbUMkeVFTdaMksCbTJZUlrckS2Yl3WC8IsisKDQPBvvFNjNMSVMPrY7OqgrfUKW6JPIWUeWKoNgn3ZqNsW4tEMIIOhEcBVEXhMCNtBZ4hAocgQYitEABBipYhGXgwaSvDFFA0Imrgk2cQUhy9hl0wUfaFmUxyuCJbdK/Qauyy6q0HtQ0HbVIp8g0DFIGIYwveI99fMYHfMXPP2vZTo2Blw7NwlDL9Jr/bDX38a9KodmC42/VWM8W1GHb8SqRd91hBrcQh/r26UU/t5MN2xt4i2/k/wZ7+EQ3UNvv4l2GZS/H+BHIC70YNSj6ux2joBCLRBOReCYeSu67rfLCGqzDJvVjC5KQgjTknRc9hyu45gJcgtvl9oapnMfVrMCP4FJflhyUNw==</latexit> w02 <latexit sha1_base64="Ak3wjfcp94hUo7DAHdEjDzlDdm0=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZlFJFEItuuuzDPqAtJYnTOjQvkrRSQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9OAaLHeMJkzZ+65c2auZCjMsgnp+biJyanpGf9sYG5+YTHILy0XLL1lyjQv64puliTRogrTaN5mtkJLhklFVVJoUWoeDPaLbWpaTNcO7Y5Bq6rY0FidyaKNVLkiqc5Jt+YIsW6ND5MocSM0CgQPhMGLtM4/QgWOQAcZWqACBQ1sxAqIYOFXBgEIGMhVwUHORMTcfQpdCKC2hVkUM0Rkm/hv4KrssRquBzUtVy3jKQoOE5UhiJAXck/65Jk8kFfy+Wctx60x8NLBWRpqqVELnq3mPv5VqTjbcPytGuvZhjpsu14ZejdcZnALeahvn170czvZiLNBbskb+r8hPfKEN9Da7/JdhmYvx/iR0Au+GDZI+N2OUVCIRYVENJ6Jh5P7Xqv8sAbrsIn92IIkpCANefdFz+EKrjmeS3C73N4wlfN5mhX4EVzqC5g+lDg=</latexit> w12 128 50 <latexit sha1_base64="tzvRXqv2dAYIROlG6uwbJPf0mrw=">AAAC9XichVHNShxBEK6d+BeNuiaXgJchi7IiLL0iieQk5pKT+Lcq2DL0jL27vfZMDz29a3SYF8gL5BByiKgQcvDoA3jxBRLwEYJHBS8erJ0dEqKoNcz011/VV/N1lxtKERlCznPWs67unt6+5/0DLwaHhvMjL1cj1dQer3hKKr3usohLEfCKEUby9VBz5ruSr7nbH9r5tRbXkVDBitkN+abPaoGoCo8ZpJx8SF0//pQ4wqaSVw3TWu3Yf7lJm4aRSDNFGjV9J27YVAQ29Zmpe0zG81iVYFFdFDNRY8KmakuZtAlVPq+xxIlFI6Fa1OpmwskXSImkYd8H5QwUIIsFlT8BClugwIMm+MAhAINYAoMInw0oA4EQuU2IkdOIRJrnkEA/aptYxbGCIbuN3xruNjI2wH27Z5SqPfyLxFej0oYx8ov8IJfkjPwkf8jNg73itEfbyy6ubkfLQ2f48+vl6ydVPq4G6v9Uj3o2UIWZ1KtA72HKtE/hdfStvS+Xy++XxuJxsk8u0P93ck5O8QRB68o7XORLXx/x46IXvDEcUPnuOO6D1alS+W1penG6MDuXjaoPRuENFHEe72AWPsICVLD/b7jJded6rB3rm3VgHXVKrVymeQX/hXV8C560vMU=</latexit> xi xi + 0 @ X j2Ni (xj) !ij 1 A Message Passing with residual connections <latexit sha1_base64="w8HJP+lGqp9rZkaNcvXOm5XzAjA=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWusFo6SOHEjMgp4D0TBi7QWfoQKnIAGErRAAQoqWIhlEMDErww8ENCRq4KNnIGIufsUuhBAbQuzKGYIyDbx38BV2WNVXDs1TVct4SkyDgOVEYiRF3JPBuSZPJBX8vlnLdut4Xjp4CwOtVSvhS5Wch//qhScLTj9Vo31bEEddl2vDL3rLuPcQhrq2+dXg1wyG7PXyS15Q/83pE+e8AZq+126y9Bsb4wfEb3gi2GD+N/tGAWFzTi/HU9kEtHUvtcqP6zCGmxgP3YgBUeQhrzbh0vowTUX5La4JLc3TOV8nmYZfgR3+AUcY5Mp</latexit> xi <latexit sha1_base64="rV382Ovh9KfXUuHxAdGrWOJEfmw=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYljjc2LZFqsoT/g0o2LulFwIX6AH+DGH3DRTxCXFdy48CYNiBbrDZM5c+aeO2fmioYiW4yQno8bG5+YnPJPB2Zmg3Oh8PxCwdKbpkTzkq7oZkkULKrIGs0zmSm0ZJhUUEWFFsXGnrNfbFHTknXtkLUNWlWFuiYfy5LAkCpVRNU+69ROa+EoiRM3IsOA90AUvEjr4UeowBHoIEETVKCgAUOsgAAWfmXggYCBXBVs5ExEsrtPoQMB1DYxi2KGgGwD/3VclT1Ww7VT03LVEp6i4DBRGYEYeSH3pE+eyQN5JZ9/1rLdGo6XNs7iQEuNWuhiKffxr0rFmcHJt2qkZwbHsO16ldG74TLOLaSBvnV+1c8lszF7ldySN/R/Q3rkCW+gtd6luwzNdkf4EdELvhg2iP/djmFQWI/zm/FEJhFN7Xqt8sMyrMAa9mMLUnAAaci7fbiELlxzQW6DS3I7g1TO52kW4Udw+18eg5Mq</latexit> xj <latexit sha1_base64="whez6wn1wkNxqxLsz5oC9KQN7ys=">AAACjXichVHLSsNAFD2Nr/ps1Y3gRiyKqzKR+kBERBe6VGtVfFCSOOrQvEjSYg39AdeCC1FQcCF+gB/gxh9w0U8QlwpuXHiTBkSL9YbJnDlzz50zc1VbF67HWDUmNTW3tLbF2zs6u7p7Esnevg3XKjoaz2mWbjlbquJyXZg85wlP51u2wxVD1fmmWlgM9jdL3HGFZa57ZZvvGcqhKQ6EpnhEbe+qhn9cyfuFSj6ZYmkWxlA9kCOQQhQrVvIBu9iHBQ1FGOAw4RHWocClbwcyGGzi9uAT5xAS4T5HBR2kLVIWpwyF2AL9D2m1E7EmrYOabqjW6BSdhkPKIYywZ3bH3tgTu2cv7PPPWn5YI/BSplmtabmdT5wOZD/+VRk0ezj6VjX07OEA06FXQd7tkAluodX0pZPzt+zM2og/ym7YK/m/ZlX2SDcwS+/a7Spfu2jgRyUv9GLUIPl3O+rBxnhankxnVjOp+YWoVXEMYhhj1I8pzGMZK8hRfRNnuMSVlJAmpFlprpYqxSJNP36EtPQFgjSUNw==</latexit> xk <latexit sha1_base64="xXrC2lsnp62Lx+Jn+HbYePm/ABc=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZSqkiiEU3XfZhH9CWksRpHZsXSVqpoT/gXlwIioIL8QP8ADf+gIt+gris4MaFN2lAtFhvmMyZM/fcOTNX1GVmWoT0fNzY+MTklH86MDM7Nx/kFxYLptYyJJqXNFkzSqJgUpmpNG8xS6Yl3aCCIsq0KDb3nf1imxom09QDq6PTqiI0VFZnkmAhVa6Iin3SrdnsuFvjwyRK3AgNg5gHwuBFWuMfoQKHoIEELVCAggoWYhkEMPErQwwI6MhVwUbOQMTcfQpdCKC2hVkUMwRkm/hv4KrssSqunZqmq5bwFBmHgcoQRMgLuSd98kweyCv5/LOW7dZwvHRwFgdaqteCZ8u5j39VCs4WHH2rRnq2oA5brleG3nWXcW4hDfTt04t+bjsbsdfILXlD/zekR57wBmr7XbrL0OzlCD8iesEXwwbFfrdjGBQ2orFENJ6Jh5N7Xqv8sAKrsI792IQkpCANefdFz+EKrjmeS3A73O4glfN5miX4EVzqC4b1lKg=</latexit> wij <latexit sha1_base64="dVVHyO1TwKnUA+cvZJN33KDBwNs=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZSKkiiEU3XfZhH9CWksSpDs2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPCmzQgWqw3TObMmXvunJkrGQqzbEJ6AW5sfGJyKjgdmpmdmw/zC4tFS2+ZMi3IuqKbZUm0qMI0WrCZrdCyYVJRlRRakpr77n6pTU2L6dqB3TFoTRWPNNZgsmgjValKqnPSrTus2a3zURInXkSGgeCDKPiR0flHqMIh6CBDC1SgoIGNWAERLPwqIAABA7kaOMiZiJi3T6ELIdS2MItihohsE/9HuKr4rIZrt6blqWU8RcFhojICMfJC7kmfPJMH8ko+/6zleDVcLx2cpYGWGvXw2XL+41+VirMNx9+qkZ5taMCW55Whd8Nj3FvIA3379KKf387FnDVyS97Q/w3pkSe8gdZ+l++yNHc5wo+EXvDFsEHC73YMg+JGXEjGE9lENLXntyoIK7AK69iPTUhBGjJQ8F70HK7gmuO5JLfD7Q5SuYCvWYIfwaW/AIkWlKk=</latexit> wik Element-wise multiplication NN (MLP etc) Neighboring nodes Jørgensen PB, Jacobsen KW, Schmidt MN. Neural Message Passing with Edge Updates for Predicting Properties of Molecules and Materials. arXiv [stat.ML]. 2018. http://arxiv.org/abs/1806.03146 SchNet-edge-update
69. QSAR/QSPR, QM Approximation, Molecule Generations, … (FP.PM (FN/FU Klicpera et al (NeurIPS2021) https://arxiv.org/abs/2106.08903 Ganea et al (NeurIPS2021) https://arxiv.org/abs/2106.07802 %JNF/FU Klicpera et al (NeurIPS WS2022) https://arxiv.org/abs/2011.14115 3BEJBM
    #BTJT 2D Spherical (Fourier-Bessel) Basis Bond angles Bond angles Torsion angles (Dihedral angles) generates distributions of low-energy molecular 3D conformers
70. ML ⁇ QM: ML Potentials, Force fields, Density functionals Machine Learning at the Atomic Scale (Chem. Rev.) https://pubs.acs.org/toc/chreay/121/16 Data Science Meets Chemistry (Acc. Chem. Res.) https://pubs.acs.org/page/achre4/data-science-meets-chemistry
71. SchNOrb (Schütt et al, Nat Commn, 2019)
72. DM21 Density functional (Kirkpatrick et al, Science, 2021)
73. "Learn to simulate"
74. Learn to simulate long-time evolution of a glassy sytem https://deepmind.com/blog/article/Towards-understanding-glasses-with-graph-neural-networks Bapst V, Keck T, Grabska-Barwińska A, Donner C, Cubuk ED, Schoenholz SS, et al. Unveiling the predictive power of static structure in glassy systems. Nature Physics. 2020;16: 448–454.
75. Annu. Rev. Phys. Chem. 71:361–90 (2020) PNAS (2020) Acc. Chem. Res. 54(7):1575–1585 (2021) DL/GNNs ⁇ Simulations How to fuse ML (empiricism) and simulations (rationalism) is one of the recent hot topics.
76. AtomicNum TotalDegree TotalNumHs FormalCharge deltaMass IsInRing Toward more effective inductive bias? Water molecule H2 O 0 1 2 0 1 8 2 0 0 0 0 1 1 0 0 0 0 0 0 1 0 0 0 0 BondType Stereo 1 1 0 0 0 0 A molecular graph (RDKit) Atom Invariants Bond Invariants 1 2 bond angle 104.45° atom-atom distance 95.84 pm O H H H O H 1s2 2s2 2p4 1s1 1s1 8 + 1 + 1 = 10 electrons +8 + + - - - - - - - - - - covalent bonds δ+ δ+ δ- δ- - - - - O H H sp3 hybridization molecular orbitals O H H sp3 sp3 sp3 sp3 2px 2px 2px 2s 1s 1s O H H LUMO HOMO
77. Toward more effective inductive bias? https://doi.org/10.1038/ s42254-021-00314-5
78. https://uclnlp.github.io/nampi/ Neural Abstract Machines & Program Induction • Differentiable Neural Computers / Neural Turing Machines (Graves+ 2014) • Memory Networks (Weston+ 2014) • Pointer Networks (Vinyals+ 2015) • Neural Stacks (Grefenstette+ 2015, Joulin+ 2015) • Hierarchical Attentive Memory (Andrychowicz+ 2016) • Neural Program Interpreters (Reed+ 2016) • Neural Programmer (Neelakantan+ 2016) • DeepCoder (Balog+ 2016) : DL/GNNs ⁇ Symbolic Tasks, Logical Inference, Planning Now we can use machine learning also for symbolic, logical, algorithmic tasks! Can we also use explicit chemical knowledges?
79. https://www.ipam.ucla.edu/dlc2021 https://arxiv.org/abs/2102.09544 DL/GNNs ⁇ Combinatorial Optimization and Reasoning https://doi.org/10.1016/j.patter.2021.100273 https://youtu.be/QOBoZaDZYUI
80. One final remark on "the true dark side" …
81. Object recognition Game play ˑ֮׶ָהֲ˒ J’aime la musique I love music Speech recognition Machine translation The huge gap between prediction and understanding Prediction does not directly bring us Understanding nor Discovery. Current ML already provides practical applications below, but how we recognize objects and speech sounds, and how we aquire and use languages is still not well understood…
82. Weight (kg) Height (cm) Height and Weight of Pro baseball players (2016 NPB Website) To find out what happens to a system when you interfere with it, you have to interfere with it (not just passively observe it). George Box Observational vs experimental (interventional) studies We see correlation, but these data never tell us "increase weight" does not imply "grow in height" Applied Stats 101 Correlation does not imply causation We need experiments! Passively observing data and applying ML to it is alway insufficient. An Inconvenient Truth All we can directly access is correlation
83. Toward causal representation learning https://arxiv.org/abs/2102.11107
84. ˖ %FTJHOQMBO
    BOE
    DPOEVDU
    FYQFSJNFOT
    ˖ &WBMVBUF
    PCTFSWBUJPOT
    ˖ 8PSL
    XJUI
    FYQFSUT From machine learning to machine discovery The hard problems are happening at the interface between inside and outside of ML. ML models inside outside Input information of the outside Get information back to the outside ˖ *EFOUJGZ
    JOQVU
    WBSJBCMFT
    ˖ %FTJHO
    .-
    UBTLT
    ˖ 1SFQBSF
    HPPE
    USBJOJOH
    EBUB
    ˖ 6TF
    FYJTUJOH
    EBUBLOPXMFEHF Representing Intervening
85. The lesson: Science is a human activity, after all We need to seriously take all "human factors" into consideration. All difficulty is our fault. We want "understanding" and "discovery", but neither machines nor nature do. • Interpretability All information needs to be simple enough so that we feel like we understand it within our (poor) cognitive capability. • Partiality of information We cannot observe everything, nor model everything. Any data is some finite, partial, and inevitably biased snapshot. • Finitude of time Discovery needs to be done within the time limit of one's life (or the extinction of mankind)
86. Summary 1. What actually ML is? 2. The dark side: Modern aspects of ML 3. The light side: Deep learning for molecules A quick review on the dark side and light side of ML from both viewpoints as an ML algorithm researcher and an ML practitioner/user May the ML Force be with you… Science is built up of facts, as a house is built of stones; but an accumulation of facts is no more a science than a heap of stones is a house. Henri Poincaré "Science and hypothesis" This slide is available at https://itakigawa.github.io/news.html