$30 off During Our Annual Pro Sale. View Details »

幾何と機械学習: A Short Intro

itakigawa
April 18, 2022

幾何と機械学習: A Short Intro

フォレスト会議, JST CREST「学習/数理モデルに基づく時空間展開型アーキテクチャの創出と応用」機械学習グループ, 2022年4月18日

itakigawa

April 18, 2022
Tweet

More Decks by itakigawa

Other Decks in Research

Transcript

  1. 幾何と機械学習:A short intro 瀧川 ⼀学 [email protected] 2022年4⽉18⽇ 1. 幾何的深層学習(GDL)とGraph Neural

    Networks(GNNs) 2. トポロジカルデータ解析(TDA) 3. 多様体学習 4. 情報幾何学 2は⻘⽊さんが解説されるので詳細省略!
  2. GeometricalandTopologicalRepresentationLearning https://gt-rl.github.io/cfp Scope and topics • Applications of geometry- or

    topology-based models • Approximation schemes in topological data analysis • Big data and scalability aspects • Equivariant neural networks • Graph representation learning • Higher-order features of unstructured and structured data sets • Manifold learning at scale • Message passing and beyond • New datasets and benchmarks • Topological machine learning 1. 幾何的深層学習とGraph Neural Networks 2. トポロジカルデータ解析 3. 多様体学習 2は⻘⽊さんが解説されるので詳細省略!
  3. なぜ機械学習で幾何を考えるのか? → 微分幾何 (情報幾何) → 計算幾何 (CV, CG, 地理情報, etc)

    → 微分幾何 (多様体学習) 1. 対象が幾何構造を持つ 2. 対象が幾何構造上に分布する → 位相幾何 (材料科学, 物理, etc) 3. 機械学習モデルが幾何構造を持つ ※ 代数幾何 (渡辺澄夫先⽣のご研究) 都合上、2→3→1で紹介します (⻘⽊さんの話は1の位相幾何)
  4. 2.対象が幾何構造上に分布する ICLR Computational Geometry & Topology Challenge 2022 https://github.com/geomstats/challenge-iclr-2022 The

    purpose of this challenge is to foster reproducible research in geometric (deep) learning, by crowdsourcing the open-source implementation of learning algorithms on manifolds. Participants are asked to contribute code for a published/unpublished algorithm, following Scikit-Learn/Geomstats' or pytorch's APIs and computational primitives, benchmark it, and demonstrate its use in real-world scenarios. 何でも良いから実装を実問題のユースケースでデモしあうクラウドソーシングで知⾒収集 (賞⾦:1位 $2000, 2位 $1000, 3位 $500) Geomstatsというパッケージ(後述)のgithub repoにプルリクを送る形でホストされている
  5. 2.対象が幾何構造上に分布する 昨年はGeomstatsもしくはGiotto-TDAを使ったNotebookを作るお題? (Abstractでも⾔及) • Geomstats: A Python Package for Riemannian

    Geometry in Machine Learning (2020) https://arxiv.org/abs/2004.04667 • giotto-tda: A Topological Data Analysis Toolkit for Machine Learning and Data Exploration (2020) https://arxiv.org/abs/2004.02551
  6. トポロジカルデータ解析(TDA)for1.対象が幾何構造を持つ • giotto-tda: A Topological Data Analysis Toolkit for Machine

    Learning and Data Exploration (2020) https://arxiv.org/abs/2004.02551 Persistence diagramsによるTDAをsklearnで使いやすく
  7. 補⾜:TDAのユースケース Boussaa, S.A.; Kheloufi, A.; Zaourar, B.; Kerkar, F. Valorization

    of Algerian Sand for Photovoltaic Application. Acta Phys. Pol. A 2016, 129, 133–137. ⼆酸化ケイ素/シリカ (SiO2 ) ⽯英/⽔晶 (Quartz) ガラス (Glass) ⾮結晶(アモルファス) 結晶
  8. 参考:ガラスとGraphNeuralNetworks Bapst, V., Keck, T., Grabska-Barwińska, A. et al. Unveiling

    the predictive power of static structure in glassy systems. Nat. Phys. 16, 448–454 (2020). https://doi.org/10.1038/s41567-020-0842-8 https://www.deepmind.com/blog/towards-understanding-glasses-with-graph-neural-networks
  9. なぜ機械学習で幾何を考えるのか? → 微分幾何 (情報幾何) → 計算幾何 (CV, CG, 地理情報, etc)

    → 微分幾何 (多様体学習) 1. 対象が幾何構造を持つ 2. 対象が幾何構造上に分布する → 位相幾何 (材料科学, 物理, etc) 3. 機械学習モデルが幾何構造を持つ ※ 代数幾何 (渡辺澄夫先⽣のご研究) 都合上、2→3→1で紹介します (⻘⽊さんの話は1の位相幾何)
  10. 情報幾何 超絶分かりやすい⾚穂先⽣のスライドより、ド定番の⼀例を借⽤! https://staff.aist.go.jp/s.akaho/papers/infogeo.pdf 正規分布 N(μ,σ) の集合 をμ,σを座標にしEuclid 空間で表現すると… A-B と

    C-D の隔たりが 同じになってしまう! Fisher情報量を計量として 「曲がった空間」が適切 その「曲がった空間」を平坦にしたい… (2種類のやり⽅が⾃然に定まり、双対接続 という⾮常に美しい幾何構造が成⽴)
  11. 蛇⾜:私と情報幾何 ⽢利俊⼀・⻑岡浩司 (1998) • 岩波講座 応⽤数学シリーズがリアルタイムで発売されたころちょ うど学部学⽣で流⾏っていたこの本をものすごく勉強した。 • ちなみにこの本は(⻑岡先⽣の⼿により?)数学的に洗練した形に なっていて初⼼者向けではないことがあとあと判明。みんな最初は

    素朴で分かりやすい⽢利先⽣の「Differential-Geometrical Methods in Statistics (1985)」のコピーで勉強したそう。 • ⻑岡浩司先⽣は北⼤を去った後だったが、塩⾕浩之先⽣(当時助⼿, 現・室蘭⼯⼤・教授)を師匠とする同級⽣ 内⽥くん(現・早稲⽥⼤・ 教授)と密だったので「情報幾何」の話を知ったのだと思う • ⾹川県出⾝の私は⽂字通り札幌に知り合いゼロの上、没交渉だっ たので、研究室配属までは、私の友達は内⽥くんと飯塚くん(北⼤ 情報・⾃律系⼯学研究室・准教授)の2⼈だけだった…
  12. Ϳ なぜ機械学習で幾何を考えるのか? → 微分幾何 (情報幾何) → 計算幾何 (CV, CG, 地理情報,

    etc) → 微分幾何 (多様体学習) 1. 対象が幾何構造を持つ 2. 対象が幾何構造上に分布する → 位相幾何 (材料科学, 物理, etc) 3. 機械学習モデルが幾何構造を持つ ※ 代数幾何 (渡辺澄夫先⽣のご研究) 都合上、2→3→1で紹介します (⻘⽊さんの話は1の位相幾何)
  13. 分⼦科学とGraphNeuralNetworks Topology An input graph Edge Features Node features p1

    p2 p3 Representation Learning q1 q2 q3 Classification / Regression Head Other Info (Conditions, Environment, …)
  14. MolecularGraphs 1. 2. 1 2 1 0 2 3 12

    0 3 4 12 0 4 5 12 0 5 6 12 0 6 7 12 0 7 8 2 0 7 9 12 0 9 10 12 0 10 11 2 0 10 12 12 0 12 13 1 0 9 14 1 0 6 2 12 0 12 5 12 0 1. 2. 3. 4. 5. 6. 1 C 6 4 3 0 12.011 0 2 N 7 3 0 0 14.007 1 3 C 6 3 1 0 12.011 1 4 N 7 2 0 0 14.007 1 5 C 6 3 0 0 12.011 1 6 C 6 3 0 0 12.011 1 7 C 6 3 0 0 12.011 1 8 O 8 1 0 0 15.999 0 9 N 7 3 0 0 14.007 1 10 C 6 3 0 0 12.011 1 11 O 8 1 0 0 15.999 0 12 N 7 3 0 0 14.007 1 13 C 6 4 3 0 12.011 0 14 C 6 4 3 0 12.011 0 8 11 12 2 9 4 6 5 7 10 3 13 1 14 Node features Edge features 1. Atomic number 2. # of directly-bonded neighbors 3. # of hydrogens 4. Formal charge 5. Atomic mass 6. Is in a ring? 1. Bond type 2. Stereochemistry
  15. GeometricGraphs Non-geometric node features Non-geometric edge features + Can be

    added GraphといいつつPoint Set として扱う(エッジは明⽰的には ⼊⼒しない)場合が多い 完全グラフを考える(Transformer), cut offは頂点間距離で内部的に定義, etc Graph in Euclid Space <latexit sha1_base64="T9NBOfd7zcDksHyg6Y5oyIVx9gw=">AAACr3ichVG/TxRBFP5YFREVTm1IbDZeMMaQzVtv9Q4SEqKNJRweR8LCsbM3wIT9ld25i7i5f8CKjsJKEwtjr6UmNPwDFvwJxhITGgrf7Z0xFsCbzMyb773vzTfzRBKoTBMdjxhXrl4bvT52Y/zmrdsTk6U7d1eyuJP6suHHQZyuCi+TgYpkQysdyNUklV4oAtkUuy/68WZXppmKo1d6L5HrobcdqS3le5qhVumxm7sizF/3Wsp0VWS6oad3hMjrvY3KnKnm7Rm3HetsJnJ7rVKZrCrVZh3HJIvsWXpaYceuOpWaY9oWFVbG0Bbj0le4aCOGjw5CSETQ7AfwkPFYgw1Cwtg6csZS9lQRl+hhnLkdzpKc4TG6y+s2n9aGaMTnfs2sYPt8S8AzZaaJafpBn+iEjugz/aSzc2vlRY2+lj3exYArk9bk26nl00tZIe8aO/9YF2rW2EKt0KpYe1Ig/Vf4A373zcHJ8lx9On9IH+gX639Px3TIL4i6v/2PS7L+7gI9grXwj3GD/nbBPN9ZeWLZzyxnySkvPB+2agz38QCPuB9VLOAlFtHg+vv4gm/4bthG09gwNgepxsiQcw//maH+AKbCoNA=</latexit> {xi 2 R3 : i = 1, . . . , n}
  16. GraphNeuralNetworksとMessagePassing GNN Layer 1 3 2 4 1 2 3

    4 5 6 1 2 3 4 1 2 3 4 5 6 Node features Edge features 1 3 2 4 1 2 3 4 5 6 1 2 3 4 1 2 3 4 5 6 Global Pooling (Readout) Graph-level Prediction Node-level Prediction Edge-level Prediction Update Update Head Head Head × Layers Derrow-Pinion A, She J, Wong D, Lange O, Hester T, Perez L, et al. ETA Prediction with Graph Neural Networks in Google Maps. CIKM 2021 Fang X, Huang J, Wang F, Zeng L, Liang H, Wang H. ConSTGAT: Contextual Spatial-Temporal Graph Attention Network for Travel Time Estimation at Baidu Maps. KDD 2020 Dong XL, He X, Kan A, Li X, Liang Y, Ma J, et al. AutoKnow: Self- Driving Knowledge Collection for Products of Thousands of Types. KDD 2020 Dighe P, Adya S, Li N, Vishnubhotla S, Naik D, Sagar A, et al. Lattice-Based Improvements for Voice Triggering Using Graph Neural Networks. ICASSP 2020 Travel Time Estimation (Google Maps, Baidu Maps) Siri Triggering (Apple) Knowledge Collection (Amazon)
  17. 幾何的な予測タスクの例 -97208.406 Geometric ML Geometric ML Energy Forces at atoms

    Geometric ML ≈ Gradient of PES "ML Potential" or Property Prediction "ML Force field" "ML Conformer Generation" Geometric ML "ML Dynamics Simulator"
  18. GNNの汎⽤性:3Dの幾何構造も同じ枠組で扱える input output ∼ 1000 秒 Density Functional Theory (DFT)

    B3LYP/6-31G(2df, p) <latexit sha1_base64="JI//afsBt1AdIhSgVUbVSGVXtww=">AAACmnichVHLSsNAFD2Nr1pfVREEXQSL4qpMpagIgiiC4qZVq4KVksSxHZomIZkWavAH/AEXrhRcqB/gB7jxB1z0E8SlghsX3qYBUVFvmMyZM/fcOTNXd0zhScYaEaWtvaOzK9od6+nt6x+IDw7teHbVNXjOsE3b3dM1j5vC4jkppMn3HJdrFd3ku3p5pbm/W+OuJ2xrW9YdflDRipY4EoYmiSrER/IlTfprJ2o+4wl1UV0NQCGeYEkWhPoTpEKQQBgZO36HPA5hw0AVFXBYkIRNaPDo20cKDA5xB/CJcwmJYJ/jBDHSVimLU4ZGbJn+RVrth6xF62ZNL1AbdIpJwyWlikn2yK7ZC3tgt+yJvf9ayw9qNL3UadZbWu4UBk5Ht97+VVVolih9qv70LHGE+cCrIO9OwDRvYbT0teOzl62FzUl/il2yZ/J/wRrsnm5g1V6NqyzfPP/Dj05e6MWoQanv7fgJdmaSqdlkOptOLC2HrYpiDBOYpn7MYQlryCBH9X1c4Aa3yriyrKwrG61UJRJqhvEllO0PT6aXZA==</latexit> ˆ H = E 例) ⼀電⼦版のSchrödinger⽅程式 (Kohn‒Sham⽅程式)の求解 ػցֶश ∼0.01 秒 ≈ 100,000 倍⾼速! 量⼦化学計算 • 内部エネルギー • ⾃由エネルギー • ゼロ点振動エネルギー • 最⾼被占軌道 (HOMO) • 最低空軌道 (LUMO) • 分極率 • 双極⼦モーメント • 熱容量 • エンタルピー :
  19. 分⼦の深層表現学習 Atz K, Grisoni F, Schneider G. Geometric deep learning

    on molecular representations. Nature Machine Intelligence. 2021;3: 1023–1032. https://arxiv.org/abs/2107.12375 幾何的タスクの特徴的な要件 Equivariant Message Passing
  20. SE(3)-orE(3)-同変なMessagePassingのデザイン Schütt et al, SchNet. (2017) https://arxiv.org/abs/1706.08566 Satorras et al,

    E(n) Equivariant Graph Neural Networks. (2021) https://arxiv.org/abs/2102.09844 Anderson et al, Cormorant. (2019) https://arxiv.org/abs/1906.04015 Unke et al, PhysNet. (2019) https://arxiv.org/abs/1902.08408 Klicpera et al, DimeNet++. (2020) https://arxiv.org/abs/2011.14115 Fuchs et al, SE(3)-Transformers. (2021) https://arxiv.org/abs/2006.10503 Köhler et al, Equivariant Flows (Radial Field). (2020) https://arxiv.org/abs/2006.02425 Thomas et al, Tensor Field Networks. (2018) https://arxiv.org/abs/1802.08219 E(3)-equivariant E(3)-invariant SE(3)-equivariant Invariant Equivariant <latexit sha1_base64="NH4UQ68bqmsH0AzQM//vHVYIu40=">AAACn3ichVFNLwNRFD0d3/VVbITN0FRq07wiiETSsGAlrSoVpJkZrzUxnZnMvDZoJNb+gIUVCYlYsPMDbPwBCz9BLCuxsXA7nUQQ3MnMO/e8e+6c965qG7orGHsKSA2NTc0trW3B9o7Oru5QT++qa5UcjWc0y7CcrKq43NBNnhG6MHjWdrhSVA2+pu7O1/bXytxxdctcEfs23yoqBVPP65oiiMqFBvLRwqa2bQl5b1SelQtyPclH90ZzoTCLMS/knyDugzD8SFqhO2xiGxY0lFAEhwlB2IACl54NxMFgE7eFCnEOId3b5zhEkLQlquJUoRC7S98CZRs+a1Je6+l6ao3+YtDrkFJGhD2yK1ZlD+yaPbP3X3tVvB41L/u0qnUtt3Pdx/3pt39VRVoFdj5Vf3oWyGPa86qTd9tjaqfQ6vrywUk1PbMcqYywc/ZC/s/YE7unE5jlV+0ixZdP//Cjkhe6MRpQ/Ps4foLVsVh8Mjaemggn5vxRtWIQw4jSPKaQwCKSyFD/I1ziBrfSkLQgLUnJeqkU8DV9+BLS+gekOpi/</latexit> f(g · x) = g · f(x) <latexit sha1_base64="z65vGkIR8AznuZeRro+w9TcH+xY=">AAACl3ichVHLSsNAFD3Gd3206kZxEyyVuilTFRVBLAri0qqtQislSac1mCYhmZZq8Qf8AReCoCAqfoAf4MYfcOEniMsKblx4mwZEi3rDZM6cuefOmbmqbeiuYOy5TWrv6Ozq7ukN9PUPDAZDQ8Np1yo7Gk9plmE5u6rickM3eUrowuC7tsOVkmrwHfVgtbG/U+GOq1vmtji0+V5JKZp6QdcUQVQuNFyIFrNa3hJydUpekgvR6lQuFGYx5oXcCuI+CMOPDSt0jyzysKChjBI4TAjCBhS49GUQB4NN3B5qxDmEdG+f4xgB0pYpi1OGQuwB/Yu0yvisSetGTddTa3SKQcMhpYwIe2K3rM4e2R17YR+/1qp5NRpeDmlWm1pu54Ino1vv/6pKNAvsf6n+9CxQwILnVSfvtsc0bqE19ZWj0/rW4makNsku2Sv5v2DP7IFuYFbetKsk3zz7w49KXujFqEHxn+1oBenpWHwuNpOcDSdW/Fb1YBwTiFI/5pHAOjaQovpVnOMaN9KYtCytSevNVKnN14zgW0jJT5AOlcI=</latexit> f(g · x) = f(x) GNN Layer 1 2 1 3 4 6 7 8 9 10 5 12 11 2 3 4 5 6 7 8 9 101112 Node features 1 2 1 3 4 6 7 8 9 10 5 12 11 2 3 4 5 6 7 8 9 101112 Node features 幾何グラフを⼊⼒に考える場合、GNNの メッセージパッシングはユークリッド運 動群に関する同変性をそなえるべき • ユークリッド群 E(3): 3Dの並進・回転対称性 • 特殊ユークリッド群 SE(3): E(3)+鏡像対称性
  21. 幾何的深層学習(GDL) https://arxiv.org/abs/2104.13478 https://youtu.be/uF53xsT7mjc https://youtu.be/w6Pw4MOzMuo ICLR 2021 Keynote (Michael Bronstein) Seminar

    Talk (Petar Veličković) GNNは幅広い幾何構造を統⼀的に扱える枠組み (機械学習のエルランゲン・プログラム!?)
  22. エルランゲン・プログラム:「幾何」とは何か? 1872年フェリックス・クラインが23歳でエルランゲン⼤学の教授職に就く際、幾何学とは何か どのように研究すべきものかを⽰した指針 幾何学とは変換(シンメトリ)によって変わらない性質の研究 “it is only slightly overstating the

    case to say that physics is the study of symmetry.’’ Philip Anderson 数値ベクトル? 画像? ⾳声? テキスト? グラフ? 3D構造? 変換 数値ベクトル? 画像? ⾳声? テキスト? グラフ? 3D構造? CNN RNN GNN DeepSets Transformer 構造object 構造object Biological ML Chemical ML Physical ML : 物理世界の⾃然法則
  23. まとめ → 微分幾何 (情報幾何) → 計算幾何 (CV, CG, 地理情報, etc)

    → 微分幾何 (多様体学習) 1. 対象が幾何構造を持つ 2. 対象が幾何構造上に分布する → 位相幾何 (材料科学, 物理, etc) 3. 機械学習モデルが幾何構造を持つ 1. 幾何的深層学習(GDL)と Graph Neural Networks(GNNs) 2. トポロジカルデータ解析(TDA) 3. 多様体学習 4. 情報幾何学