NeurIPS読み会2021 E(n) Equivariant Normalizing Flows

Original paper: https://proceedings.neurips.cc/paper/2021/hash/21b5680d80f75a616096f2e791affac6-Abstract.html

Transcript

1. NeurIPS 論⽂読み会 E(n) Equivariant Normalizing Flows 2022/1/25 データ推進室 本⽥ 志温
2. 本⽥ 志温（ほんだ しおん） 2 深層学習の動向調査、料理、SF 2020- 現在 株式会社リクルート 機械学習エンジニア 2018- 2020 東京⼤学⼤学院情報理⼯学系研究科 研究テーマは機械学習による分⼦活性予測。分⼦グラフの正規化 フローも経験あり。 2014- 2018 東京⼤学⼯学部 経歴 趣味 SNS @shion_honda @shionhonda
3. 紹介する論⽂ タイトル E(n) Equivariant Normalizing Flows 著者 Victor Garcia Satorras, Emiel Hoogeboom, Fabian B. Fuchs, Ingmar Posner, Max Welling 所属機関 University of Amsterdam, University of Oxford 採択 NeurIPS 2021 (Oral) 一言要約 E(n)変換に同変な正規化フローを提案し、分子などの3次 元データを生成できるようにした 3
4. 準備︓不変性と同変性とは ʻalienʼ ʻalienʼ 不変（invariant） 同変（equivariant） 予測モデルfは回転変換Sについて… f f f f S S 4
5. 準備︓不変性と同変性とは ʻalienʼ ʻalienʼ 不変（invariant） 同変（equivariant） 予測モデルfは回転変換Sについて… f f f f S S 5 NNの設計において近年注⽬を集めるテーマ （セットで登場することもしばしば）
6. • E(n)同変性︓E(n)に同変であること • E(n)︓n次元Euclide空間における等⻑変 換 ◦ E(3)︓並進、回転、鏡映からなる ◦ SE(3)︓鏡映を含まない場合 準備︓E(n)同変性とは https://arxiv.org/abs/2107.12375 6 この論⽂で考えるケース︓各点が座標xとE(n)不変な離散特徴hを持つ 3次元の⾝近な例→分⼦
7. ⽬的︓座標を取り扱える分⼦⽣成モデルを作る • N(>2)次元のデータは画像よりも⾃由度が⼤きいので、対称性 をモデルに組み込むこと（帰納バイアス）がより重要 • 識別タスクについてはEGNNが解決 [Sattoras+, 2021] • ⽣成タスクについては未解決* 7 * ノード特徴を考慮しないモデルとしては [Köhler et al., 2020]がある E(n)同変な分⼦⽣成モデルを作る
8. 部品1︓E(n)同変なグラフ畳込み • 通常のGNNにおいてノードは座標 を持たない • 座標をE(n)同変な形で取り扱える ようにしたのがEGNN • 各ノードは座標xと特徴hを持ち、 xは同変でhは不変 ◦ 分⼦グラフにおける原⼦の種 類などを想定 https://arxiv.org/abs/2102.09844 8
9. 部品2︓連続時間正規化フロー • 連続時間NF（右図） ◦ 時間変化量を数層のNN1つで表現 ◦ アーキテクチャの要件が緩くなる* ◦ 積分時のステップ幅は計算コスト・ 精度に応じて任意に決められる 9 • 正規化フロー（NF) ◦ 潜在変数とデータの間を可逆なNNで つなぐ ◦ 尤度（次式）最⼤化で学習 https://github.com/rtqichen/ffjord * Lipschitz連続かつ連続微分可能
10. 部品2：他の生成モデルとの比較 https://lilianweng.github.io/lil-log/2018/10/13/flow-based-deep-generative-models.html 10
11. Equivariant NF ⼿法︓EGNNで連続時間NFを作る 11 データ （M点の座標と特徴） 正規分布に従う 潜在変数 時間変化量をEGNNで モデル化したNF
12. ⼿法︓密度推定 X -> Z 12 モデルφで計算される変化量をデータに⾜していくと潜在変数に
13. ⼿法︓⽣成 Z -> X 13 モデルφで計算される変化量を潜在変数から引いていくとデータに
14. 実験結果︓粒⼦シミュレーション 14 DW4*とLJ13**というベンチマークで、サンプルサイズを変えながら 負の対数尤度を⽐較→SOTA *4粒⼦のDouble-wellポテンシャル **13粒⼦のLeonard-Jonesポテンシャル Graph NF: ⾮同変 ノード特徴を使わないNF 提案⼿法
15. 実験結果：分子 15 安定なサンプル ランダムなサンプル QM9*ベンチマークでGNFよりも 安定な分⼦を⽣成 * 重原⼦が最⼤9個の分⼦からなるデータ セット 結合は原⼦間距離から判定
16. まとめ： 16 • E(n)同変なNFを提案 ◦ アーキテクチャの制約が緩い連続時間NFで ◦ モデルにはEGNNを使⽤ • 分⼦⽣成で各原⼦の座標と種類を同時に扱える
17. おまけ：（低分子）創薬とのつながり 17 創薬の初期プロセス • ターゲット（タンパク質の結合部位） に結合するリード化合物を⾒つけたい ◦ 「鍵⽳」にはまる「鍵」を探す • 従来⼿法のグラフ表現では⽴体配座を 区別できない ◦ 例︓シクロヘキサンのいす型 vs. ⾈型 • 3D-awareな分⼦⽣成ができると嬉し い︕ Nits: 分⼦⽣成をするなら鏡映は区別すべき https://ja.wikipedia.org/wiki/%E3%83%89%E3%83%83%E3%82 %AD%E3%83%B3%E3%82%B0_(%E5%88%86%E5%AD%90)
18. 主な参考文献 18 Satorras, V. G., Hoogeboom, E., Fuchs, F. B., Posner, I. , Welling, M. E(n) Equivariant Normalizing Flows. In Advances in Neural Information Processing Systems. 2021. 紹介した論⽂。 Satorras, V. G., Hoogeboom, E., and Welling, M. E (n) equivariant graph neural networks. In Advances in International Conference on Machine Learning. 2021. 同チームから出たEGNNの論⽂。 Chen, T. Q., Rubanova, Y., Bettencourt, J., and Duvenaud, D. K. Neural ordinary differential equations. In Advances in Neural Information Processing Systems. 2018. Neural ODEの提案と連続時間NFへの展開。 Köhler, J., Klein, L., and Noé, F. Equivariant flows: sampling configurations for multi-body systems with symmetric energies. In Advances in International Conference on Machine Learning. 2020. ノード特徴を扱わない同変NF。