論文紹介: KAN

Transcript

1. 論文紹介: KAN 2024/07 ©︎ 開発本部 勉強会 - Made with marp.
2. 論文情報 タイトル KAN: Kolmogorov-Arnold Networks 公開 arXiv: 2024/04/30 ざっくり内容 従来のMLP(Multilayer Perceptron)に代わる新しい構造を採用した ニューラルネットワークアーキテクチャの提案 紹介理由 根本から覆すような新しいNNの提案であり、 MLPに取って代わられる用途も出てくると思われ、話題性もある。 リポジトリ https://github.com/KindXiaoming/pykan https://github.com/mintisan/awesome-kan KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 2
3. MLPとKANの比較 KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 3
4. MLPとKANの比較 KAN MLP パラメータ効率 高い 低い 学習速度 遅い(MLPより10倍遅い) 速い スケーリング則 良い KANより劣る 解釈可能性 高い 低い 次元の呪いへの対処 効果的 困難 破滅的忘却への対処 効果的 困難 KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 4
5. ネットワーク構造 MLP エッジに学習可能な重みがあり、ノードに固定の活性化関数がある KAN エッジに学習可能な活性化関数があり、ノードでは加算のみ行う KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 5
6. ネットワーク構造の数式の比較 MLP レイヤー数 アフィン変換 非線形変換 アフィン変換と非線形変換が分かれている KAN レイヤー数 活性化関数行列 アフィン変換と非線形変換が にまとまっている KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 6
7. KANの数式 レイヤー番号 活性化関数 層のノード数 活性化関数行列: 活性化関数: 基底関数: スプライン関数(右図): グリッドサイズ: ,学習可能な係数: ,スプライン 基底関数: KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 7
8. UATとKATの比較 Universal Approximation Theorem (UAT) 関数と誤差許容値 が与えられたとき、 個のニューロンを持つ2層ネットワ ークが、その関数を の誤差の範囲内で近似できる は入力の次元の増加に対して、指数関数的に増加することが多い(次元の呪い) Kolmogorov-Arnold Representation Theorem が有界領域上の多変数連続関数ならば、 は単変数連続関数と加算の合成として表せる がそれぞれk+1回連続微分可能であるとすると、任意の に対して、 次の B-スプライン関数 が存在して、 に依存する定数 、グリッドサイズ に関する以下の 近似限界不等式が成り立つ(入力次元に依存しない誤差で関数を近似できる) KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 8
9. Scaling law (スケーリング則) モデルのパラメータ数が増えるとテストlossが減少する現象のこと テスト パラメータ数 スケーリング指数で表される が大きいほどパラメータ数増加による改善効果が大きい MLP Michaud et al.の理論では、ReLUの場合 KAN スプライン関数の次数.論文中の3次スプラインの場合、 KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 9
10. グリッド拡張による精度向上 原理的には、グリッドを任意に細かくする(fine-graining: 細粒化)ことで、スプライン を目的関数に任意の精度で近付けることができる MLPではこのような細粒化の概念はない MLPのノード数と深さを増やすことで性能向上が期待できる(スケーリング則)が、 MLPのスケーリング則は(KANと比べて)遅い上に、新しいサイズのモデルを独立に学 習しなければならない KANでは、まず少ないパラメータで学習し、次にスプラインのグリッドを細かくするだ けでパラメータの多いKANに拡張でき、大きなモデルをゼロから再学習する必要がない グリッドサイズ から に増やすには、 と との差を 最小化できるパラメータ を最小二乗法で見つけ初期値とし、追加学習を行う KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 10
11. グリッド拡張 実験 を学習する [2,5,1]KANのRMSE(左上) グリッドサイズを3から1000まで、 200ステップごとに増やしてRMSE が下がることを確認 [2,1,1]KANのRMSE(右上) 実は中間層は1で十分なため、[2,1,1] の方が良い性能 グリッドサイズとtest lossの関係(左下) [2,1,1]は から でlossが推移 グリッドサイズの増加に対して学習時間 はゆるやかに増加(右下) KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 11
12. 簡素化 先ほどの実験における課題: データセットの構造にマッチするKANの形状を選択する方法が分からない 4つのステップでKAN形状を簡素化する 1. Sparsification: スパース化 L1正則化を用いるが、KANには重みがないため、活性化関数のL1ノルムを定義する 個のサンプリング点の平均を のL1ノルムとする: 層のすべての の合計を のL1ノルムとする: それだけでは不十分であることが分かったので、エントロピー正則化も用いる 予測値にそれらを足す: KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 12
13. 簡素化 2. Visualization: 可視化 - の透明度を に比例してグラフ構造を可視化する KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 13
14. 簡素化 3. Pruning: 剪定 以下の値がどちらも閾値を超えるノードのみを残す 4. Symbolification: シンボル化 活性化関数がシンボリック式( や など)と思われる場合は、フィッティングまたは ユーザーの手でシンボリック式に設定する KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 14
15. 実験概要 タスク 関数近似 比較対象 MLP 評価指標 精度(損失) 複雑さ(パラメータ数) KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 15
16. 実験結果(KA表現が既知な式) ベッセル関数 : [1,1] : [2,1,1] : [2,2,1] : [100,1,1] : [4,4,2,1] いずれの式の近似においても、KANが優れた精度とスケーリングを示した KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 16
17. 実験結果(KA表現が既知でない式) 以下の数学と物理で一般的だがKA表現を知るのが難しい特殊関数で実験 KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 17
18. 実験結果(KA表現が既知でない式) 良い精度を示すとともにコンパクトなKA表現(前ページ表)も発見できた KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 18
19. 破滅的忘却 MLPは、局所的な変更が制御不能で、遠く離れた領域伝播し破壊する(破滅的忘却) KANで用いるスプラインの基底関数は局所的なので、遠くの係数に影響しない KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 19
20. 解釈可能性 KANは解釈可能性が高い それを利用してKANがどのように式の合成構造 を捉えているのかを調べた 乗算 [2,5,1]KANが[2,2,1]KANに剪定された 1次関数と2次関数が学習された 計算グラフから、 を利用して を計算していることが分かる KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 20
21. 解釈可能性 除算 [2,5,1]KANが[2,1,1]KANに剪定された 対数関数と指数関数が学習された 計算グラフから、 を利用して を計算していることが分かる KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 21
22. まとめ KANという新しニューラルネットワークアーキテクチャを提案し、 MLPの有望な代替となる可能性を示した エッジ上に学習可能な活性化関数(スプライン)を配置することで、 効率的なパラメータ化、良いスケーリング、グリッド拡張による段階的精度改善、 局所的な適応性、解釈可能性を獲得した 実際の科学研究に役立つことが予想される 結び目理論および凝縮物質物理学における数式を再発見することができた 今後 学習速度の改善が必要である 異なる活性化関数がありバッチ計算を活用できない 根本的な限界ではなく、将来改善されるべき工学的な問題である 科学関連のタスクで性能を示したが、機械学習関連のタスクに適用したい KAN: Kolmogorov-Arnold Networks 2024/07 ©︎ 開発本部 勉強会 - Made with marp. 22