【論文解説】KAN: Kolmogorov-Arnold Networks

KANの理論的な解説を簡単にまとめました

Transcript

1. KAN: Kolmogorov-Arnold Networks ⽥本 晴輝 京都⼤学 理学部 3年
2. Kolmogorov-Arnold表現定理を背景に、従来の 多層パーセプトロン(MLP)に変わる新たな ニューラルネットワークを提案。 MLPはエッジの線形変換を学習するのに対して、 KANはエッジの⾮線形変換を学習する。 概要 ポイント • 微分⽅程式を解くタスクにおいてMLPに対して 100倍のパラメータ効率を達成 → 次元の呪いを克服 (?) • ⾮線形変換を学習するため、解釈可能性に 優れる → ブラックボックス化の解消 MLP KAN
3. ニューラルネットワークとは？ 𝒙 𝒚 𝒇 ⼊⼒ 出⼒ NN • ⼊⼒を受け取って出⼒を計算するモデルである。 • データから“学習”することによって理想的な関数 に近似する → 連続関数を表現できればNNを構築できるのでは？ 普遍性定理 Kolmogorov-Arnold表現定理 MLP KAN • 線形変換 𝐰 と特定の⾮線形変換 𝜎 を組み合わせ ることで任意の連続関数を近似できるという定理 • 𝐰 はエッジの線形変換、 𝜎 はノードの活性化関数 に相当 • 1変数連続関数 Φ, 𝜙 の重ね合わせによって任意の 多変数連続関数を完全に表現できるという定理 • Φ, 𝜙 はエッジの⾮線形変換、Σはノードの加算操作 に相当 (従来のNN)
4. 1. 各変数 𝑥! に対してn個の内部関数 𝜙",! 𝑥! を作⽤させる 2. その結果を各 𝑞 について⾜し合わせる 3. 内部関数の和を 2n + 1 個の外部関数 Φ" にそれぞれ⼊⼒ 4. 最後にその結果を全て⾜し合わせる KANの理論 式の⾒⽅ これは2層のKANに相当する Kolmogorov-Arnold表現定理 KANへの拡張 外部関数を多層に重ね合わせることでMLPの強みを取り⼊れることに成功し、表現⼒が⾶躍的に向上した。 1層⽬ 2層⽬ ここが本論⽂の新規性！ しかし、実際はあまり上⼿くいかなかった… 2層⽬ 1層⽬ 任意の多変数連続関数は1変数連続関数から構成できる
5. sin π𝑥 𝑦$ exp • + exp sin π𝑥 + 𝑦$ の学習例 解釈可能性 • 学習後に重要でないノードを刈り 取った結果を描画している。 • 𝑥, 𝑦 の⼊⼒から出⼒までの計算過程 が⾒事に可視化されている。 忘却の回避 • KANはデータを新たに与えても以前 の学習過程が保存されている • MLPでは追加学習によって既存の 情報が書き換えられてしまうが、 KANはその局所性によって遠くの 情報は保持される
6. まとめ • KANは関数近似タスクにおいてMLPを⼤きく上回る結果を出した • 現実世界のタスクでも上⼿くいくかどうかは検証の余地あり • その他にも、MLPが抱える問題を解決しうる期待感がある