Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【論文解説】KAN: Kolmogorov-Arnold Networks

【論文解説】KAN: Kolmogorov-Arnold Networks

KANの理論的な解説を簡単にまとめました

tamoharu

June 11, 2024
Tweet

Other Decks in Research

Transcript

  1. ニューラルネットワークとは? 𝒙 𝒚 𝒇 ⼊⼒ 出⼒ NN • ⼊⼒を受け取って出⼒を計算するモデルである。 •

    データから“学習”することによって理想的な関数 に近似する → 連続関数を表現できればNNを構築できるのでは? 普遍性定理 Kolmogorov-Arnold表現定理 MLP KAN • 線形変換 𝐰 と特定の⾮線形変換 𝜎 を組み合わせ ることで任意の連続関数を近似できるという定理 • 𝐰 はエッジの線形変換、 𝜎 はノードの活性化関数 に相当 • 1変数連続関数 Φ, 𝜙 の重ね合わせによって任意の 多変数連続関数を完全に表現できるという定理 • Φ, 𝜙 はエッジの⾮線形変換、Σはノードの加算操作 に相当 (従来のNN)
  2. 1. 各変数 𝑥! に対してn個の内部関数 𝜙",! 𝑥! を作⽤させる 2. その結果を各 𝑞

    について⾜し合わせる 3. 内部関数の和を 2n + 1 個の外部関数 Φ" にそれぞれ⼊⼒ 4. 最後にその結果を全て⾜し合わせる KANの理論 式の⾒⽅ これは2層のKANに相当する Kolmogorov-Arnold表現定理 KANへの拡張 外部関数を多層に重ね合わせることでMLPの強みを取り⼊れることに成功し、表現⼒が⾶躍的に向上した。 1層⽬ 2層⽬ ここが本論⽂の新規性! しかし、実際はあまり上⼿くいかなかった… 2層⽬ 1層⽬ 任意の多変数連続関数は1変数連続関数から構成できる
  3. sin π𝑥 𝑦$ exp • + exp sin π𝑥 +

    𝑦$ の学習例 解釈可能性 • 学習後に重要でないノードを刈り 取った結果を描画している。 • 𝑥, 𝑦 の⼊⼒から出⼒までの計算過程 が⾒事に可視化されている。 忘却の回避 • KANはデータを新たに与えても以前 の学習過程が保存されている • MLPでは追加学習によって既存の 情報が書き換えられてしまうが、 KANはその局所性によって遠くの 情報は保持される