Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう!

機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう!

カーネル法を用いて、線型の形で最小化問題に挑むことができるようにする方法についてです。今回では、多項式回帰について適用しています。

More Decks by NearMeの技術発表資料です

Other Decks in Science

Transcript

  1. 2 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 1つの変数 x

    に依存してある従属変数 y が関係あると仮定する ◦ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ◦ 問題 → ci (i=0, 1)の決定!!
  2. 3 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 問題 →

    ci (i=0, 1)の決定(最適な直線を引こう!)!!
  3. 7 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ 複数の変数 xi

    (i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ◦ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ◦ 問題 → ci (i=0, 1, 2, …, d) の決定!!
  4. 11 1. 回帰について 1-2. 非線形な単回帰と重回帰 • 非線形とは ◦ 説明変数が1次以外のものが含まれている ◦

    例1: ◦ 例2: → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか?
  5. 14 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-2. カーネル関数の必要性 • 次元を上げることができる ◦

    どういうこと? ▪ k(x, y)の分布は、x, yが実数であれば、3次元に分布する(z=k(x, y)) ▪ 高次元化することで、分類がより明確になることがある