Upgrade to Pro — share decks privately, control downloads, hide ads and more …

第1.5回ゼミ

 第1.5回ゼミ

回帰

TakumaOchiai

August 19, 2022
Tweet

More Decks by TakumaOchiai

Other Decks in Education

Transcript

  1. 1. 単回帰分析 3 © Presentation Design • データの構造を表す 直線のモデル式を作る。 •

    直線のモデル式を作って 予測をする。 例) 最⾼気温とアイス →モデル︓y=𝑎𝑥+b どんな分析⼿法︖
  2. 1.単回帰分析 © Presentation Design 4 どうやってモデルを作るの︖ • 実際の値と予測した値の差 (残差𝜀𝑖 )の⼆乗和を計算

    • 残差𝜀𝑖 の⼆乗和∑ 𝜀𝑖 2が最⼩になる 傾き % 𝛼, 切⽚ ' 𝛽を求める →残差⼆乗和∑ 𝜺𝒊 𝟐 → ∑ 𝜺𝒊 𝟐 を* 𝜶, , 𝜷で偏微分して 𝝏 ∑ 𝜺𝒊 𝟐 𝝏* 𝜶 = 𝟎, 𝝏 ∑ 𝜺𝒊 𝟐 𝝏, 𝜷 = 𝟎 を満たす* 𝜶, , 𝜷を求める
  3. 1.単回帰分析 © Presentation Design 6 % 𝑦︓yの平均, ̅ 𝑥︓xの平均 と表すと

    偏微分=0 Σを分解 →bは定数なのでNbになる yの平均, xの平均 切⽚! 𝜷を求める 偏微分=0
  4. 1.単回帰分析 © Presentation Design 8 傾き! 𝜷を求める % 𝑦︓yの平均, ̅

    𝑥︓xの平均(1.10) bはわかってるからaも求められそう︕ 偏微分=0 Σを分解
  5. 1.単回帰分析 © Presentation Design 9 傾き! 𝜷を求める ! 𝑦︓yの平均, ̅

    𝑥︓xの平均(1.10) 切⽚bの式 𝑏 = # 𝑦 − 𝑎 ̅ 𝑥 を代⼊すると 積の平均 – 平均の積 ⼆乗の平均 – 平均の⼆乗
  6. 1.単回帰分析 © Presentation Design 10 決定係数 R! = ∑" #

    𝜀$ ∑" # 𝑦$ − ' 𝑦$ = ∑" # ' 𝑦$ − ( 𝑦 ∑" # 𝑦$ − ( 𝑦 これが1に近いほど回帰直線はデータによく当てはまっている
  7. 2. 重回帰分析 © Presentation Design 11 ・単回帰分析︓y = 𝛼 +

    𝛽𝑥 →変数一つだけだと完全に表せ切れてなくない? →変数を増やそう! 重回帰分析とは︖ 重回帰モデル y = 𝛼 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ 𝛽𝑘 𝑥𝑘 例) y︓アイスクリームの売上 𝑥1 :最高気温 𝑥2 :平均価格(新たな変数)
  8. 2. 重回帰分析 © Presentation Design 12 重回帰分析とは︖ データ𝑦,, 𝑦- ⋯

    𝑦. に対して、重回帰モデル y = 𝛼 + 𝛽,𝑥, + 𝛽-𝑥- + ⋯ 𝛽.𝑥. 6 𝑦, = 𝜔,𝑥,, + 𝜔-𝑥,- + ⋯ 𝜔.𝑥,. 6 𝑦- = 𝜔, 𝑥,- + 𝜔- 𝑥-- + ⋯ 𝜔. 𝑥-. ⋮ 6 𝑦/ = 𝜔,𝑥/, + 𝜔-𝑥/- + ⋯ 𝜔.𝑥/. ⾏列で表記 6 𝑦, 6 𝑦- ⋮ 6 𝑦/ = 𝜔,𝑥,, + 𝜔-𝑥,- + ⋯ 𝜔.𝑥,. 𝜔,𝑥,- + 𝜔-𝑥-- + ⋯ 𝜔.𝑥-. ⋮ 𝜔, 𝑥/, + 𝜔- 𝑥/- + ⋯ 𝜔. 𝑥/. = 𝑥,, 𝑥-, ⋯ 𝑥,. 𝑥-. ⋮ ⋱ ⋮ 𝑥/, ⋯ 𝑥/. 𝜔, 𝜔- ⋮ 𝜔. まとめると * 𝒚 = 𝑿𝝎
  9. 2. 重回帰分析 © Presentation Design 13 最⼩⼆乗法 𝐿0 1 =

    ∑ 𝜀2 - = 𝜺 - = 𝜔, 𝜔- ⋮ 𝜔/ 3 𝜔, 𝜔- ⋮ 𝜔/ = 𝒚 − 𝑿𝝎 - = 𝒚 − 𝑿𝝎 3 𝒚 − 𝑿𝝎 最⼩にしたい⽬的関数 = 𝒚𝑻𝒚 − 𝑿𝝎 𝑻𝒚 − 𝒚𝑻𝑿𝝎 + 𝑿𝝎 𝑻𝑿𝝎 =𝒚𝑻𝒚 − 𝝎𝑻𝑿𝑻𝒚 −𝒚𝑻 𝑿𝝎 + 𝝎𝑻𝑿𝑻𝑿𝝎 ()を展開 を展開
  10. 2. 重回帰分析 © Presentation Design 14 最⼩⼆乗法 𝜕 𝜕𝝎 𝒚

    − 𝑿𝝎 - = 𝜕 𝜕𝝎 𝒚𝑻𝒚 − 𝝎𝑻𝑿𝑻𝒚 −𝒚𝑻 𝑿𝝎 + 𝝎𝑻𝑿𝑻𝑿𝝎 = −𝟐𝒚𝑻𝑿 + 𝟐𝑿𝑻𝑿𝝎 −𝟐𝒚𝑻𝑿 + 𝟐𝑿𝑻𝑿𝝎 = 𝟎とすると 𝑿𝑻𝑿𝝎 = 𝒚𝑻𝑿 𝝎= 𝑿𝑻𝑿 5𝟏 𝒚𝑻𝑿