Linear Regression: multiple regressors

Undergraduate class slides

Transcript

1. . . ܭྔܦࡁֶɿ2 ม਺ॏճؼ Keiichi Shima Mie University K.Shima (Mie University) ܭྔܦࡁֶ 1 / 10
2. ࠷খೋ৐๏ ਅͷճؼํఔࣜ yi = α + βxi + γwi + ui (1) yiɺxiɺwi ͸؍ଌ͞ΕΔม਺ɺඪຊ਺͸ n ޡ߲ࠩ͸ະ஌ɺui ∼ N ( 0, σ2 ) ΛԾఆ α, β, γ ͸ະ஌܎਺ɺOLS ʹΑΔਪఆ஋Λ α, β, γ ͱදΘ͢ ޡ߲ࠩͷਪఆ஋Λ࢒ࠩͱݺͿɿui = yi − α − βxi − γwi J = ∑ u2 i ͷ࠷খԽʹΑΓɺα, β, γ ͷਖ਼نํఔ͕ࣜಘΒΕΔ K.Shima (Mie University) ܭྔܦࡁֶ 2 / 10
3. ࠷খೋ৐๏ ਅͷճؼํఔࣜ yi = α + βxi + γwi + ui (1) yiɺxiɺwi ͸؍ଌ͞ΕΔม਺ɺඪຊ਺͸ n ޡ߲ࠩ͸ະ஌ɺui ∼ N ( 0, σ2 ) ΛԾఆ α, β, γ ͸ະ஌܎਺ɺOLS ʹΑΔਪఆ஋Λ α, β, γ ͱදΘ͢ ޡ߲ࠩͷਪఆ஋Λ࢒ࠩͱݺͿɿui = yi − α − βxi − γwi J = ∑ u2 i ͷ࠷খԽʹΑΓɺα, β, γ ͷਖ਼نํఔ͕ࣜಘΒΕΔ K.Shima (Mie University) ܭྔܦࡁֶ 2 / 10
4. ࠷খೋ৐๏ ਅͷճؼํఔࣜ yi = α + βxi + γwi + ui (1) yiɺxiɺwi ͸؍ଌ͞ΕΔม਺ɺඪຊ਺͸ n ޡ߲ࠩ͸ະ஌ɺui ∼ N ( 0, σ2 ) ΛԾఆ α, β, γ ͸ະ஌܎਺ɺOLS ʹΑΔਪఆ஋Λ α, β, γ ͱදΘ͢ ޡ߲ࠩͷਪఆ஋Λ࢒ࠩͱݺͿɿui = yi − α − βxi − γwi J = ∑ u2 i ͷ࠷খԽʹΑΓɺα, β, γ ͷਖ਼نํఔ͕ࣜಘΒΕΔ K.Shima (Mie University) ܭྔܦࡁֶ 2 / 10
5. ࠷খೋ৐๏ ਅͷճؼํఔࣜ yi = α + βxi + γwi + ui (1) yiɺxiɺwi ͸؍ଌ͞ΕΔม਺ɺඪຊ਺͸ n ޡ߲ࠩ͸ະ஌ɺui ∼ N ( 0, σ2 ) ΛԾఆ α, β, γ ͸ະ஌܎਺ɺOLS ʹΑΔਪఆ஋Λ α, β, γ ͱදΘ͢ ޡ߲ࠩͷਪఆ஋Λ࢒ࠩͱݺͿɿui = yi − α − βxi − γwi J = ∑ u2 i ͷ࠷খԽʹΑΓɺα, β, γ ͷਖ਼نํఔ͕ࣜಘΒΕΔ K.Shima (Mie University) ܭྔܦࡁֶ 2 / 10
6. ࠷খೋ৐๏ ਅͷճؼํఔࣜ yi = α + βxi + γwi + ui (1) yiɺxiɺwi ͸؍ଌ͞ΕΔม਺ɺඪຊ਺͸ n ޡ߲ࠩ͸ະ஌ɺui ∼ N ( 0, σ2 ) ΛԾఆ α, β, γ ͸ະ஌܎਺ɺOLS ʹΑΔਪఆ஋Λ α, β, γ ͱදΘ͢ ޡ߲ࠩͷਪఆ஋Λ࢒ࠩͱݺͿɿui = yi − α − βxi − γwi J = ∑ u2 i ͷ࠷খԽʹΑΓɺα, β, γ ͷਖ਼نํఔ͕ࣜಘΒΕΔ K.Shima (Mie University) ܭྔܦࡁֶ 2 / 10
7. ਖ਼نํఔࣜ              ∑ yi − nα − β ∑ xi − γ ∑ wi = 0 ∑ yixi − α ∑ xi − β ∑ x2 i − γ ∑ wixi = 0 ∑ yiwi − α ∑ wi − β ∑ xiwi − γ ∑ w2 i = 0 (2) Ұஈ໨ɿy ౳͸ฏۉ α = y − βx − γw (3) ೋஈ໨ɿα Λফڈ ∑ yixi − ( y − βx − γw ) nx − β ∑ x2 i − γ ∑ wixi = 0, ∑ yixi − nyx − β (∑ x2 i − nx2 ) − γ (∑ wixi − nwx ) = 0 (4) ࡾஈ໨ɿα Λফڈ ∑ yiwi − ( y − βx − γw ) nw − β ∑ xiwi − γ ∑ w2 i = 0, ∑ yiwi − nyw − β (∑ xiwi − nxw ) − γ (∑ w2 i − nw2 ) = 0 (5) K.Shima (Mie University) ܭྔܦࡁֶ 3 / 10
8. ਖ਼نํఔࣜ              ∑ yi − nα − β ∑ xi − γ ∑ wi = 0 ∑ yixi − α ∑ xi − β ∑ x2 i − γ ∑ wixi = 0 ∑ yiwi − α ∑ wi − β ∑ xiwi − γ ∑ w2 i = 0 (2) Ұஈ໨ɿy ౳͸ฏۉ α = y − βx − γw (3) ೋஈ໨ɿα Λফڈ ∑ yixi − ( y − βx − γw ) nx − β ∑ x2 i − γ ∑ wixi = 0, ∑ yixi − nyx − β (∑ x2 i − nx2 ) − γ (∑ wixi − nwx ) = 0 (4) ࡾஈ໨ɿα Λফڈ ∑ yiwi − ( y − βx − γw ) nw − β ∑ xiwi − γ ∑ w2 i = 0, ∑ yiwi − nyw − β (∑ xiwi − nxw ) − γ (∑ w2 i − nw2 ) = 0 (5) K.Shima (Mie University) ܭྔܦࡁֶ 3 / 10
9. ਖ਼نํఔࣜ              ∑ yi − nα − β ∑ xi − γ ∑ wi = 0 ∑ yixi − α ∑ xi − β ∑ x2 i − γ ∑ wixi = 0 ∑ yiwi − α ∑ wi − β ∑ xiwi − γ ∑ w2 i = 0 (2) Ұஈ໨ɿy ౳͸ฏۉ α = y − βx − γw (3) ೋஈ໨ɿα Λফڈ ∑ yixi − ( y − βx − γw ) nx − β ∑ x2 i − γ ∑ wixi = 0, ∑ yixi − nyx − β (∑ x2 i − nx2 ) − γ (∑ wixi − nwx ) = 0 (4) ࡾஈ໨ɿα Λফڈ ∑ yiwi − ( y − βx − γw ) nw − β ∑ xiwi − γ ∑ w2 i = 0, ∑ yiwi − nyw − β (∑ xiwi − nxw ) − γ (∑ w2 i − nw2 ) = 0 (5) K.Shima (Mie University) ܭྔܦࡁֶ 3 / 10
10. ਖ਼نํఔࣜ              ∑ yi − nα − β ∑ xi − γ ∑ wi = 0 ∑ yixi − α ∑ xi − β ∑ x2 i − γ ∑ wixi = 0 ∑ yiwi − α ∑ wi − β ∑ xiwi − γ ∑ w2 i = 0 (2) Ұஈ໨ɿy ౳͸ฏۉ α = y − βx − γw (3) ೋஈ໨ɿα Λফڈ ∑ yixi − ( y − βx − γw ) nx − β ∑ x2 i − γ ∑ wixi = 0, ∑ yixi − nyx − β (∑ x2 i − nx2 ) − γ (∑ wixi − nwx ) = 0 (4) ࡾஈ໨ɿα Λফڈ ∑ yiwi − ( y − βx − γw ) nw − β ∑ xiwi − γ ∑ w2 i = 0, ∑ yiwi − nyw − β (∑ xiwi − nxw ) − γ (∑ w2 i − nw2 ) = 0 (5) K.Shima (Mie University) ܭྔܦࡁֶ 3 / 10
11. ࿈ཱํఔࣜ Syx = ∑ yixi − nyxɺSyw = ∑ yiwi − nywɺSxx = ∑ x2 i − nx2 ɺ Sww = ∑ w2 i − nw2 ɺSxw = ∑ xiwi − nxw ͱஔ͘ (4)ɺ(5) ࣜΑΓ࣍ͷ࿈ཱํఔ͕ࣜಘΒΕΔ { Syx = Sxx β + Sxw γ Syw = Sxw β + Sww γ (6) ࿈ཱํఔࣜΛղ͚͹ɺβ, γ ͸ β = SyxSww − SywSxw SxxSww − S2 xw , (7) γ = SyxSxw − SywSxx S2 xw − SxxSww = SywSxx − SyxSxw SxxSww − S2 xw (8) (7)ɺ ʢ8) ࣜΛ (3) ࣜʹ୅ೖɺα ͕ٻ·Δ K.Shima (Mie University) ܭྔܦࡁֶ 4 / 10
12. ࿈ཱํఔࣜ Syx = ∑ yixi − nyxɺSyw = ∑ yiwi − nywɺSxx = ∑ x2 i − nx2 ɺ Sww = ∑ w2 i − nw2 ɺSxw = ∑ xiwi − nxw ͱஔ͘ (4)ɺ(5) ࣜΑΓ࣍ͷ࿈ཱํఔ͕ࣜಘΒΕΔ { Syx = Sxx β + Sxw γ Syw = Sxw β + Sww γ (6) ࿈ཱํఔࣜΛղ͚͹ɺβ, γ ͸ β = SyxSww − SywSxw SxxSww − S2 xw , (7) γ = SyxSxw − SywSxx S2 xw − SxxSww = SywSxx − SyxSxw SxxSww − S2 xw (8) (7)ɺ ʢ8) ࣜΛ (3) ࣜʹ୅ೖɺα ͕ٻ·Δ K.Shima (Mie University) ܭྔܦࡁֶ 4 / 10
13. ࿈ཱํఔࣜ Syx = ∑ yixi − nyxɺSyw = ∑ yiwi − nywɺSxx = ∑ x2 i − nx2 ɺ Sww = ∑ w2 i − nw2 ɺSxw = ∑ xiwi − nxw ͱஔ͘ (4)ɺ(5) ࣜΑΓ࣍ͷ࿈ཱํఔ͕ࣜಘΒΕΔ { Syx = Sxx β + Sxw γ Syw = Sxw β + Sww γ (6) ࿈ཱํఔࣜΛղ͚͹ɺβ, γ ͸ β = SyxSww − SywSxw SxxSww − S2 xw , (7) γ = SyxSxw − SywSxx S2 xw − SxxSww = SywSxx − SyxSxw SxxSww − S2 xw (8) (7)ɺ ʢ8) ࣜΛ (3) ࣜʹ୅ೖɺα ͕ٻ·Δ K.Shima (Mie University) ܭྔܦࡁֶ 4 / 10
14. ࿈ཱํఔࣜ Syx = ∑ yixi − nyxɺSyw = ∑ yiwi − nywɺSxx = ∑ x2 i − nx2 ɺ Sww = ∑ w2 i − nw2 ɺSxw = ∑ xiwi − nxw ͱஔ͘ (4)ɺ(5) ࣜΑΓ࣍ͷ࿈ཱํఔ͕ࣜಘΒΕΔ { Syx = Sxx β + Sxw γ Syw = Sxw β + Sww γ (6) ࿈ཱํఔࣜΛղ͚͹ɺβ, γ ͸ β = SyxSww − SywSxw SxxSww − S2 xw , (7) γ = SyxSxw − SywSxx S2 xw − SxxSww = SywSxx − SyxSxw SxxSww − S2 xw (8) (7)ɺ ʢ8) ࣜΛ (3) ࣜʹ୅ೖɺα ͕ٻ·Δ K.Shima (Mie University) ܭྔܦࡁֶ 4 / 10
15. β ͷظ଴஋ (7) ࣜΑΓɺβ ͷӈลͷ෼ࢠ͸ SyxSww − SywSxw = (∑ yixi − nyx ) Sww − (∑ yiwi − nyw ) Sxw = ∑ ( yi − y ) ( xi − x ) Sww − ∑ ( yi − y ) ( wi − w ) Sxw (9) K.Shima (Mie University) ܭྔܦࡁֶ 5 / 10
16. β ͷظ଴஋ ਅͷճؼํఔࣜ (1) Λ (9) ࣜʹ୅ೖɺ ∑ ( yi − y ) ( xi − x ) Sww − ∑ ( yi − y ) ( wi − w ) Sxw = ∑ [ β ( xi − x ) + γ ( wi − w ) + ui ] ( xi − x ) Sww − ∑ [ β ( xi − x ) + γ ( wi − w ) + ui ] ( wi − w ) Sxw = βSxxSww + γSxwSww + ∑ ui ( xi − x ) Sww − βS2 xw − γSwwSxw − ∑ ui ( wi − w ) Sxw = β ( SxxSww − S2 xw ) + ∑ ui ( xi − x ) Sww − ∑ ui ( wi − w ) Sxw (10) K.Shima (Mie University) ܭྔܦࡁֶ 6 / 10
17. β ͷظ଴஋ (10) ࣜΛ༻͍ͯ (7) ࣜͷ෼ࢠΛॻ͖׵͑ɺ β = β + ∑ ui ( xi − x ) Sww − ∑ ui ( wi − w ) Sxw SxxSww − S2 xw OLS ͷԾఆ . ਅͷޡ߲ࠩͱઆ໌ม਺ͱ͕ಠཱʢແ૬ؔʣ ɿE [uixi] = 0ɺE [uiwi] = 0 ҟͳΔ࣌఺ i j ͷޡ߲ࠩ΋ಠཱɿE [ uiuj ] = 0 Αͬͯɺ E ( β ) = β K.Shima (Mie University) ܭྔܦࡁֶ 7 / 10
18. β ͷظ଴஋ (10) ࣜΛ༻͍ͯ (7) ࣜͷ෼ࢠΛॻ͖׵͑ɺ β = β + ∑ ui ( xi − x ) Sww − ∑ ui ( wi − w ) Sxw SxxSww − S2 xw OLS ͷԾఆ . ਅͷޡ߲ࠩͱઆ໌ม਺ͱ͕ಠཱʢແ૬ؔʣ ɿE [uixi] = 0ɺE [uiwi] = 0 ҟͳΔ࣌఺ i j ͷޡ߲ࠩ΋ಠཱɿE [ uiuj ] = 0 Αͬͯɺ E ( β ) = β K.Shima (Mie University) ܭྔܦࡁֶ 7 / 10
19. β ͷ෼ࢄ E ( β − β )2 = E           ∑ ui ( xi − x ) Sww − ∑ ui ( wi − w ) Sxw SxxSww − S2 xw           2 (11) (11) ࣜͷ෼ࢠΛల։ɺ E [∑ ui ( xi − x ) Sww − ∑ ui ( wi − w ) Sxw ]2 = S2 ww E [∑ u2 i ( xi − x )2 ] + S2 xw E [∑ u2 i ( wi − w )2 ] − 2SwwSxwE          ∑ i ∑ j uiuj ( xi − x ) ( wj − w )          (12) K.Shima (Mie University) ܭྔܦࡁֶ 8 / 10
20. β ͷ෼ࢄ E ( β − β )2 = E           ∑ ui ( xi − x ) Sww − ∑ ui ( wi − w ) Sxw SxxSww − S2 xw           2 (11) (11) ࣜͷ෼ࢠΛల։ɺ E [∑ ui ( xi − x ) Sww − ∑ ui ( wi − w ) Sxw ]2 = S2 ww E [∑ u2 i ( xi − x )2 ] + S2 xw E [∑ u2 i ( wi − w )2 ] − 2SwwSxwE          ∑ i ∑ j uiuj ( xi − x ) ( wj − w )          (12) K.Shima (Mie University) ܭྔܦࡁֶ 8 / 10
21. β ͷ෼ࢄ OLS ͷԾఆΑΓɺE ( uiuj ) = 0ɺE ( u2 j ) = σ2 Αͬͯɺୈ 3 ߲͸ E          ∑ i ∑ j ui ( xi − x ) uj ( wj − w )          = ∑ i ∑ j ( xi − x ) ( wj − w ) E ( uiuj ) = ∑ j ( xj − x ) ( wj − w ) E ( u2 j ) = Sxw σ2 K.Shima (Mie University) ܭྔܦࡁֶ 9 / 10
22. β ͷ෼ࢄ (12) ࣜ͸࣍ͷΑ͏ʹදݱͰ͖Δ E [∑ ui ( xi − x ) Sww − ∑ ui ( wi − w ) Sxw ]2 = S2 ww Sxx σ2 + SwwS2 xw σ2 − 2SwwS2 xw σ2 = ( SwwSxx − S2 xw ) Sww σ2 (13) (11)ɺ(13) ࣜʹΑΓɺβ ͷ෼ࢄ͸ E ( β − β )2 = ( SwwSxx − S2 xw ) Sww σ2 ( SxxSww − S2 xw )2 = Sww SxxSww − S2 xw σ2 K.Shima (Mie University) ܭྔܦࡁֶ 10 / 10