線形結合モデル(任意有限次元)の 回帰係数/偏相関係数/重相関係数の 楕円(体)を使った解釈

Transcript

1. ઢܗ݁߹Ϟσϧ(೚ҙ༗ݶ࣍ݩ)ͷ ճؼ܎਺/ภ૬ؔ܎਺/ॏ૬ؔ܎਺ͷ ପԁ(ମ)Λ࢖ͬͨղऍ 2019-07-09 Լ໺ण೭ 1
2. I. 背景 2
3. 線形結合モデルは 良く使われる Ø 重回帰モデル Ø ディープラーニング Ø その他もろもろ u ただし、⽣物統計や医療統計では、複数変数 を⼀度に使うようなモデルは、解釈性の難点を 理由に、避けられることがある。 3
4. 線形結合モデル(重回帰)による 係数の解釈は難しい 1. 回帰係数(偏回帰係数): Ø 正負が直感と異なることがある。 Ø 複数の回帰係数が、絶対値が⼤きいことがある。 2. 偏相関係数 : Ø 被説明変数に対するひとつの説明変数の、 相関係数と偏相関係数の正負が異なる場合に、 どう解釈すれば良いのか、難しい。 3. 重相関係数 : Ø 上記2者よりかは、解釈容易。 Ø ただし、どのような場合に値が⼤きくなったり⼩さくなったりするのかは、直感 的に理解が難しい。 Ø 重回帰に関連する問題: Ø 多重共線性の問題 Ø ⽋測データ処理において代⼊を適⽤すると、分散⾏列の固有値が負定値になって、 ⾏き詰まることがある。 4
5. 回帰係数・偏相関係数・ 重相関係数 • 被説明変数Y を 説明変数 Xi と回帰係数ai で表し たとする。定数項は便宜上0とする。 • 説明変数 Xi の間の相関係数⾏列を とする。 • 説明変数 Xi の被説明変数Yの相関を縦ベクトル で とし、さらに とする。 • 重相関係数は • 偏相関係数は • 回帰係数(偏回帰係数)は、全ての変数が標準化 されている場合、 ai は のi番⽬。 5
6. 新しい知⾒ - 楕円(体)による解釈 6
7. 楕円(体) E と点 P の作図(準備) 1. 説明変数はp個とする。 2. p次元ユークリッド空間で以下作図をする。 軸をxi で表す。 3. xi=±1で囲んだ正⽅形/(超)⽴⽅体Sを描く。 4. 相関⾏列Rで与えられるp個の点がEの表⾯に現れ る。それらの点を通る原点を中⼼とする楕円 /(超)楕円体Eは、唯⼀定まる。 5. 説明変数-被説明変数の間の相関ベクトルで定ま る点P を打点する。(拡⼤相関⾏列が⾮負正定値ゆえにPは、 Eの内側に与えられる。) 7
8. 新しい3個の定理 1. 半直線OPとEの交点をP’とする。 重相関係数は、⻑さの⽐ OP/OP’ に⼀致する。 2. 実数への線形関数fiを、EとSの交点の内、xi=±1への 交点では±1を与え(復号同順)、他の2(p-1)個の点では 0を与えるようにする。変数XとYが全て標準化されて いる場合、Xiに対応する回帰係数はfi (P)に等しい。 3. xi軸に平⾏かつ同じ向きでPを通過するあらゆる線分 で、Eの外に出ないもので最⻑のものをPi- Pi+とする。 実数からp次元実空間へのアフィン関数giをgi(-1)= Pi- ,gi(+1)= Pi+を満たすとする。すると、XiとYの偏相関 係数はg-1i (P)に等しい。 8
9. 重相関係数を楕円の作図で求める 定式化 重相関係数 2説明変数、1目的変数の間の相関 係数を元に、上記の様な楕円を描く。 2個の楕円は「非回転」な相似で、中 心を共有している。 このとき、その相似比が重相関係数 に等しい。 Y X1 X2 r1 r2 r12
10. Correlation ellipsoid (higher dimension) For 3-dim case, the probability ellipsoid touches the unit cube at 6 points of ±( ρ・1 , ρ・2 , ρ・3 ) where ・ = 1,2,3. (For k-dimensions, the hyper-ellipsoid touches the unit hyper-cube at 2×k points of of ±( ρ・1 , ρ・2 ,.., ρ・k ) where ・ = 1,2,..,k. x y z ( 1 , 0.3 , 0.5 ) ( 0.3 , 1 , 0.7 ) ( 0.5 , 0.7 , 1 ) ρ-matrix herein is, 1 0.3 0.5 0.3 1 0.7 0.5 0.7 1 (-0.5 ,-0.7 ,-1 ) (-0.3 ,-1 ,-0.7 ) (-1,-0.3,-0.5)
11. 重相関係数を楕円で求める例 (1) 2説明変数が無相関の 場合、重相関係数 r は、 √(r1 2+r2 2)に等しい 赤線に対する、赤い矢印の長さ の割合に、重相関係数は等しい。 (3) ２番目の説明変数が、役に立たない例。 r2 = r1 r12 の場合、r = r1 となる。 この場合、偏相関係数 r2’ = 0 となる。 次のページで説明。 色 X1 X2 0.0 0.5 -0.8 色 X1 , X2 0.833 (2) X2と色の間は無相関であるにも関わらず、 X1だけからの色の予測よりも、 X2と組み合わせると、大きく予測力の挙がる例。 Y X1 X2 r1 r2 r12 (0.5 , 0) (1 , -0.8) (0.8, -1) R=0.833
12. 偏相関係数 r1 ’ を楕円から求める 楕円内に、打点を通る横線を引き、 その両端に±1の値を割り当て、 打点での按分値を読み取る。 この図の場合は、 赤い目盛り線 から r1 ’ = 0.75 と読み取れる。 Y X1 X2 r1 r2 r12 偏相関係数 r1’の考え方は、 X2を固定したときのX1とYの相関。 1 2 12 1 2 2 2 12 1 1 r r r r r r - ¢= - - 一般の個数の確率変数に対して、2個の変数間の偏相 関係数を求めるには、相関係数行列の、余因子行列ま たは逆行列を求め、その2個の変数に対応する行と列だ けを残した2×2行列を作り、非対角成分を対角成分2個 の積の平方根で割って、符号を反転する。
13. Standardized partial regression coefficients • ai are called the partial regression coefficients. • Assume X1 ,X2 ,Y are standardized. Make a scalar field inside the ellipse • 1 on the plus-side boundary of k-th axis, • 0 on the boundary of the other axis, • interpolate the assigning values linearly. Then, ak is read by the value at (r1 ,r2 ). Note: • Extension to higher dimensions are easy. • Boundary points at each facet is single. • This pictorialization may be useful to SEM (Structural Equation Analysis).
14. 定理の有⽤性 Ø p=2,3 の低次元の場合は、重回帰分析の結果を 視覚的に分かり安い図形で表⽰ができる。 Ø 新しい理論的な枠組みを与える。 Ø スライド冒頭に述べたような問題が解決する可能 性がある。たとえば、多重共線性の問題で何が起き たのか、考察がしやすくなる。 Ø 線形計画法の双対の考察のような、新たな理論の 展開を導く可能性がある。 14