多重共線性について.pdf

Transcript

1. y x ・ ・ ・ ・ ・ ・ 1目的変数 対 2特徴量 そもそも「予測モデル」は何をしているか ? 1目的変数 対 1特徴量 データ データの図形イメージ 線形なモデル 非線形なモデル y x1 x2 ・ ・ ・ ・ ・ ・ ・ ・ ・ データは2次元に散らばる 直線で推論する 曲線で推論する ※「木」系はカクカクする データは3次元に散らばる 平面で推論する 曲面で推論する ※「木」系はカクカクする 特徴量3つ以上になると可視化できなくなる
2. 多重共線性がないデータ 多重共線性がある例① 多重共線性がある例② 面（2次元）で傾向を捉えたいが、1次元 的な情報しかない。 言い換えると、特徴量間の十分な組み合 わせがない、ということになる。 左図の通り、予測モデルは「面」を形成す るので、「線」のデータに対して予測しても 精度を下げることはない。 ただし、線形回帰モデルを用いて回帰係 数を確認したい場合は注意が必要。 データと回帰（超）平面が、ちょうどプロペ ラと軸のような関係になってしまい、安定 せず、異常な値を返してしまう場合があ る。