2018年度 化学工学特論２ 第７回

言いたいこと
前回の達成目標
今回の達成目標
実験結果は向上したか？
検定 (統計的仮説検定) とは？
ウェルチの t 検定とは？
ウェルチの t 検定のやり方
両側検定と片側検定
[参考] Brunner-Munzel 検定
相関
相関係数
相関係数の式
相関係数の例
注意！
無相関の検定
無相関の検定のやり方
母相関係数の区間推定
母相関係数の区間推定の考え方
復習クイズ３問！

Transcript

1. 化学⼯学特論２ 第７回 2018年11月12日 (月) 0 理⼯学部 応用化学科 データ化学⼯学研究室 専任講師 ⾦⼦ 弘昌
2. 言いたいこと 少ないデータを扱うとき、誤った結論を導かないように︕ 1
3. 前回の達成目標 データ分布についてイメージできるようになる 正規分布について理解する 平均と標準偏差を導出できる 実験データから、真の平均値の区間を推定できる 2
4. 今回の達成目標 t 検定について理解する t 検定ができるようになる 相関について理解する 無相関の検定ができるようになる 実験データから、真の相関係数の区間を推定できる 3
5. 実験結果は向上したか︖ 4 条件１での３回の実験結果 (収率) [80.0, 79.0, 79.5]︓平均 79.5 条件２での３回の実験結果 (収率) [80.5, 79.5, 80.0]︓平均 80.0 条件２のとき、条件１より収率が向上したといえるか︖ ウェルチの t 検定 (Welch's t test) で検討する 前提︓それぞれの条件での実験結果は正規分布に従う ２つの実験について、分散が同じでなくても構わない
6. 検定 (統計的仮説検定) とは︖ 5 最初に仮説を⽴て、実際に起こるか確率的に検証し、結論を導くこと 帰無仮説︓否定 (棄却) したい仮説 例) 条件１の実験結果の平均は、条件２の実験結果の平均と同じ もしくは、それより大きい 対⽴仮説︓帰無仮説が棄却されたら、正しいことが証明される仮説 例) 条件１の実験結果の平均は、条件２の実験結果の平均より小さい 有意水準 α %︓帰無仮説が起こる確率が α × 100 %以下なら、 帰無仮説を棄却できる。事前に設定する 帰無仮説を棄却できれば、対⽴仮説が成り⽴つことが証明される
7. ウェルチの t 検定とは︖ 6 1 2 2 2 1 2 1 2 x m m µ µ σ σ − = + μ1 : 実験１の平均 μ2 : 実験２の平均 σ1 : 実験１の標準偏差 σ2 : 実験２の標準偏差 m1 : 実験１のサンプル数 m2 : 実験２のサンプル数 検定の一つ、Welch (ウェルチ) さんが1938年に開発 以下の x が t 分布に従うことを利用して、帰無仮説が起こる確率を検討 ( ) ( ) 2 2 2 1 2 1 2 4 4 1 2 2 2 1 1 2 2 1 1 m m m m m m σ σ ν σ σ   +     = + − − ただし、⾃由度 ν は、
8. ウェルチの t 検定のやり方 7 1. x の値から、t 分布においてその値となりうる確率を計算する ( t 分布表というものを⾒ることで調べられますが、Python でウェルチの t 検定をするときは Scipy で計算できるので、調べなくて大丈夫です) 2. 得られた確率が α より小さい場合は、帰無仮説を棄却する
9. 両側検定と片側検定 8 帰無仮説︓条件１の実験結果の平均は、 条件２の実験結果の平均と同じ 対⽴仮説︓条件１の実験結果の平均は、 条件２の実験結果の平均と異なる 両側検定 帰無仮説︓条件１の実験結果の平均は、 条件２の実験結果の平均と同じもしくは、それより大きい 対⽴仮説︓条件１の実験結果の平均は、 条件２の実験結果の平均より小さい 片側検定 両側検定のほうが厳しい検定、基本的には両側検定を⾏い、 大小関係があらかじめ仮定できるときのみ片側検定を用いる
10. [参考] Brunner-Munzel 検定 9 ( ) ( ) 1 2 1 2 2 2 1 2 1 1 2 2 m m x m m m m µ µ σ σ − = + + 実験データの正規分布性を仮定しない検定の一つ Brunner さんと Munzel さんが 2000 年に開発 以下の x が t 分布に従うことを利用して、帰無仮説が起こる確率を検討 ( )2 2 2 1 1 2 2 2 4 2 4 1 1 2 2 1 2 1 1 m m m m m m σ σ ν σ σ + = + − − ただし、⾃由度 ν は、
11. 相関 10 変数 x1 の値が大きくなると、変数 x2 の値も同様に大きくなる (小さくなる) 傾向があるとき、 x1 と x2 の間には相関がある、という ある 294 の化合物郡において、 沸点と分⼦量の間には相関がある
12. 相関係数 11 相関係数 r (correlation coefficient) : ２つの変数の間における 相関の度合いを数値化したもの 1 に近いほど正の相関が強く、0 に近いほど相関がなく (無相関)、 -1 に近いほど負の相関が強いことを示す r = 0.77
13. 相関係数の式 12 ( )( ) ( ) ( ) 1, 1 2, 2 1 2 2 1, 1 2, 2 1 1 m i i i m m i i i i x x r x x µ µ µ µ = = = − − =    − −          x1,i : 変数１の i 番目のサンプルの値 x2,i : 変数２の i 番目のサンプルの値 μ1 : 変数１の平均 μ2 : 変数２の平均 m : サンプル数 変数２の平均からのばらつき 変数１の平均からのばらつき 変数１と変数２の間のばらつき
14. 相関係数の例 13 r = 1.0 r = 0.96 r = 0.70 r = 0.0 r = -0.70 r = -0.93 r = -1.0 完全な正の相関 完全な負の相関 強い正の相関 強い負の相関 正の相関がある 負の相関がある 相関がない (無相関)
15. 注意︕ 14 特にサンプルの数が小さいとき、実際には相関がなくても たまたま相関係数が (負に) 大きくなってしまうことがある︕ ・・・ chance correlation 無相関の検定 をしよう︕
16. 無相関の検定 15 2 2 1 r m x r − = − 以下の x が t 分布に従うことを利用して、帰無仮説が起こる確率を検討 2 m ν = − ただし、⾃由度 ν は、
17. 無相関の検定のやり方 16 1. x の値から、t 分布においてその値となりうる確率を計算する ( t 分布表というものを⾒ることで調べられますが、Python で無相関の 検定をするときは Scipy で計算できるので、調べなくて大丈夫です) 2. 得られた確率が α より小さい場合は、帰無仮説を棄却する 帰無仮説︓２つの変数の間には相関がない 対⽴仮説︓２つの変数の間には相関がある
18. ⺟相関係数の区間推定 17 ⺟相関係数・・・真の相関係数、⺟集団の相関係数 ⺟集団・・・サンプル全体 (実験であれば、数多く、たとえば 10000 回、 実験したとき、のようなもの) ⺟相関係数の区間推定・・・ α % の信頼度 (確率) で、⺟相関係数が 入る範囲を推定すること α を 90, 95, 99 など色々と変えて推定できる
19. ⺟相関係数の区間推定の考え方 18 ある程度 サンプルがある (少なくとも 10 以上) とき 、以下の z が 正規分布に従うことを利用 1 1 log 2 1 r z r + = − ただし、正規分布の平均はサンプルから得られた r によって計算された z であり、分散は 1 3 m − (フィッシャーの z 変換)
20. ⺟相関係数の区間推定のやり方 19 1. サンプルから相関係数 r を計算し、フィッシャーの z 変換を⾏う 2. 平均・分散を計算し、その正規分布を積分して α × 100 % となる z の範囲を求める (Scipy で計算します) 3. z から r に (逆) 変換して、r の範囲を求める 1 1 log 2 1 r z r + = − ( ) ( ) exp 2 1 exp 2 1 z r z − = +
21. 復習クイズ３問︕ 前回と今回の復習をかねたクイズ３問です • データの読み込みは第２回でやりましたね がんばってください︕ 20