Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Basic of Classical Statistics for Practical Users

FSCjJh3NeB
March 19, 2020

Basic of Classical Statistics for Practical Users

ものすごく基礎的な古典統計について,
特に文系で「数式怖い…」という方向けにざっくりまとめました。

FSCjJh3NeB

March 19, 2020
Tweet

More Decks by FSCjJh3NeB

Other Decks in Education

Transcript

  1. はじめに n 対象 u とにかく,統計を使って分析しないといけない実務家 n なんか目的と手段の関係がおかしくない? u おかしいです J

    u とはいえ,「やれって言われたので検定しなきゃ…」 みたいな感じで作業をする方も現実にはいるので, そういう場面で,とりあえず間違ってはいないかな? という最低限のレベルを満たすことを目指します 2 ← 正確性よりわかりやすさ重視
  2. 違いがあるかどうか?? n 「1組と2組を比べると,1組の平均点は5点高い」 u 5点も差があるから,1組と2組は違う! n 測定には“誤差”がつきもの u 単純に「平均値が違うから違う!」とはならない p

    2つのサイコロを各3回振って 平均が1違った…2つは違う? n 何かの差があったときに, それが誤差の範囲かどうか…を調べる方法 4 とは,実は言えない それが統計的検定
  3. 統計手法いろいろ 6 ベイズ統計 パラメトリック ノン パラメトリック 少数サンプルから 全体を推定 あるものがすべて/ 場合によりデータ生成も

    推計統計 “もともとの母集団は正規分布に従う” という仮定を置くことで,精度良く分析 母集団についての仮定は置かない 正規分布でないものでも使える コンピューターの力で, いろいろ便利な機能を(無理矢理)実現! 推計統計の方が古い.昔はデータも取りにくく,計算も手作業なので, 少ないデータから少ない手数で精度良く,全体を俯瞰したかった 今は機械の力でいろいろできるベイズ統計に脚光(機械学習などに不可欠)
  4. 尺度いろいろ 11 n “数値データ”にも色んな種類が u 種類毎にできること・していいことの範囲が違います u 基本の種類(尺度)は4種類 分類尺度 (名義尺度)

    順序尺度 間隔尺度 比尺度 単に区分けのためだけに数値化したもの 例:電話番号,「女性は1,男性は2 と記入」 大小関係についてのみ意味を持つもの 例:マラソンの入賞順位 順序に加えて,その間隔が定まっているもの 例:摂氏温度 間隔尺度に加えて,原点が一意に定まり比を求められるもの 例:距離,水の量(殆どの物理量)
  5. 12 分類尺度 (名義尺度) 単に区分けのためだけに数値化したもの 例:電話番号,「女性は1,男性は2 と記入」 n できること u 基本的には,分類ごとに数を数えて量を比べる

    p 「分類」なので,他の計算の分類軸にする • 分類間のオッズ比を求めたり,分類間の代表値の差の検定をしたり n やってはいけないこと u 名義尺度そのものの数値計算全般 n ダメなアンケートの解析 u 性別欄に女性は1,男性は2 と記入してもらった u 性別欄のデータの 合計が1421,平均が1.45 だった 性別が 1421,1.45 とは? 性別って足したり,割ったりできるの? & たまたま女性を1にしただけで,女性が9999,男性が3,でもよかった
  6. 13 n できること u 厳密には,分類尺度に加えて大小比較 n やってはいけないこと u それ以外 順序尺度

    大小関係についてのみ意味を持つもの 例:マラソンの入賞順位 Goal 1位 2位 3位 順序尺度のイメージ 1位がゴールした後,0.1秒後にゴールしても,2時間後にゴールしても2位 とにかく,前か後か,大きいか小さいかだけが問題
  7. 基準1: 基準2: 14 n できること u 分類尺度に加えて,足し引き n やってはいけないこと u

    割り算,かけ算※ 間隔尺度は原点を自由に決められるため,比率を出すと変なことに… 基準1では… Aが1,Bが3 なので, B は A の 3倍 基準2では… Aが-1,Bが1 なので, B は A の -1倍 間隔尺度 順序に加えて,その間隔が定まっているもの 例:摂氏温度,日付 3 4 -2 -1 0 B A 1 2 0 1 2 !? 基準の取り方で,比率が全く異なるため,意味をなさない たとえば,摂氏温度・華氏温度は 「温度」と言うものについて それぞれ任意に基準を与えている したがって,これらは間隔尺度 (40度のお湯は20度の二倍の熱さ!…ではない) ※ 平均算出は値同士の直接の乗除算ではなく,合計値を個数で割っているのでやってもOK
  8. 15 n できること u 分類尺度に加えて,乗除算(=四則演算全部) n やってはいけないこと u 四則演算は全部できるので,計算面では制約はない 比尺度

    間隔尺度に加えて,原点が一意に定まり比を求められるもの 例:距離,水の量(殆どの物理量) 3 4 B A 1 2 0 3m は 1m の3倍だし, 2kg は 4kg の 0.5倍 ある・ない がはっきりしていて,数える・計れるものは大抵比尺度 (摂氏0度は温度が無いわけでは無い,時間も存在しないという状態はない)
  9. イメージをつかもう 16 分類尺度 (名義尺度) 順序尺度 間隔尺度 比尺度 1 3 104

    52 9 1 2 3 4 5 1 2 3 -1 0 1 2 3 -1 0 1 2 -1 0 -2 1 -3 -1 0 -2 … … … … … フリーダム! 順番はあるが, 間隔はバラバラ 間隔は一定だが, 原点は自由 間隔は一定で, 原点も固定
  10. 19 n 実は多くのアンケートの尺度は「順序尺度」 u 本当は平均を取ったりしてはいけない p 平均などを算出できるのは間隔尺度から u アンケートなどでは,順序尺度を間隔尺度と見なす p

    間隔尺度に見なせるように設定する必要がある 順序尺度 間隔尺度 と ─ 理論と実務の間 ─ 1/3 例:この資料はわかりやすいですか? とてもわかりやすい わかりやすい わかりにくい とてもわかりにくい どちらでもない 「とてもわかりやすい」と「わかりやすい」の間の間隔と, 「わかりやすい」「どちらでもない」の間隔が同じかどうかは不明…
  11. 20 順序尺度 間隔尺度 と とてもわかりやすい わかりやすい わかりにくい とてもわかりにくい どちらでもない 「とてもわかりやすい」と「わかりやすい」の間の間隔と,

    「わかりやすい」「どちらでもない」の間隔が同じ …かどうかは不明だが, まあ,同じとみなせば間隔尺度としていける(みなし間隔尺度) 2 1 0 -1 -2 許せそうなケース ◦ ─ 理論と実務の間 ─ 2/3
  12. 21 順序尺度 間隔尺度 と とてもわかりやすい わかりやすい ややわかりにくい 全くわからない どちらでもない ぱっと見た感じでは良さそうだが,文言のバランスが違うため,

    これも「みなし間隔尺度」として扱うのは厳しい… 2 1 0 -1 -2 とてもわかりやすい わかりやすい わかりにくい とてもわかりにくい 2 1 -1 -2 「わかりやすい」と「わかりにくい」の間隔が2,他が1なので, これはさすがに「みなし間隔尺度」として扱うのは厳しい… 許せないケース × ─ 理論と実務の間 ─ 3/3 許せないケース ×
  13. 確率分布 n 物事が起きる確率の分布 u どの事象も同じ割合で起きる:一様分布 p サイコロは特定の目だけ良く出る…ということはない • 無限回 試行したら,1/6

    になる u ある平均値の周りのものは良くおきる:正規分布 p 身長は150-180cmまで均等…ということはない • 170cm位が平均であれば,その辺りが一番多く,極端な値は少ない 23
  14. 正規分布に従わない事象の例 n 企業の時価総額 u 企業は沢山あるが,時価総額は正規分布していない n Instagram の フォロワー数 u

    有名人などはものすごい数のフォロワーがいるが, 多くの人はせいぜい2桁どまり n YouTube の 再生回数 u YouTuberとして成功している人は意外と少ない 多くの動画は100回も再生されていなかったりする n ほかにもいろいろ 27 あるいは,少数の持つモノと,多数の持たざるモノの例
  15. 論文の被引用件数 28 arXiv から収集した論文のうち,引用数が99件までの論文数 期間: 2014〜2018年 対象論文数: 572,898件 データなし: 2,103件

    引用0〜99件: 566,817件 引用件数最大は 9,999回 2020.01.22時点での収集データ.被引用データは Semantic Scholar を通じて取得
  16. 代表値 n つまり平均値とか,そういうやつ。 u その集団の性質を一つで上手く表現できるような数値 p 平均値,中央値,最頻値など p 平均値もいろいろ •

    算術平均 :一般的に「平均」といったらコレ • 幾何平均 :変化率の平均を取るなら • 調和平均 :時速などの計算をするなら • …など u 理想的な正規分布では,平均値,中央値,最頻値が一致 p そうでない場合は,色々と注意が必要!!! 30
  17. さまざまな代表値 n 平均値(算術平均) u 観測値の総和を,観測点数でわったもの u 一種の重心的なモノ n 中央値 u

    データを大きさ順に並べたときの真ん中の値 u データが偶数の時はちょっと調整したりする n 最頻値 u 一番よく出てくる値 31 cf. 四分位値 代表値毎に表しているもの・意味するものは異なる
  18. 0 1 2 3 4 5 0 5 10 15

    20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 出席番号 点数 1 1 2 13 3 14 4 13 5 10 6 12 7 13 8 11 9 13 10 16 たとえばこんな 32 人数 平均値: 11.6点 中央値,最頻値:13点 タカシ君は平均11.6点のテストで1点を取りました。 先生はタカシ君に指導をすべきでしょうか? 点数
  19. たとえばこんな 33 人数 出席番号 点数 1 1 2 2 3

    1 4 1 5 2 6 1 7 2 8 3 9 3 10 100 0 1 2 3 4 5 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 平均値: 11.6点 最頻値:1点 中央値:2点 タカシ君は平均11.6点のテストで1点を取りました。 先生はタカシ君に指導をすべきでしょうか? 点数
  20. 正規分布の位置・形状を決めるもの n 平均値と分散(標準偏差)の2つ u 平均値 : 山の中心位置を決める u 標準偏差: 裾野の広さ(山の傾斜)を決める

    36 stdv = 5.0 stdv : Standard Division(標準偏差) stdv = 10.0 stdv = 20.0 平均値は左右にシフトするだけだが,標準偏差が変わると印象は大きく変わる
  21. 分散?標準偏差? n 先ほどの図でいうと,山の裾野の広さのこと u 学生1000人,平均点50点のテストがあったとして… p 最低 0点,最高 100点 p

    最低 30点,最高 70点 p 最低 40点,最高 60点 p 最低 50点,最高 50点 …など,いろんなパタンがあり得て,それぞれ意味が違いそう 38 これらは平均値だけではわからないので バラツキの程度=分散 も見ることがとても大事
  22. もう少しちゃんとした分散 n 分散 u 各標本の平均値からのズレの程度の平均 n 標準偏差 u 分散の平方根 39

    3 4 B A 1 2 0 ざっくりしすぎ?とは言え,数式を嫌がる人も多そうなので… 以下のような2点しかないデータでイメージ 平均値 ※ホントは母集団の…と,標本の…で違いがあります.これは母集団の.
  23. 分散のイメージ 40 3 4 B A 1 2 0 平均値

    分散は 平均値からのズレの程度 なので,どの位離れているかを知りたい 平均値から標本値(AとかBの値)を引いたらいいんじゃない? Aのズレ = 平均2 − 1 = 1 Bのズレ = 平均2 − 3 = -1 とりあえず2乗したら,全部正の値になるからいいんじゃない? Aのズレ =(平均2 − 1)の2乗 = 1 Bのズレ =(平均2 − 3)の2乗 = 1 !? ズレの程度は同じ 1 のハズなのに, 符号が違ってしまっている 1/2 符号がそろった! ※ホントは母集団の…と,標本の…で違いがあります.これは母集団の.
  24. 分散のイメージ 41 3 4 B A 1 2 0 平均値

    分散は 平均値からのズレの程度 なので,どの位離れているかを知りたい 2/2 ここまででA, B それぞれのズレの程度は分かった でも,今知りたいのは全体のヤツ 全体って言うことなら,そのズレの平均取ったらいいんじゃない? というわけで,やってみた (Aのズレ + Bのズレ)/ 2 = 1 これが分散 ※ホントは母集団の…と,標本の…で違いがあります.これは母集団の.
  25. 分散から標準偏差へ n 標準偏差は 分散の平方根 と定義していた u なんで??? u さっき,A, B

    のズレの程度を計算するときに2乗したから p 世の中には細かいことを気にする人がいて… • 「さっき2乗したから単位がズレてるじゃん!」 とか言いにくる p はいはい,わかりましたー。2乗したのが嫌だっていうんなら, 平方根を取ってもとに戻せばいいんでしょ!! 42 これが標準偏差 ※ホントは母集団の…と,標本の…で違いがあります.これは母集団の.
  26. 理想的な分散とは? n そんなものは存在しない u テストであれば,0点 から 100点 まで広がってほしい p その方が弁別力(区分けのしやすさ)が高まる

    u 何かの機能の評価であれば,小さくなってほしい p 誰がどうやっても,同じ感じになってほしい p 例 • 平均点10で,分散がとても大きい:人によって0,20などばらつく • 平均点 6で,分散はとても小さい:だれがやっても 6前後 をとれる 44 目的や比較対象に照らして,適時意味を読み取るしかない
  27. 統計的検定とは? n グループ間に差があるのかどうか調べるような方法 u 測定には誤差がつきもの p 2つのサイコロA, Bを用意して,それぞれ10回ずつ振る p Aのサイコロの目の合計と,Bのサイコロの目の合計は一致する?

    p 多くの場合に一致しないハズ • 気になる場合は実際に何度か試してみましょう J • もっと単純に,1回ずつ振って同じ目が出るか考えてもよいです u グループ間で平均値や代表値に違いがあったとして, それは誤差の範囲で起きうることか,そうでないか… が,ワカラナイと判断がつかない 46 判断する方法 = 統計的検定
  28. 統計的検定はなにをしているか? n “差がない”…なんてことはない。ことを調べる u “差がある” を直接調べるのは難しい p 数値的に「差がある」とは,「ゼロ以外」なので, “差がある”という状態は無数にありうる p

    無数に候補があるので,全部調べるのは無理… u “差がない”を調べるのは簡単 p 「差がない」とは「差がゼロ」というひとつの状態 p 簡単に調べられる!!「差がないことはない」=「差がある」 48 ?? 差があるかどうか調べたかったのでは??
  29. どんな風なことを考えているか? n 大まかには以下の通り u 差がない=おなじ確率分布からデータがでてきてる p …と,信じて分析をはじめる u 実際に出てきた2つのグループのデータを比較し, 想定した確率分布からそんな分布がでてくるか考える

    p おなじ確率分布なのに片方は1ばっかり,片方は3ばっかりでる… なんていうコトは起きえるのか??? u 「差がない場合こんなデータができる確率はX%」 と, 計算できるので,Xの値が小さかったら差があるとする 49
  30. 統計的検定でよく出る記号 p値,α値 n p値:有意確率 u 前頁の最後 X% のこと u 比較しているグループの値が同じ確率分布にしたがって

    生成されたものとした場合に,こんな違いが出る確率は X% です。ということを示す n α:有意水準 u 前頁の最後 「小さかったら」の小さいの基準値 u 分野によって違うが概ね 5%,1%,0.1% のどれか p 昔の人が感覚的に決めたもので,特に意味はない • 「α=5%で有意」と言われたら「p値は5%以下でした」の意味 • “2つが同じである確率は5%より小さいです”という意味でもある 50
  31. 検定というのはどうやったらできるのか? n Googleとかで,「R 検定」とかで調べて, 出てきたヤツを参考に何とかします u “R” は 無料で使える統計ソフト…だと思ってください p

    Amazonなどで検索すると,入門書・参考書が沢山出てきます p 「R 入門」とかで検索すると,参考サイトも沢山でてきます n 気をつけるべきポイント u 「統計的検定」には実は沢山の種類が… u データの尺度や,正規性の有無,後述する“対応の有無”など, 目的や条件によって,使うべき手法が異なります p 間違った手法を選ぶと,検定の意味がなくなります 51 「おまけ」のセクションにある チャートを使って適切な検定を選びましょう
  32. とはいうものの 56 n この場合では,どちらの方が関係が強そう? u 数値的に関係の度合いを示したい = 相関係数の算出 u 相関係数は

    0 から ±1 の間の値を取り, 0 なら関係なし, 0.4 あたりから相関あり,1で強い相関 ※ 実データで相関係数0.8以上出てくるとなにか怪しい(計算ミスか,計算するまでもなく当然関係があるものか)
  33. 相関というのはどうやったら計算できるのか? n Googleとかで,「R 相関 計算」とかで調べて, 出てきたヤツを参考に何とかします u “R” は 無料で使える統計ソフト…だと思ってください

    p Amazonなどで検索すると,入門書・参考書が沢山出てきます p 「R 入門」とかで検索すると,参考サイトも沢山でてきます n 気をつけるべきポイント u 「相関係数」にも,いくつかの種類が… u データの尺度によって,使うべき手法が異なります p 間違った手法を選ぶと,相関の意味がなくなります 57 「おまけ」のセクションにある チャートを使って適切な手法を選びましょう
  34. 統計処理早見表 60 データはたくさん (1000件以上)ある? ベイズ統計 (他の資料へ) 正規分布してそう? 分散もおなじそう? 間隔尺度以上? No

    Yes パラメトリック ノン パラメトリック No Yes ※なにかのデータ間で(主に代表値に)差があると言いたいとした場合に,何を使うか? データが少なくてもベイズは使えるが, 現状では古典統計の方が入門書籍も多く, 調べたり聞いたりしやすいので
  35. 代表値の差の検定 61 比べる群は2つ? パラメトリック 対応のあるt検定 t検定 一元配置分散分析 One-way ANOVA 対応はある?

    同じ被験者が, 違う条件で試行? Yes Yes No (平均値) No 対応はある? 同じ被験者が, 違う条件で試行? Yes No 反復測定分散分析
  36. 代表値の差の検定 62 ノン パラメトリック マンホイットニーのU検定 (順位和検定) ウィルコクスン検定 (符号順位和検定) 比べる群は2つ? クラスカル・ウォリス検定

    対応はある? 同じ被験者が, 違う条件で試行? No Yes Yes No フリードマン検定 対応はある? 同じ被験者が, 違う条件で試行? Yes No
  37. その他の注意点 n 多重検定には要注意 u 多数の群を比較したいときに,単純に2つずつ比較はダメ p A, B, C の

    3つを比較するのに,AとB,AとC,BとC に それぞれ検定を行えば良いような気がする… p が,やってはいけない p 多群間の比較で,差があることを確認した後, たとえばシェッフェの方法などで対比較していく 63 直感的には2つずつ比較で良さそうに思えるが, 数学トリック・錯覚があって, 本当は差がないのに「ある」となる可能性
  38. パラの使い勝手わるそう n なぜ,統計の入門書などではパラの説明ばかりで ノンパラの記載が余りされていないのか??? u 正規分布で,分散も等しくないと使えないなんて, 使える場面が少なさそうなのに…?? u 制約がいろいろある故に,はまった場合は精度が高い p

    ノンパラはいろいろ使えるので精度が低い p 手計算の時代に考えたので,別の分布をいろいろやるのは ちょっとあんまり現実的ではなかったし, 正規分布にしたがうものは多く,基礎としても大事 65
  39. 相関係数早見表 66 尺度は…? 線形相関? MIC Maximum Information Coefficient ピアソンの 積率相関

    HSIC Hilbert-Schmidt Independence Criterion Yes No & 間隔/比尺度 ケンドルの 順位相関 スピアマンの 順位相関 ペアワイズ相関 クラメールの 連関係数 その他の相関 分類 順序 間隔・比 ポリシリアル相関 ポリコリック相関 間隔尺度っぽい順序尺度
  40. FAQ n 最低どの位データが要りますか? u とりあえず,各群で6件位あればパラ,ノンパラ共にOKです u でも,差が出ないか,検定するまでもなく差があるか…です n 最高どの位データを取れば良いですか? u

    検出力の問題があるので,データの取り過ぎもよくないです u 計算式がありますが,まぁ Max 1000件 でしょうか? n 正規分布かどうか,分散が同じかわかりません u 「正規性の検定」と言うのがあるので,使ってみてください u 分散は「等分散性の検定」と言うのがあるので,そちらで n p値は小さい方が偉い・強い・格好いい・モテるんですか? u まあ,とりあえず 5% を下回っているかどうかだけを見ておけば 最低限はOKでしょうか u あとは0.1%でも4.9%でも一緒…くらいの気分がオススメです 67
  41. さらに勉強するために n 大野木,中澤:心理学マニュアル 研究法レッスン,北大路書房,2002 http://www.kitaohji.com/books/2264_7.html n 数理社会学会:社会の見方、測り方―計量社会学への招待,勁草書房,2006 http://www.keisoshobo.co.jp/book/b26175.html n 山田,村井:よくわかる心理統計(やわらかアカデミズム・わかるシリーズ),ミネルヴァ書房,2004

    http://www.minervashobo.co.jp/book/b48724.html n S.B Hulley, et al.:医学的研究のデザイン 第4版 - 研究の質を高める疫学的アプローチ -, メディカルサイエンスインターナショナル,2014 https://www.medsi.co.jp/books/products/detail.php?product_id=3400 n 統計学自習ノート(Webサイト) http://aoki2.si.gunma-u.ac.jp/lecture/tests.html u どんなときに,どの統計手法を使うか? u どういう数学的背景か? u Rのコマンドは? …などの情報がまとまっていて便利です 68
  42. 免責&License n 免責 u 内容その他について,完全無保証です n License u クリップアートや,一部の画像 p

    別に著者が存在しますので,改変等の際には, それぞれのライセンスに準じてご利用ください p クリップアートのライセンス • http://www.chojugiga.com/terms/ • http://icooon-mono.com/license/ u その他の部分(文字部分のほとんど) p 著作権の放棄はしませんが,再配布,改変,配信等ご自由に! 77