統計検定2級 チートシート（公式集）

体験記とかは以下。
https://qiita.com/ofutonton/items/0820551dbb64611b5dc4

Transcript

1. 統計検定2級 チートシート 2023/09/10 @ofutonton 1
2. 目次 1. 統計用語 1. ローレンツ曲線/ジニ係数 2. 歪度/尖度 3. ラスパイレス価格指数/パーシェ価格指数 4. フィッシャーの3原則 2. 標本抽出方法 3. 確率分布 4. 基礎的な用語・公式 1. 注意点 2. 平均・分散・標準偏差 3. 共分散・相関係数 4. 推定量の不偏性・一致性 5. チェビシェフの不等式 5. 推定 1. 基本的な考え方 2. 基本的な流れ 3. 母平均の推定 4. 母分散の推定 5. 母比率の推定 6. 仮説検定 1. 基本的な考え方 2. 基本的な流れ 3. 第一種の過誤/第二種の過誤 4. 1つの集団に対する検定 1. 母平均の検定 2. 母分散の検定 3. 母比率の検定 5. 2つの母集団に対する検定 1. 母平均の差の検定 2. 母分散の比の検定 3. 母比率の差の検定 6. 分散分析 7. 独立性の検定（カイ二乗検定） 8. p値 7. 回帰分析 2 @ofutonton
3. 参考 -統計検定2級 出題範囲①- 3 @ofutonton
4. 参考 -統計検定2級 出題範囲②- 4 @ofutonton
5. 1. 統計用語 -ローレンツ曲線/ジニ係数- 5 参考：https://www.pref.toyama.jp/sections/1015/ecm/back/2005apr/shihyo/ ローレンツ曲線 ジニ係数 ＞ ローレンツ曲線とジニ係数は、所得や教育、インタネットアクセスなどの 不平等・格差を可視化するための手段である。 横軸：母集団の累積相対度数（人口、世帯数、学生数、など） 縦軸：見たいものの累積相対度数（所得、テストスコア、 インターネット利用時間、など） ジニ係数は45度線とローレンツ曲線にはさまれた部分の面積と45度 線の下の三角形の面積の比で表す。 • 0に近いほど格差が小さい • 1に近いほど格差が大きい @ofutonton
6. 1. 統計用語 -歪度/尖度- 歪度 意味 基準値 尖度 分布の非対称性を測る統計量 分布の尖り具合を測る統計量 6 ・歪度>0：左に偏っている（右に尾が長い） ・歪度=0：左右対称 ・歪度>0：右に偏っている（左に尾が長い） ・尖度>3：正規分布より尖っている ・尖度=3：正規分布と同じ尖り方 ・尖度<3：正規分布より尖っていない 参考：https://data-viz-lab.com/stats @ofutonton
7. 𝑃𝑃 = σ 𝑖=1 𝑛 𝑝𝑡𝑖 𝑞𝑡𝑖 σ 𝑖=1 𝑛 𝑝0𝑖 𝑞𝑡𝑖 × 100 𝑃𝐿 = σ 𝑖=1 𝑛 𝑝𝑡𝑖 𝑞0𝑖 σ 𝑖=1 𝑛 𝑝0𝑖 𝑞0𝑖 × 100 1. 統計用語 -ラスパイレス価格指数/パーシェ価格指数- 7 ラスパイレス価格指数 定義 式 パーシェ価格指数 「基準年の取引数量（𝑞0𝑖 ）」 を固定して算出した価格指数。 「比較年の取引数量（𝑞𝑡𝑖 ）」 を固定して算出した価格指数。 用途 基準年時点の取引数量を固定し、基準年時点の消費 行動や嗜好を基本とするため、選好の変動の影響を除 外したいとき（長期的な変動など）に適している。 比較年時点の取引数量を固定し、比較年時点の消費 行動や嗜好を基本とするため、特定の時点の選好を評 価したいとき（短期的な変動など）に適している。 ※ 𝑝は価格、𝑞は取引数量。 ※ 添え字の0は基準年、𝑡は比較年。 ※ 𝑝は価格、𝑞は取引数量。 ※ 添え字の0は基準年、𝑡は比較年。 @ofutonton
8. 1. 統計用語 -フィッシャーの3原則- 8 無作為化 説明 例 (肥料) 局所管理 実験を行う時間や場所を区切ってブ ロックを作り、そのブロック内でのバック グラウンドができるだけ均一になるよ うに管理すること。 それにより、外部の干渉や偶発的な 変動を最小限に抑える。 反復 同じ処理を2回以上行い、 変動を評価する。 それにより、結果の一貫性や再現性 を確認し、統計的有意性の評価力 を増加させる。 実験の処理を 無作為に対象に割り当てる。 それにより、偶然や偏りを均等に分 散させ、外部干渉の影響（系統誤 差（⇔偶然誤差））を最小限に 抑える。 春・夏・秋・冬それぞれで異なる肥 料の影響を比較する。 同じ肥料を異なる畑の区画に2回 以上適用し、その影響を評価する。 畑にある複数の区画を取り、各肥 料の種類を無作為に割り当てる。 @ofutonton
9. 2. 標本抽出方法 9 層化抽出法 手順 例 二相抽出法 多段抽出法 母集団をあらかじめいく つかの層（グループ） に分けておき、各層の 中から必要な数の調査 対象を無作為に抽出 する方法 クラスター 抽出法 系統抽出法 ①母集団を、小集団で あるクラスター（集 落）に分ける ②分けられたクラスター の中から、いくつかのク ラスターを無作為抽出 する ③それぞれのクラスター において全数調査を行 う 母集団をいくつかのグ ループに分け、そこから 無作為抽出でいくつか グループを選び、さらにそ の中から無作為抽出で いくつかのグループを選 び・・・という操作を繰り 返して、最終的に選ば れたグループの中から調 査対象を無作為抽出 する方法 通し番号をつけた名簿 を作成し、1番目の調 査対象を無作為に選 び、2番目以降の調査 対象を一定の間隔で 抽出する方法 層化抽出を行いたいが 母集団の情報がない場 合、まず母集団から標 本を抽出して母集団の 情報を取得し（第一 相）、その情報をもとに 層化抽出を行う方法 （第二相） 男女比が7：3の高校 で、10人の学生を対象 に意識調査を行う場合、 男子の中から7名を、 女子の中から3名をそれ ぞれに無作為に抽出す る 高校生の平均身長を 調査する際に、高校を 1つのクラスターと考え、 全国の高校の中からラ ンダムに10校を選び、そ の10校に通う高校生 全員の身長を測定する ①第1段：全国から 30市区町村を無作為 抽出 ②第2段：抽出された 30市区町村の中からそ れぞれ5地区を無作為 抽出 ③第3段：抽出された 5地区の中からそれぞれ 20人を無作為抽出 4,000人から1,000人 を選ぶときに、はじめに 4,000人に通し番号を 付け、ランダムに選ばれ た番号から3人おきに （3番おきに）人を抽 出していく 男女比が分からないあ る都市の住民100名に 対してアンケート調査を 行う場合、まず住民の 中から10,000人を抽 出して男女比を調べ （ここでは男性：女性 =6：4であったとする）、 男性の中から60名を、 女性の中から40名をそ れぞれに無作為に抽出 する @ofutonton
10. 3. 確率分布 10 正規分布 (ガウス分布) 概要 ポアソン分布 二項分布 (ベルヌーイ分布) 統計学で頻繁に出現 する確率分布。 幾何分布 負の二項分布 最初の成功が発生する までの試行回数の確率 分布。 独立な試行で成功数 の確率分布。 （n回試行してk回成 功する確率） 独立な試行で一定回 数成功するまでに失敗 する回数の確率分布。 （r回成功するまでx回 失敗する確率） 平均λ回発生する稀な 事象が、一定の期間や 空間でx回発生する確 率の分布。 使用例 自然現象（身長や試 験の点数）などが従う。 コインを投げ続けたとき、 初めて表が出るまでの 試行回数。 コインを10回投げて、 表が6回出る確率。 コイントスで表が10回で るまでの試行数の確率 平均して1日に2回発 生する事故が、ある日 に3回発生する確率。 数式 𝑓 𝑥 = 1 2𝜋𝜎2 exp{− 1 2𝜎2 𝑥 − 𝜇 2} 𝑓 𝑥 = 𝑝 1 − 𝑝 𝑥 𝑓 𝑥 = 𝑛 𝐶𝑘 𝑝𝑥 1 − 𝑝 𝑛−𝑥 𝑓 𝑥 = 𝑥+𝑟−1 𝐶𝑥 𝑝𝑟 1 − 𝑝 𝑥 𝑓 𝑥 = λ𝑥 𝑥! 𝑒−λ 定義式 平均 分散 𝐸 𝑥 = 𝜇 𝐸 𝑥 = 1 𝑝 𝐸 𝑥 = 𝑛𝑝 𝐸 𝑥 = 𝑟 1 − 𝑝 𝑝 𝐸 𝑥 = λ 𝑉 𝑥 = 𝜎2 𝑉 𝑥 = 1 − 𝑝 𝑝2 𝑉 𝑥 = 𝑛𝑝(1 − 𝑝) 𝑉 𝑥 = 𝑟 1 − 𝑝 𝑝2 𝑉 𝑥 = λ 発生確率を十分小さくする （極限：p<<1、n>>k） 試行回数を十分大きくする （極限：n>>1、k>>1） 成功回数=1（r=1） 拡張 @ofutonton
11. 4. 基礎的な用語・公式 -注意点- 11 標本集団と母集団 大文字と小文字の違い 統計学は、限られた“標本”から“母集団”に対して適切な 推論を行う学問である。 （医薬品の有効性を示すのに、全患者で試すわけにはい かない。一定数の治験者を集め、なるべく全患者に当ては まる有効性を示していくが、それと一緒である。） そこで、以降で説明する平均や分散なども、 「母集団」に対して定義される式なのか、 「標本」に対して定義される式なのかは区別されるため、 気を付ける必要がある。 大文字は確率変数や母集団のパラメータを示し、小文字 は実現値や標本のパラメータを示すことが多い。 例えば、比率の場合、 • P：母集団の比率。 例えば、全有権者がある政党を支持する割合。 • 𝑝：標本の比率。 例えば、有権者1000人を無作為に選んだ際、ある政 党を支持する割合。 @ofutonton
12. 変動係数は、分散を平均値で割ることで正規化した数値（平均値に対して、 どれだけ標準偏差が大きいかを判断できる）。 4. 基礎的な用語・公式 -平均・分散・標準偏差- 12 平均 母集団 標本集団 標準偏差 分散 公式 変動係数 𝜇 = 1 𝑁 ෍ 𝑖=1 𝑁 𝑥𝑖 または 𝜇 = 𝐸[𝑥] 𝜎2 = 1 𝑁 ෍ 𝑖=1 𝑁 (𝑥𝑖 − 𝜇)2 または 𝜎2 = 𝐸[(𝑥 − 𝜇)2] ҧ 𝑥 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑥𝑖 𝑠2 = 1 𝑛 − 1 ෍ 𝑖=1 𝑁 (𝑥𝑖 − ҧ 𝑥)2 𝑠2 = 𝑠 𝜎2 = 𝜎 𝜎2 = 𝐸 𝑥2 − 𝐸2[𝑥] 𝐶𝑉 = 𝜎 𝜇 @ofutonton
13. 4. 基礎的な用語・公式 -共分散・相関係数- 13 共分散 相関係数 2つの変数がどのように同時に変動するかを示す統計的 な指標。 偏相関係数 意味 定義式 解釈 デメリット 共分散の値自体で大小を判断できない（理由：変 数の単位やスケールに依存するから。）。 そこで、関係の強さを判断する場合、共分散をそれぞれ の変数の標準偏差で割って正規化した「相関係数」を 用いることが一般的である。 2つの変数がどのように同時に変動するかを示す統計的な指標。 意味 定義式 解釈 デメリット 第3の変数の影響を取り除くことができない（例：運動量と健康状態 が正の相関関係があったが、年齢がこの関係に影響を与えている可能 性があった（「年齢が低い→運動量が多い」「年齢が低い→健 康」） 。その場合は、偏相関係数を用いる。 𝑠𝑥𝑦 = 1 𝑛 ෍ 𝑖=1 𝑛 (𝑥𝑖 − ҧ 𝑥)(𝑦𝑖 −ത 𝑦) 例えば「𝑥𝑖 > ҧ 𝑥 かつ 𝑦𝑖 > ത 𝑦」や「𝑥𝑖 < ҧ 𝑥 かつ 𝑦𝑖 < ത 𝑦」にな りやすい場合、定義式に当てはめてみると𝑠𝑥𝑦 > 0となる。そのように考えてみると、以下のような特徴を持 つ。 • 𝑠𝑥𝑦 ≫ 0：正の相関 • 𝑠𝑥𝑦 ≪ 0：負の相関 𝑟 = 𝑠𝑥𝑦 𝑠𝑥 𝑠𝑦 • 0に近い: 2つの変数間に明確な線形の関係が認められない。 • 1に近い: 2つの変数が強い正の線形関係を持つ。 • -1に近い: 2つの変数が強い負の線形関係を持つ。 第3の変数の影響を取り除いたときの、2つの変数がどのように同時に 変動するかを示す統計的な指標。 意味 定義式 変数𝑥と変数𝑦の相関関係を、変数𝑧の影響を取り除いて計算するとき、 𝑟𝑥𝑦∙𝑧 = 𝑟𝑥𝑦 − 𝑟𝑥𝑧 𝑟𝑦𝑧 1 − 𝑟𝑥𝑧 2 1 − 𝑟𝑦𝑧 2 @ofutonton
14. 4. 基礎的な用語・公式 -推定量の不偏性・一致性- 14 不偏性 意味 示し方 一致性 推定量の期待値が真の母数と等しい推定量か否か。 （標本の期待値が”不偏”か？） サンプルサイズが大きくなるにつれて、推定量が真の母数に 確率的に収束していく推定量か否か。 （サンプルサイズを大きくすると”一致”するか？） 例 推定量（標本データをもとに推定した数値）には、2つの代表的な性質があり、 その性質を満たす推定量は”良い”推定量と言える。 𝜃を推定したいとき、推定量を መ 𝜃とすると、 𝐸 መ 𝜃 = 𝜃 𝜃を推定したいとき、サンプル数nの推定量を෢ 𝜃𝑛 とすると、 lim 𝑛→∞ ෢ 𝜃𝑛 = 𝜃 標本平均、標本分散、標本比率、 標本の最大値、標本の2倍の平均、など @ofutonton 標本平均、標本分散、標本比率、 n-1でなくnで割った標本分散、など
15. 4. 基礎的な用語・公式 -チェビシェフの不等式- 15 チェビシェフの不等式 公式 使い道 確率変数𝑋が平均𝜇、分散𝜎2を持つとき、任意の𝑘について、以下が成立する。 𝑃 𝑋 − 𝜇 ≥ 𝑘𝜎 ≤ 1 𝑘2 つまり、平均からどれくらい離れているか： 𝑋 − 𝜇 の確率𝑃の最大値が計算できる。 例 確率変数𝑋の分布が一切わかっていなくても，平均と分散が分かっていれば，平均からどのくらい遠くなりうるかが分かる。 問）あるテストの平均点が55点、標準偏差が10点であった。平均点から20点以上離れている人の割合として、あり得る 最大値を求めよ。 解答）上式に𝜇 = 55、𝜎 = 10 を代入すると、 𝑃 𝑋 − 55 ≥ 10𝑘 ≤ 1 𝑘2 今回は「平均点から20点以上離れている人の割合」を算出したいため、 10𝑘 = 20 すなわち 𝑘 = 2 を代入すると、 𝑃 𝑋 − 55 ≥ 20 ≤ 1 4 よって、25%が答え。 @ofutonton
16. 5. 推定 -基本的な考え方- 16 「推定」とは 点推定と区間推定 統計における推定とは、「標本（一部のデータ）を基にし て、母集団（全部のデータ）の特性を推測する」手法を 指す。 推定したい特性として、平均、分散、比率、回帰係数など が挙げられる。 推定には「点推定」と「区間推定」の2種類がある。 1. 点推定： • 点推定とは、母集団の特性について「具体的な 1つの値」を推定する推定方法。 • 例えば、ある集団から「成人男性の平均身長 は169.5cmである」と推定すること。 2. 区間推定： • 区間推定とは、母集団の特性が「取り得る範 囲」を推定する推定方法。 • 例えば、ある集団から「成人男性の平均身長の 95%信頼区間は168.1cmから171.4cmで ある」と推定すること。 区間推定を行うことで、点推定だけでは得られない「どれく らいの確実性で、特性（平均身長）がこの範囲に収まる か」という情報を得ることができることから、統計的なデータ 解釈で頻繁に使用される。 ※95%信頼区間とは、100回同じ試験を繰り 返し100回信頼区間を算出したときに、95回の 信頼区間に推定量（母平均・母分散・母比率 …）が含まれる範囲のこと。 95%信頼区間 参考：https://bellcurve.jp/statistics/course/8891.html @ofutonton
17. 5. 推定 -基本的な流れ- 17 求めたい推定量を考える （必要であれば） 分布表から臨界値を計算 算出式に代入 概要 例1 伸長 推定したいものが何か（母平 均、母分散、母比率…）を 考える。 算出式で必要となる臨界値 を、分布表から読み取る。 （自由度が絡む場合あり） 算出式（次ページ参照）に各種数値を 代入し、推定区間を算出する。 例2 サイコロ サイコロを400回投げたところ、 6の目が80回出た。このサイ コロで6の目が出る確率の 95％信頼区間を求めよ。 →母比率の推定 正規分布表で、上側確率が 0.025となる点を読み取る →1.96 ҧ 𝑝 = 80/400、 n = 400 を算出式に代 入すると、 → 0.1608 ≤ 𝑝 ≤ 0.2392 30人成人男性の伸長から、 成人男性の平均身長の 95%信頼区間を求めよ。 →母平均の推定 自由度30-1=29のt分布表 で、上側確率が0.025となる 点を読み取る → 2.045 ҧ 𝑥 = 170.1、 𝑠 = 2.1、n = 30、 𝑡 0.025 (𝑛−1) = 2.045 を算出式に代入すると、 → 169.3 ≤ 𝜇 ≤ 170.9 @ofutonton
18. 5. 推定 -母平均の推定- 18 母分散が既知 文字 定義 算出式 （95%信頼区間） 母比率の推定 母分散が未知 • 標本平均 ҧ 𝑥 • 母分散𝜎 • 標本数𝑛 として、算出される • 母平均𝜇 ҧ 𝑥 − 1.96 𝜎 𝑛 ≤ 𝜇 ≤ ҧ 𝑥 + 1.96 𝜎 𝑛 母分散の推定 母平均の推定 【参考】 統計量 （仮説検定でも利用） 標準正規分布 に従う 𝑧 𝑧 = ҧ 𝑥 − 𝜇 𝜎/ 𝑛 自由度n-1のt分布 に従う 𝑡 𝑡 = ҧ 𝑥 − 𝜇 𝑠/ 𝑛 自由度n-1の カイ二乗分布 に従うχ2 χ2 = 𝑛 − 1 𝑠2 𝜎2 標準正規分布 に従う 𝑧 𝑧 = ҧ 𝑝 − 𝑝 𝑝(1 − 𝑝) 𝑛 ҧ 𝑥 − 𝑡 0.025 𝑛−1 𝑠 𝑛 ≤ 𝜇 ≤ ҧ 𝑥 + 𝑡 0.025 (𝑛−1) 𝑠 𝑛 (𝑛 − 1)𝑠2 χ2 0.025 (𝑛−1) ≤ 𝜎 ≤ (𝑛 − 1)𝑠2 χ2 0.975 (𝑛−1) ҧ 𝑝 − 1.96 ҧ 𝑝 1 − ҧ 𝑝 𝑛 ≤ 𝑝 ≤ ҧ 𝑝 + 1.96 ҧ 𝑝(1 − ҧ 𝑝) 𝑛 • 標本平均 ҧ 𝑥 • 標本分散𝑠 • 標本数𝑛 として、算出される • 母平均𝜇 • 標本分散𝑠 • 標本数𝑛 として、算出される • 母分散𝜎 • 標本比率 ҧ 𝑝 • 標本数𝑛 として、算出される • 母比率𝑝 @ofutonton
19. 6. 仮説検定 -基本的な考え方・基本的な流れ- 19 基本的な考え方 基本的な流れ @ofutonton 仮説 を立てる 帰無仮説 を立てる 有意水準を 設定する データを 確認する 検定統計量が従う 分布を確認する 検定統計量 を計算する 棄却域を計算する 検定統計量が棄却域内 にあるか確認する 1 2 3 4 5 6 7 8 統計的仮説検定とは、統計的に正しく仮説の是非を検 証する方法。 統計的仮説検定では、帰無仮説（示したい仮説と逆の 仮説）を立て、帰無仮説を否定することで、示したい仮説 を証明する。 以下の8ステップに分解される。 示したい仮説を直接証明する 直接的な証明 「（仮説）は絶対正しい」と証明することは難しいが、 「（仮説）は間違っている」と否定することは簡単である。 （例：「カラスは絶対に黒い」ことを証明することは難しいが、 「カラスは絶対に黒い」ことを否定することは簡単である （白カラスを一匹だけ見つけてきたらよいから）。） 帰無仮説（示したい仮説の逆）を否定することで、 間接的に示したい仮説を証明する 統計的仮説検定
20. 6. 仮説検定 -1つ/2つの集団に対する検定：検定統計量まとめ- 20 母平均の検定 母比率の検定 標準正規分布 に従う 𝑧 𝑧 = ҧ 𝑝 − 𝑝 𝑝 (1 − 𝑝) 𝑛 母分散の検定 自由度n-1のカイ二乗分布 に従うχ2 χ2 = 𝑛 − 1 𝑠2 𝜎2 自由度n-1のt分布に従う検定統計量 𝑡 𝑡 = ҧ 𝑥 − 𝜇 𝑠/ 𝑛 母平均の差の検定 2つの 集団 母比率の差の検定 XX 母分散の比の検定 XX （差の平均・分散を用いて検定すれば良い） 自由度n-1のt分布 に従う検定統計量 𝑡 𝑡 = ҧ 𝑥 − 𝜇 𝑠/ 𝑛 標準正規分布 に従う検定統計量 z 𝑧 = 𝑝1 − 𝑝2 − (𝑝1 − 𝑝2 ) ҧ 𝑝(1 − ҧ 𝑝)( 1 𝑛1 + 1 𝑛2 ) ただし、 ҧ 𝑝は2標本プールの標本分散 ҧ 𝑝 = 𝑛1 𝑝1 + 𝑛2 𝑝2 𝑛1 + 𝑛2 自由度(m-1,n-1)のF分布 に従う 𝐹 𝐹 = 𝑠1 2/𝜎1 2 𝑠2 2/𝜎2 2 自由度𝒏𝟏 + 𝒏𝟐 − 𝟐のt分布 に従う検定統計量 𝑡 𝑡 = 𝑥1 − 𝑥2 − (𝜇1 − 𝜇2 ) 𝑠 1 𝑛1 + 1 𝑛2 ただし、 𝑠 は2標本プールの標本分散 𝑠 = 𝑛1 − 1 𝑠1 2 + 𝑛2 − 1 𝑠2 2 𝑛1 + 𝑛2 − 2 1つの 集団 対応が ある 対応が ない @ofutonton 略 略 （マクネマーの検定）
21. 6. 仮説検定 -1つの集団に対する検定：母平均の検定- 21 仮説 を立てる 例1 ペットボトルの容量 （両側検定） 例2 ペットボトルの容量 （片側検定） 仮説： ある飲料のペットボトル の平均容量は500mL ではない。 ↓ 帰無仮説： ある飲料のペットボトルの 平均容量は500mLである。 ↓ 𝜇 = 500 帰無仮説 を立てる 有意水準を 設定する データを 確認する 検定統計量が従う 分布を確認する 検定統計量 を計算する 棄却域を計算する 検定統計量が棄却域内 にあるか確認する 有意水準 ：5% 仮説： ある飲料のペットボトル の平均容量は500mL より大きい。 ↓ 帰無仮説： ある飲料のペットボトルの 平均容量は500mLである。 ↓ 𝜇 = 500 ペットボトルの容量 をn=9本計測した 結果、501.2,..., 499.2mLであった。 →計算の結果、 標本平均 ҧ 𝑥 = 500、 標本標準偏差𝑠 = 1.80 であった。 同上 母分散不明の母平均推定 のため、 自由度n-1のt分布に従う。 𝑡 = ҧ 𝑥 − 𝜇 𝑠/ 𝑛 ҧ 𝑥 = 500、 𝑠 = 1.80、 𝑛 = 9、 𝜇 = 500 を代入する と、 𝑡 = 1.67 同上 自由度9 − 1 = 8の 𝑡分布の有意水準 2.5%（両側）の閾値は、 𝑡分布表を確認すると 2.306 →棄却域は、 𝑡 ≥ 2.306、 𝑡 ≤ −2.306となる。 自由度9 − 1 = 8の 𝑡分布の有意水準 5%（片側）の閾値は、 𝑡分布表を確認すると 1.860 →棄却域は、 𝑡 ≥ 1.860、 𝑡 ≤ −1.860となる。 𝑡 = 1.67は棄却域に 入っていないため、 帰無仮説は受容される。 →「ある飲料のペット ボトルの平均容量は 500mLではない。」 とは言えない。 𝑡 = 1.67は棄却域に 入っていないため、 帰無仮説は受容される。 →「ある飲料のペット ボトルの平均容量は 500mLより大きい。」 とは言えない。 @ofutonton
22. 6. 仮説検定 -1つの集団に対する検定：母分散の検定- 22 @ofutonton 仮説 を立てる 例1 お菓子の重量 （両側検定） 例2 テストの点数 （両側検定） 仮説： あるお菓子の重量の 分散は6gではない。 ↓ 帰無仮説： あるお菓子の重量の 分散は6gではある。 ↓ 𝜎2 = 6 帰無仮説 を立てる 有意水準を 設定する データを 確認する 検定統計量が従う 分布を確認する 検定統計量 を計算する 棄却域を計算する 検定統計量が棄却域内 にあるか確認する 有意水準 ：5% 仮説： ある算数のテストの点数の 分散は10点ではない。 ↓ 帰無仮説： ある算数のテストの点数の 分散は10点ではある。 ↓ 𝜎2 = 10 お菓子の重量 をn=31箱計測した 結果、101.3,..., 103.2gであった。 →計算の結果、 標本分散𝑠2 = 2 であった。 算数のテストの点数 をn=15個計測した 結果、80,..., 83点であった。 →計算の結果、 標本分散𝑠2 = 20 であった。 自由度n-1のカイ二乗分布 に従う。 𝜒2 = 𝑛 − 1 𝑠2 𝜎2 𝑠2 = 2、 𝑛 = 31、 𝜎2 = 6 を代入する と、 𝜒2 = 10.0 𝑠2 = 20、 𝑛 = 15、 𝜎2 = 10 を代入する と、 𝜒2 = 28.0 自由度31 − 1 = 30の 𝜒2分布の有意水準 5%（両側）の閾値は、 𝜒2分布表を確認すると 𝜒30 2 0.025 = 46.80 𝜒30 2 0.975 = 16.79 →棄却域は、 𝜒2 ≥ 46.80、 𝜒2 ≤ 16.79となる。 自由度15 − 1 = 14の 𝜒2分布の有意水準 5%（両側）の閾値は、 𝜒2分布表を確認すると 𝜒14 2 0.025 = 26.12 𝜒14 2 0.975 = 5.629 →棄却域は、 𝜒2 ≥ 26.12、 𝜒2 ≤ 5.629となる。 𝜒2 = 10.0は棄却域に 入っていないため、 帰無仮説は受容される。 →「あるお菓子の重量の 分散は6gではない。」 と言える。 𝜒2 = 28.0は棄却域に 入っているため、 帰無仮説は棄却される。 →「ある算数のテストの 点数の分散は10点 ではない。」 と言える。
23. 6. 仮説検定 -1つの集団に対する検定：母比率の検定- 23 仮説 を立てる 例1 新商品を食べたことの ある割合 （片側検定） 例2 サイコロの出目 （両側検定） 仮説： 新商品を食べたことのある 割合は、昨年の21%より 増えた。 ↓ 帰無仮説： 新商品を食べたことのある 割合は、21%である。 ↓ 𝑝 = 0.21 帰無仮説 を立てる 有意水準を 設定する データを 確認する 検定統計量が従う 分布を確認する 検定統計量 を計算する 棄却域を計算する 検定統計量が棄却域内 にあるか確認する 有意水準 ：5% 仮説： あるサイコロは1が出る確率 が1/6でない。 ↓ 帰無仮説： あるサイコロは1が出る確率 が1/6である。 ↓ 𝑝 = 1/6 100人中29人が 食べたことあると 回答。 あるサイコロを 12000回投げたとき に1が2200回出た。 母比率の検定のため、 標準正規分布 に従う 𝑧 𝑧 = ҧ 𝑝 − 𝑝 𝑝 (1 − 𝑝) 𝑛 ҧ 𝑝 = 0.29、 𝑛 = 100、 𝑝 = 0.21 を代入する と、 z = 1.964 ҧ 𝑝 = 2200 12000 、 𝑛 = 12000、 𝑝 = 1/6 を代入する と、 z = 4.899 標準正規分布の 有意水準5%（片側） の閾値は、 標準正規分布表を確認 すると1.65 →棄却域は、 𝑧 ≥ 1.65、 𝑧 ≤ −1.65となる。 標準正規分布の 有意水準2.5%（両側） の閾値は、 標準正規分布表を確認すると 1.96 →棄却域は、 𝑧 ≥ 1.96、 𝑧 ≤ −1.96となる。 𝑧 = 1.964は棄却域に 入っているため、 帰無仮説は棄却される。 →「新商品を食べたこと のある割合は、昨年の 21%より増えた。 」 とは言える。 𝑧 = 4.89は棄却域に 入っているため、 帰無仮説は棄却される。 →「あるサイコロは1が出る 確率が1/6でない。」 とは言える。 @ofutonton
24. 6. 仮説検定 -2つの母集団に対する検定：母平均の差の検定- 24 仮説 を立てる 例1 血圧を下げる降圧薬 の効果 （対応のあるt検定） 例2 クラスのテストの 点数の差 （対応のないt検定） 仮説： 投薬によって血圧は下がった。 ↓ 帰無仮説： 投薬によって血圧は 下がらなかった。 ↓ 投薬前と投薬後の差 の母平均𝜇 = 0 帰無仮説 を立てる 有意水準を 設定する データを 確認する 検定統計量が従う 分布を確認する 検定統計量 を計算する 棄却域を計算する 検定統計量が棄却域内 にあるか確認する 有意水準 ：5% 仮説： 1組と2組の算数のテストの 平均点には差がある。 ↓ 帰無仮説： 1組と2組の算数のテストの 平均点は等しい。 ↓ 1組と2組の母平均の点数差 𝜇1 − 𝜇2 = 0 被験者n=5名の 投薬前と投薬後の 血圧を計測し、 差を取った結果、 -30,...,+5であった。 →計算の結果、 標本平均 ҧ 𝑥 = −10、 標本標準偏差 𝑠 = 14.58であった。 𝑛1 = 30、 𝑛2 = 32、 𝑥1 = 75、𝑥2 = 70で あった。 →2標本プールの 標本分散は、s = 6.72 であった。 自由度n-1のt分布に従う。 𝑡 = ҧ 𝑥 − 𝜇 𝑠/ 𝑛 ҧ 𝑥 = −10、 𝑠 = 14.58、 𝑛 = 5を 代入すると、 𝑡 = −1.53 𝑛1 = 30、 𝑛2 = 32、 𝑥1 = 75、 𝑥2 = 70、 s = 6.72、 𝜇1 − 𝜇2 =0 を代入する と、 𝑡 = 2.93 自由度5 − 1 = 4の 𝑡分布の有意水準 5%（片側）の閾値は、 𝑡分布表を確認すると 2.13 →棄却域は、 𝑡 ≥ 2.13、 𝑡 ≤ −2.13となる。 自由度30 + 32 − 2 = 60 の𝑡分布の有意水準 2.5%（両側）の閾値は、 𝑡分布表を確認すると 2.00 →棄却域は、 𝑡 ≥ 2.00、 𝑡 ≤ −2.00となる。 𝑡 = −1.53は棄却域に 入っていないため、 帰無仮説は受容される。 →「投薬によって血圧は 下がった。」 とは言えない。 𝑡 = 2.93は棄却域に 入っているため、 帰無仮説は棄却される。 →「 1組と2組の算数の テストの平均点には 差がある。」 とは言える。 対応のないt検定のため、 自由度𝒏𝟏 + 𝒏𝟐 − 𝟐のt分布 に従う。 𝑡 = 𝑥1 − 𝑥2 − (𝜇1 − 𝜇2 ) 𝑠 1 𝑛1 + 1 𝑛2 𝑠 = 𝑛1 − 1 𝑠1 2 + 𝑛2 − 1 𝑠2 2 𝑛1 + 𝑛2 − 2 @ofutonton
25. 6. 仮説検定 -2つの母集団に対する検定：母分散の比の検定- 25 @ofutonton 仮説 を立てる 例1 従業員の年収 （両側検定） 例2 男女の100m走 （片側検定） 仮説： A社の従業員の年収と B社の従業員の年収の バラつきに差がある。 ↓ 帰無仮説： A社の従業員の年収と B社の従業員の年収の バラつきに差がある。 ↓ 𝜎1 2 = 𝜎2 2 帰無仮説 を立てる 有意水準を 設定する データを 確認する 検定統計量が従う 分布を確認する 検定統計量 を計算する 棄却域を計算する 検定統計量が棄却域内 にあるか確認する 有意水準 ：5% 仮説： 100m走のタイムは男子の 方が女子よりもバラつきが 小さい。 ↓ 帰無仮説： 100m走のタイムは男子と 女子でバラつきに差がない。 ↓ 𝜎1 2 = 𝜎2 2 A社とB社の従業員の 年収を調査した結果、 𝑛1 = 12、 𝑛2 = 10、 𝑠1 2 = 1.81、𝑠2 2 = 1.26 であった。 男子と女子の100m走 のタイムを計測した結果、 𝑛1 = 17、 𝑛2 = 15、 𝑠1 2 = 16、𝑠2 2 = 64で あった。 自由度(m-1,n-1)のF分布 に従う。 𝐹 = 𝑠1 2/𝜎1 2 𝑠2 2/𝜎2 2 𝑠1 2 = 1.81、 𝑠2 2 = 1.26、 𝜎1 2 = 𝜎2 2 を代入する と、 𝐹 = 1.44 𝑠1 2 = 16、 𝑠2 2 = 64、 𝜎1 2 = 𝜎2 2 を代入する と、 𝐹 = 0.25 自由度(12-1, 10-1) =(11,9) の𝐹分布の 有意水準5%（両側） の閾値は、 𝐹分布表を確認すると 𝐹0.025 (11,9) = 3.91 𝐹0.975 11,9 = 1 𝐹0.025 9,11 = 0.279 →棄却域は、 𝐹 ≥ 3.91、𝐹 ≤ 0.279 となる。 自由度(17-1, 15-1) =(16,14) の𝐹分布の 有意水準5%（片側） の閾値は、 𝐹分布表を確認すると 𝐹0.05 (16,14) = 2.44 𝐹0.95 16,14 = 1 𝐹0.05 14,16 = 0.427 →棄却域は、 𝐹 ≥ 2.44、𝐹 ≤ 0.427 となる。 𝐹 = 1.44は棄却域に 入っていないため、 帰無仮説は受容される。 →「 A社の従業員の年収と B社の従業員の年収の バラつきに差がある。」 と言えない。 𝐹 = 0.25は棄却域に 入っているため、 帰無仮説は棄却される。 →「 100m走のタイムは 男子の方が女子よりも バラつきが小さい。 」 と言える。
26. 6. 仮説検定 -2つの母集団に対する検定：母比率の差の検定- 26 @ofutonton 仮説 を立てる 例1 視聴率の差 （片側検定） 例2 支持率の変化 （両側検定） 仮説： あるドラマの視聴率は 関東の方が関西より高い。 ↓ 帰無仮説： あるドラマの視聴率は 関東と関西で差がない。 ↓ 𝑝1 − 𝑝2 = 0 帰無仮説 を立てる 有意水準を 設定する データを 確認する 検定統計量が従う 分布を確認する 検定統計量 を計算する 棄却域を計算する 検定統計量が棄却域内 にあるか確認する 有意水準 ：5% 仮説： ある政策提案前後の市長の 支持率に差がある。 ↓ 帰無仮説： ある政策提案前後の市長の 支持率に差がない。 ↓ 𝑝1 − 𝑝2 = 0 関東と関西の視聴率 を測定。 𝑛1 = 5000、 𝑛2 = 3000、 𝑝1 = 0.20、𝑝2 = 0.18で あった。 →2標本プールの 標本平均は、 ҧ 𝑝 = 0.1925 であった。 関東と関西の視聴率 を測定。 𝑛1 = 2432、 𝑛2 = 2318、 𝑝1 = 0.55、𝑝2 = 0.52で あった。 →2標本プールの 標本平均は、 ҧ 𝑝 = 0.535 であった。 標準正規分布 に従う。 𝑧 = 𝑝1 − 𝑝2 − (𝑝1 − 𝑝2 ) ҧ 𝑝(1 − ҧ 𝑝)( 1 𝑛1 + 1 𝑛2 ) ҧ 𝑝 = 𝑛1 𝑝1 + 𝑛2 𝑝2 𝑛1 + 𝑛2 𝑛1 = 5000、 𝑛2 = 3000、 𝑝1 = 0.20、 𝑝2 = 0.18、 ҧ 𝑝 = 0.1925 を代入する と、 𝑧 = 2.197 𝑛1 = 2432、 𝑛2 = 2318、 𝑝1 = 0.55、 𝑝2 = 0.52、 ҧ 𝑝 = 0.535 を代入する と、 𝑧 = 2.07197 標準正規分布の 有意水準5%（片側） の閾値は、 標準分布表を確認すると 1.64 →棄却域は、 𝑧 ≥ 1.64、𝑧 ≤ −1.64 となる。 標準正規分布の 有意水準5%（両側） の閾値は、 標準分布表を確認すると 1.96 →棄却域は、 𝑧 ≥ 1.96、𝑧 ≤ −1.96 となる。 𝑧 = 2.197は棄却域に 入っているため、 帰無仮説は棄却される。 →「あるドラマの視聴率は 関東と関西で差がある。」 と言える。 𝑧 = 2.07は棄却域に 入っているため、 帰無仮説は棄却される。 →「ある政策提案前後 の市長の支持率に差 がある。」 と言える。
27. 6. 仮説検定 -分散分析- 27 前頁までは2つ群の比較（例：1組と2組のテストの点数の比較）を実施したが、3つ以上の群の比較（例：1組と2 組と3組のテストの点数の比較）には分散分析を用いる。 その中でも、一つの因子で比較した”一元配置”分散分析を取り上げる。 （因子が二つの場合（例： 1組・2組・3組の算数・国語のテストの点数の比較）は”二元配置”分散分析と呼ぶ。） 分散分析表 偏差平方和 自由度 平均平方 F値 グループ間 𝑆𝑆between = ෍ 𝑗=1 𝑘 𝑛𝑗 (ഥ 𝑥𝑗 − Ӗ 𝑥) 𝑑𝑓between = 𝑘 − 1 𝑀𝑆between = 𝑆𝑆between 𝑑𝑓between 𝐹 = 𝑀𝑆between 𝑀𝑆within グループ内 𝑆𝑆within = ෍ 𝑗=1 𝑘 ෍ 𝑖=1 𝑛𝑗 (𝑥𝑗𝑖 − ഥ 𝑥𝑗 )2 𝑑𝑓within = 𝑘(𝑛 − 1) 𝑀𝑆within = 𝑆𝑆within 𝑑𝑓within 合計 ෍ 𝑗=1 𝑘 ෍ 𝑖=1 𝑛𝑗 (𝑥𝑗𝑖 − Ӗ 𝑥)2 𝑑𝑓between + 𝑑𝑓within = 𝑛𝑘 − 1 • 𝐹 = 水準間のバラつき（効果の大きさ） 水準内のバラつき（誤差の大きさ） というイメージ（誤差が小さく、効果が大きいと有意になる） • 有意差の判断：𝐹 > 𝐹0.05 𝑑𝑓between, 𝑑𝑓within を満たした場合、統計的有意差ありと判断する。 • 信頼区間：ഥ 𝑥𝑗 を水準𝑗の標本平均とすると、以下が信頼区間。 ഥ 𝑥𝑗 − 𝑡0.025 𝑑𝑓within 𝑀𝑆within 𝑛𝑗 ≤ 𝜇 ≤ ഥ 𝑥𝑗 + 𝑡0.025 𝑑𝑓within 𝑀𝑆within 𝑛𝑗 ※𝑘：水準の数、 𝑛𝑗 ：水準𝑗の標本数、 ഥ 𝑥𝑗 ：水準𝑗の標本平均、 Ӗ 𝑥：標本全体の平均値 @ofutonton
28. 6. 仮説検定 -独立性の検定（カイ二乗検定）- 28 仮説 を立てる 例1 性別と血液型 の関連 例2 新商品購入と 年代の関連 仮説： 性別と血液型は独立では ない（関連がある） ↓ 帰無仮説： 性別と血液型は独立で ある（関連がない） 帰無仮説 を立てる 有意水準を 設定する データを 確認する 検定統計量が従う 分布を確認する 検定統計量 を計算する 棄却域を計算する 検定統計量が棄却域内 にあるか確認する 有意水準 ：5% 仮説： ある新商品の購入有無と 年代は独立ではない （関連がある） ↓ 帰無仮説： ある新商品の購入有無と 年代は独立である （関連がない） 男女100人ずつに アンケートを取った 結果、 男性：[A型, O型, B型, AB型] = [55,22,16,7]、 女性：[A型, O型, B型, AB型] = [40,32,24,4] であった。 1000人に アンケートを取った 結果、 20代：[購入した, 購入していない] = [90,410]、 30代：[購入した, 購入していない] = [110,390] であった。 検定統計量𝑍は、 𝑚行 × 𝑛列のデータで 自由度(𝒎 − 𝟏) × (𝒏 − 𝟏)の 𝝌𝟐分布に従い、 𝒁 = ෍ (理論値 − 実績値)𝟐 理論値 で算出される。 𝑍 = 6.639 𝑍 = 2.5 自由度 2 − 1 × 4 − 1 = 3 のχ2分布の有意水準 5%（上側）の閾値は、 χ2分布表を確認すると 7.815 →棄却域は、 𝑍 ≥ 7.815 自由度 2 − 1 × 2 − 1 = 1 のχ2分布の有意水準 5%（上側）の閾値は、 χ2分布表を確認すると 3.841 →棄却域は、 𝑍 ≥ 3.841 𝑍 = 6.639 < 7.815で あり、棄却域に入って いないため、 帰無仮説は受容される。 →「性別と血液型は 独立ではない （関連がある）」 とは言えない。 𝑍 = 2.5 < 3.841で あり、棄却域に入って いないため、 帰無仮説は受容される。 →「ある新商品の 購入有無と年代は 独立ではない （関連がある）」 と言えない。 ※期待度数による理論値の算出方法： (𝑖, 𝑗) の理論値は 𝑓𝑖𝑓𝑗 𝑛 で計算される。 95 × 100 200 = 47.5 独立性の検定とは、「2つのカテゴリ変数が互いに独立しているのか（あるいは関連しているのか）」を判断するための統計的検定方法のこと。 例えば、「性別と血液型に関連があるのか」や「新商品の購入有無と年代に関連があるのか」など。
29. 6. 仮説検定 -第一種の過誤/第二種の過誤- 29 統計的検定で100%正しい結論を導くことは不可能であり、時に過ちを犯す。 統計的検定が犯しうる過ちに、「第一種の過誤」「第二種の過誤」の2種類がある。 真実 帰無仮説は正しい 帰無仮説は間違い 判断 有意差なし ①正しい判断 ③第二種の過誤(β) 有意差あり ②第一種の過誤 (𝛼) ④正しい判断 真実として帰無仮説は正しいのにも関わらず、有意差ありと 判断（し帰無仮説を棄却してしまう）ケース。 第一種の過誤を犯す確率は、有意水準𝛼と一致する。 真実として帰無仮説は間違っているのにも関わらず、有意差 なしと判断（し帰無仮説を受容してしまう）ケース。 第二種の過誤を犯す確率はβで表現し、 1- β （④正しく有意差ありと判断できる確率）は検出力γと 呼ばれる。 参考：https://www.weblio.jp/content/%E7%AC%AC+2+%E7%A8%AE%E3%81%AE%E9%81%8E%E8%AA%A4 帰無仮説𝐻0 の分布 対立仮説𝐻1 の分布 限界値 𝛼 と β の確率はトレードオフであり、しばしば火災報知器に 例えられる。 火災報知器のセンサーの精度を上げて（𝛼を小さくして）火災の予兆 を見落とさないようにすれば、火災でないわずかな熱にも反応して （βが大きくなって）誤報が多くなってしまう。 @ofutonton
30. 6. 仮説検定 -p値- 30 @ofutonton 統計検定量のグラフ 有意水準5% （片側検定：合計面積2.5% 両側検定：合計面積5% ） 2.5 or 5% 𝑡0.025 = 1.96 統計検定量のグラフ 算出したt値以上 の面積 =p値 p値 算出した検定統計量（t値） 𝑡0.025 = 1.96 p値とは、帰無仮説が正しいかを判定するための値であり、 （帰無仮説が真であると仮定したときに得られる）検定統計量よりも大きな値を取る確率である。 p値が有意水準よりも小さい場合は、有意差が認められ、帰無仮説は棄却される。
31. 7. 回帰分析 31 @ofutonton ①モデルの係数が分かる 視聴回数=25.94×クリック数+0.12×インプレッション数+ 1.36×平均再生率-97.31×えばしん出演-145.62 参考：https://surveroid.jp/mr-journal/data_analysis_method/evDTa １ 2 ②モデルの精度が分かる 通常の決定係数は説明変 数の数が増えるほど1に近 づく性質がある。 →モデルを正しく評価する ために、自由度調整済み 決定係数を確認する。 3 ③モデルの係数の有意性が分かる • 帰無仮説：係数が0（=変数が目的変数に対して何の効果も持た ない）である • 自由度n-k-1のt分布に従う統計検定量：𝑡 = 𝑏 𝑆𝐸(𝑏) • n：サンプルサイズ、k：説明変数の数 • b：説明変数の係数 • SE(b)：係数の標準誤差 4 ④モデル全体のの有意性 が分かる • 帰無仮説：重相関係 数が0である