oku-slide-stat2-1

数理統計学特論II
第1回 基本用語
奥 牧人 (未病研究センター)
2022/06/15
2023/06/14
2024/06/12

Transcript

1. 数理統計学特論II 第1回 基本用語 奥 牧人 (未病研究センター) 2024/06/12 1 / 52
2. この科目について この科目では大学院向けの統計学の本の内容を扱います。 参考書: 竹村彰通 著「現代数理統計学」 数理統計学特論Iで本の前半、IIで後半を扱います。 成績評価は毎回の小テストが70%、期末試験が30%です。 講義資料へのリンクと小テストはMoodleに掲載します。 2 / 52
3. 「現代数理統計学」の全体像 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法※ 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 ※ 14章は授業では扱わない予定 3 / 52
4. 授業計画 1. 基本用語 2. 検定論 3. 区間推定 4. 正規分布と二項分布に関する推測 5. 線形モデル 6. ノンパラメトリック法 7. 漸近理論 8. 期末試験と解説 4 / 52
5. 予習と復習 予習 毎回授業の最後にキーワードを示すので、次回までに意味を 調べておいて下さい。 予習用キーワードはMoodleにも掲載します。 復習 各自で振り返りを行い、まとめておいて下さい。 5 / 52
6. 今回の授業について 今回は数理統計学特論I,IIと関連する数学の基本用語や記法を 改めて説明します。 6 / 52
7. Outline 1. 記法 2. 論理学 3. 微分 4. 線形代数 5. その他 7 / 52
8. Outline 1. 記法 2. 論理学 3. 微分 4. 線形代数 5. その他 8 / 52
9. 二項係数の記法 個の中から 個を選ぶ場合の数 二項定理に出てくる係数なので、二項係数と呼ぶ 順列 の方は、この授業では使わない n k n Ck = ( ) = n! k! (n − k)! n k (a + b) n = n ∑ k=0 ( )a k b n−k n k n Pk = n!/(n − k)! 9 / 52
10. 区間の記法 角括弧は端点を含む 丸括弧は端点を含まない 片側だけ端点を含む場合も可 a ≤ x ≤ b ⇔ x ∈ [a, b] a < x < b ⇔ x ∈ (a, b) a ≤ x < b ⇔ x ∈ [a, b) 10 / 52
11. 上限と下限の記法 最大値と最小値は、それ自身が集合に含まれている必要がある 上限 と 下限 は、集合に含まれなくても良い (含まれても良い) それぞれ英語の supremum, infimum の先頭の三文字 x ∈ [0, 1], max x = 1, min x = 0 x ∈ (0, 1), sup x = 1, inf x = 0 11 / 52
12. 上界と下界 上界 (upper bound) は、その値以下に抑えられるという意味 下界 (かかい、lower bound) も同様、読み方に注意 例えば、1 は の上界の一つだが、100 も上界 x ∈ (0, 1) 12 / 52
13. 集合に関する記号 は、 が集合 の元であることを表す 和集合 ( または ) 積集合 ( かつ ) 差集合 ( だが でない) 部分集合 ( は に含まれる) x ∈ A x A A B A ∪ B A B A ∩ B A B A ∖ B A B A ⊆ B 13 / 52
14. 最大値のときの引数の値 の最大値 そのときの の値 arg は英語の argument (引数) の先頭の三文字 argmin も同様 y = f(x) max x f(x) x arg max x f(x) 14 / 52
15. 全称記号と存在記号 は「全ての～、任意の～」を意味する 例、全ての に対して が成り立つ は「ある～」を意味する 例、ある に対して が成り立つ それぞれ英語の All, Exist の頭文字を逆さまにしたもの ∀ x ex > 0 ∀x, e x > 0 ∃ x x2 = 0 ∃x, x 2 = 0 15 / 52
16. よく使うギリシャ文字 記号 読み方 記号 読み方 記号 読み方 アルファ カッパ タウ ベータ , ラムダ , ファイ , ガンマ ミュー カイ , デルタ ニュー , プサイ イプシロン グザイ , オメガ ゼータ , パイ イータ ロー , シータ , シグマ α κ τ β λ Λ ϕ Φ γ Γ μ χ δ Δ ν ψ Ψ ε ξ ω Ω ζ π Π η ρ θ Θ σ Σ 16 / 52
17. 文字の上に付けるもの バー (平均を表すことが多い) ハット (推定値を表すことが多い) ドット (微分を表すことが多い、ダッシュ もある) チルダ (特に決まった意味はなく、記号が足りないときに使う) ¯ x ^ x x ′ ˙ x ~ x 17 / 52
18. 総乗記号 全てを足す場合 (総和) 全てを掛ける場合 (総乗) 足し算は英語で summation で、s に対応するギリシア文字が 掛け算は英語で product で、p に対応するギリシア文字が n ∑ i=1 xi = x1 + ⋯ + xn n ∏ i=1 xi = x1 × ⋯ × xn Σ Π 18 / 52
19. Outline 1. 記法 2. 論理学 3. 微分 4. 線形代数 5. その他 19 / 52
20. 十分条件と必要条件 「 ならば 」を「 」などと書く が 十分条件、 が 必要条件 間違いやすいので、矢印の先が必要条件、などと覚える P Q P → Q P Q 20 / 52
21. 逆と対偶 に対して を 逆 という 逆は元の式と同値ではない 例えば、「インフルエンザならば熱がある」からといって 「熱があるならばインフルエンザである」とは限らない に対して を 対偶 という 矢印の向きを反転し、さらにそれぞれを否定したもの 対偶は元の式と同値 P → Q Q → P P → Q Q → P 21 / 52
22. 矢印を使わない書き方 「 」を矢印を使わずに書くと「 」となる 「 ならば」といっているので、そもそも でない場合、嘘は ついていない 先ほどの例でいうと、「インフルエンザでない、または、熱があ る」となる T T T T F F F T T F F T P → Q P ∨ Q P P P Q P → Q 22 / 52
23. ド・モルガンの法則 「 または 」の否定は「 でない、かつ でない」 「 かつ 」の否定は「 でない、または でない」 「または」と「かつ」が入れ替わる ド・モルガンの法則として知られている P Q P Q P ∨ Q = P ∧ Q P Q P Q P ∧ Q = P ∨ Q 23 / 52
24. 述語論理の場合 や も否定にすると入れ替わる 「全ての について が成り立つ」の否定は 「ある について が成り立たない」 「ある について が成り立つ」の否定は 「全ての について が成り立たない」 ∀ ∃ x P (x) x P (x) ∀x, P (x) = ∃x, P (x) x P (x) x P (x) ∃x, P (x) = ∀x, P (x) 24 / 52
25. Outline 1. 記法 2. 論理学 3. 微分 4. 線形代数 5. その他 25 / 52
26. 微分の基本 のべき乗の微分 分母にくる場合も同様 を含まないものは微分したら消える x (x) ′ = 1 (x 2 ) ′ = 2x (x 3 ) ′ = 3x 2 (x n ) ′ = nx n−1 ( 1 x ) ′ = (x −1 ) ′ = −x −2 x (c) ′ = 0 26 / 52
27. 対数、指数、三角関数の微分 対数関数 指数関数 三角関数 (log x) ′ = 1 x (e x ) ′ = e x (sin x) ′ = cos x (cos x) ′ = − sin x 27 / 52
28. 合成関数の微分 合成関数の微分は、先に中身の微分をしてから、中身全体を改めて つの変数とみなして微分すれば良い。例えば、 なら、 を中身と考えて、先に中身を微分する。 次に、中身全体を改めて とみなして微分する。 最後に、両方をかけて、 1 ((1 + x 2 ) 3 ) ′ 1 + x 2 (1 + x 2 ) ′ = 2x X = 1 + x 2 (X 3 ) ′ = 3X 2 = 3(1 + x 2 ) 2 2x × 3(1 + x 2 ) 2 28 / 52
29. 2つの関数の積の微分 2つの関数の積の微分は、片方ずつ微分すれば良い 割り算の場合も同様 (f(x)g(x)) ′ = f ′ (x)g(x) + f(x)g ′ (x) (x 2 log x) ′ = 2x log x + x 2 1 x ( f(x) g(x) ) ′ = (f(x) 1 g(x) ) ′ = f ′ (x) 1 g(x) + f(x) −g ′ (x) (g(x))2 = f ′ (x)g(x) − f(x)g ′ (x) (g(x)) 2 29 / 52
30. Outline 1. 記法 2. 論理学 3. 微分 4. 線形代数 5. その他 30 / 52
31. ベクトルと行列 縦ベクトル は、数字を縦に並べたもの 横ベクトル は、数字を横に並べたもの 行列 は、数字を縦と横に並べたもの ⎛ ⎝ 1 2 3 ⎞ ⎠ ( ) 1 2 3 ( ) 1 2 3 4 31 / 52
32. 転置 転置 は、ベクトルや行列の縦と横を入れ替えること は英語の Transpose の頭文字 T = ( ) ( ) T = ( ) T = ( ) ⎛ ⎝ 1 2 3 ⎞ ⎠ 1 2 3 1 2 3 ⎛ ⎝ 1 2 3 ⎞ ⎠ 1 2 3 4 1 3 2 4 T 32 / 52
33. 内積 内積 は、2つのベクトルを要素毎にかけて足したもの 例、 , なら、内積は 横ベクトルと縦ベクトルの積としても書ける x = (1, 2) y = (3, 4) 1 × 3 + 2 × 4 = 11 ( ) ( ) = 11 1 2 3 4 33 / 52
34. 行列と縦ベクトルの積 行列と縦ベクトルの積は、行列の各行をそれぞれ横ベクトルと みなし、縦ベクトルとの積を順に計算すれば良い 例 というのは、以下を順に計算したもの 行列と行列の積も同様 ( ) ( ) = ( ) 1 2 3 4 5 6 17 39 ( ) ( ) = 17 ( ) ( ) = 39 1 2 5 6 3 4 5 6 34 / 52
35. 正方行列 正方行列 は、縦と横の長さが同じ行列 正方でない行列の例 ( ) 1 2 3 4 ( ), 1 2 3 4 5 6 ⎛ ⎝ 1 2 3 4 5 6 ⎞ ⎠ 35 / 52
36. 単位行列 単位行列 は、対角項が で、他が全て の行列 2次元の場合 3次元の場合 は英語の Identity Matrix の頭文字 1 0 I = ( ) 1 0 0 1 I = ⎛ ⎝ 1 0 0 0 1 0 0 0 1 ⎞ ⎠ I 36 / 52
37. 対称行列 対称行列 は、転置しても元と変わらない行列 A = ( ) A T = ( ) A = A T 1 2 2 3 1 2 2 3 37 / 52
38. 対角行列 対角行列 は、対角項以外が全て の行列 対角項に があっても良い 0 ⎛ ⎝ 3 0 0 0 1 0 0 0 2 ⎞ ⎠ 0 38 / 52
39. 逆行列と正則行列 逆行列 は、元の行列にかけると単位行列になる行列 掛ける向きは左からでも右からでも構わない 数字の逆数に対応 正則行列 または 非特異行列 は、逆行列が存在する行列 AA −1 = I A −1 A = I a ⋅ 1 a = 1 39 / 52
40. 行列式 行列式 の定義は複雑なので省略 は、行列 が正則であることの必要十分条件 次元の場合の公式 det は英語の determinant の最初の三文字 と書く場合もある det A ≠ 0 A 2 A = ( ) det A = ad − bc a b c d |A| 40 / 52
41. 固有値と固有ベクトル ある行列 が 固有値 と 固有ベクトル を持つとき、その行 列に固有ベクトルを掛けると、元のベクトルの固有値倍になる 例 固有値は でも良い A λ v Av = λv A = ( ), v = ( ), λ = 5 Av = ( ) ( ) = ( ) = 5 ( ) 1 2 2 4 1 2 1 2 2 4 1 2 5 10 1 2 0 ( ) ( ) = ( ) = 0 × ( ) 1 2 2 4 2 −1 0 0 2 −1 41 / 52
42. 対角化 対角化 は、元の行列を以下の変形で対角行列にすること は正則行列で、各列には の固有ベクトルが並んでいる は対角行列で、対角項には の固有値が並んでいる 対角化できない行列もある 対角化可能かどうかと、正則かどうかは、全く別の話 P −1 AP = Λ P A Λ A ( ) 2 1 0 2 42 / 52
43. 直交行列 直交行列 は、自分自身の転置をかけると単位行列になる行列 直交というのは、 の異なる2つの列をそれぞれ縦ベクトルと考 えると、それらの内積が になっているから 例 が直交行列ならば AA T = A T A = I A 0 A = ⎛ ⎝ 1 √2 1 √2 1 √2 − 1 √2 ⎞ ⎠ A det A = 1 43 / 52
44. 対称行列の性質 対称行列ならば全ての固有値が実数 全ての固有値が正なら 正定値行列 という 全ての固有値が 以上なら 半正定値行列 という 対称行列ならば直交行列を使って対角化可能 0 P T AP = Λ 44 / 52
45. 線形部分空間 線形部分空間 は、イメージとしては 次元空間上の 次元平面 のようなもの 部分空間といっても、無限遠まで続いている 一方、元の空間の全てを占める訳ではない 例えば、ある の行列 に対し、任意の 次元実ベクトル を で変換した の動ける範囲など 3 2 3 × 2 A 2 x A y = Ax 45 / 52
46. Outline 1. 記法 2. 論理学 3. 微分 4. 線形代数 5. その他 46 / 52
47. 単射と全射 集合 から への写像 を考える 単射 は、行き先で合流しないこと 例、 は、 のとき になり、 のときも になるので、単射でない 全射 は、行き先の全ての要素に到達できること 例、同じく は、 が実数とすると、 にはどの からも到達できないので、全射でない 全単射 は、単射かつ全射のこと A B f : A → B y = f(x) = x 2 x = 1 y = 1 x = −1 y = 1 y = f(x) = x 2 x y = −1 x 47 / 52
48. 確率の計算で大事な式 周辺確率の式 (加法定理) 条件付き確率の式 (乗法定理) のとき どんなに難しい式変形も、この3つの組み合わせのはず p(x) = ∑ y p(x, y) p(x, y) = p(x|y)p(y) X ⊥ ⊥ Y p(x, y) = p(x)p(y) 48 / 52
49. 共通の条件がある場合 全ての項の縦棒の右側に同じ変数を入れても同様に成り立つ 周辺確率の式 (加法定理) 条件付き確率の式 (乗法定理) のとき p(x|z) = ∑ y p(x, y|z) p(x, y|z) = p(x|y, z)p(y|z) X ⊥ ⊥ Y ∣ Z p(x, y|z) = p(x|z)p(y|z) 49 / 52
50. 期待値と分散の性質 常に成り立つ式 ( は定数) と が独立のときのみ成り立つ式 a, b V [X] = E[X 2 ] − E[X] 2 E[aX + b] = aE[X] + b V [aX + b] = a 2 V [X] E[X + Y ] = E[X] + E[Y ] X Y E[XY ] = E[X]E[Y ] V [X + Y ] = V [X] + V [Y ] 50 / 52
51. 小テスト Moodleで小テストに回答して下さい。 期限は今週中 (日曜の23:59まで) とします。 繰り返し受験して構いません。最高得点で成績をつけます。 次回以降も同様です。 51 / 52
52. 次回の予習用キーワード 帰無仮説 有意水準 検出力 52 / 52