統計学に必要な数学(線形代数含む)

ベイズ統計学勉強回春'24 で発表した資料です。

Transcript

1. 統計学に必要な数学( 線形代数を含む) 小杉考司（専修大学） 統計学に必要な数学 1 / 55
2. 微積分 極値を求める微分；最大( 小) 値を求めるため 面積を求める積分；確率は面積だから 確率論 確率分布、確率変数の概念；実はチョーむずい！ 大数の法則，中心極限定理 推定，検定 集合論と論理 線形代数 【おまけ】プログラミング( アルゴリズム的理解) 統計学に必要な数学 統計学に必要な数学領域 2 / 55
3. 必要かどうか，勉強する価値があるかどうかと問われれば，その答えは常にYES 「やらないとわからない」は「やればわかる」わけでもない。 でもやらないと，わからない。  ならば， 「なにを・どこまで」が問題かなあ，と。 異論・反論あるとは思いますが，私なりの「理解のステップ」をご紹介 統計学に必要な数学 統計学に必要な数学領域 3 / 55
4. 全部わからなくてイイ 読みながらわからないところは， 「一旦保留」し，先に進む 積み残したところを忘れなければいい。いつか戻ってわかる日が来るから。 証明できなくてイイ 定理やその証明をみると「こんなの思いつかない！」となりがち 数学は何百，何千年とかけてわかりやすい形に整えてられきたものであり，完成形か ら原型は思いつきにくい フォローできる＝読んでわかればいい。 例示は理解の試金石 by 数学ガール 統計学に必要な数学 数学を学ぶときのマインド 4 / 55
5. 紙とペンは外部の脳 「読む」だけでは身につかない。 頭の中で変数や文字列を溜めておくのには限界が。紙に書くことで記憶すべきことを 外在化・視覚化する 同じような記号・文字を反復して書くのはコスパが悪い気がするが，何度も書くとき に「あれ，ここって添字これで良かったっけ」といったことに気づくことも多いの で，結局書いたほうがパフォーマンスにいい。 ジェネリック・ひとに聞く 生成AI に聞いてみるのも良い。数学の定理・公式なんかはしっかりしてる( ハルシネ ーションを起こしにくい領域?) 統計学に必要な数学 数学の学び方 5 / 55
6. 微積分は万能のパズルピース 最適化( 極値を求める) ，面積= 確率を求めるのに使う あちこちで出てくるし，テキストは公式をつかってヒョイと変えたりするから，とに かく慣れていくしかない。 微積分を学ぶステップ 高校の教科書を読むのが一番いいかも 「大学新入生のためのリメディアル数学( 第2 版) 」には定義・定理がサラッと書いて あるので，まさに復習・再入門にもってこい。 * 「 統計学のための数学入門30 講」は少し腕に覚えができてから？ 統計学に必要な数学 微積分を学ぶステップ 6 / 55
7. 理解度の目標 1. ベルヌーイ分布など1 パラメタの最尤推定をやってみる 2. 最小二乗法で回帰係数を求めてみる( 偏微分) + 「 統計学が最強の学問である［数学編］― データ分析と機械学習のための新しい教 科書」は偏微分せずに求めているから，ここから入るのもいい。 3. 正規分布の式の形を理解する；ガウス積分 + 「 統計学が最強の学問である［数学編］― データ分析と機械学習のための新しい教 科書」にはこれも書いている。すごい。 統計学に必要な数学 微積分を学ぶステップ 7 / 55
8. 確率論の深淵は遠い 確率変数，確率分布の根本のところはすごく難しい。が，これなしに統計モデルは語 れない。 なので，ある程度「使えりゃいいんだよ」の精神でいることも大事。 「ベイズ統計モデリング: R,JAGS, Stan によるチュートリアル 原著第2 版 」の理 解の仕方でちょうどイイ？ コルモゴロフの公理に当てはまる数字であれば，確率の計算はできる！ 統計学に必要な数学 確率論を学ぶステップ 8 / 55
9. 理解度の目標 1. 尤度がわかる 確率分布関数/ 尤度関数がわかる( 確率分布とデータの関係がわかる) 回帰分析の尤度関数がわかる( パラメータに数式を入れる) 尤度を確率にするための，ベイズの定理がわかる 2. しっかりと理解する；定理の証明をフォローする。 + 「 スッキリわかる確率統計: ― 定理のくわしい証明つき― 」はスッキリわかる良い テキスト 「数値シミュレーションで読み解く統計のしくみ」にはR を使って体感するとい うねらいがあります。プログラミングの勉強にも，ぜひ。 3. 深淵を覗き込む；測度論という世界が待っています。 統計学に必要な数学 確率論を学ぶステップ 9 / 55
10. 集合論は・・・全体像がつかめない？ 確率の基礎，なんなら数学の基礎を与える学問であり，どこからどこまで化，と言わ れると難しい。 基礎概念( 集合の定義，表記法) ，基本演算( 和，差，補集合，ド・モルガンの法則) な どを理解するところから 果ては有限・無限集合，濃度の話などが出てくるので面白いです。 「無限論の教室 ( 講談社現代新書) 」は読み物としても秀逸 正直，心理統計を学ぶ上で，集合論から始めようってことはないと思うので， 「そういう 世界もあるんだなあ」ぐらいでいいかも。 統計学に必要な数学 集合論を学ぶステップ 10 / 55
11. 線形代数はアングル( 物事の捉え方) を学ぶもの 線形代数は数学の中でも歴史が浅い，というか，幾何学や代数学が出来上がってか ら，書き方を整えたり，そのことによって「同じだね！」ということがわかるように なった，というお話。 つまり最初から後出し，後知恵的な体系なので，モチベーションがわかりにくい。 しかしデータを「数の集まり」であり「空間をつくるもの」と捉え，両者を行き来す る「方程式」を扱うためには必要。 統計学に必要な数学 線形代数を学ぶステップ 11 / 55
12. 1. 基礎体力づくり 行列，ベクトルの四則演算を体に覚え込ませよう 方程式と行列の関係を知るために，掃き出し法はマスターしよう 行列の基本操作で，なんでも行列で表せるようになろう 逆行列を求められるようになろう。 2. ベクトル空間へ，イメージのジャンプ！ 数字のセットを空間で表す＝ベクトル・行列を幾何学的に理解する 行列は座標や空間を行き来するための変換器 空間を作るための基底，一次独立と一次従属，次元のイメージをもつ 3. 空間イメージと統計モデルを統合する 統計学に必要な数学 線形代数を学ぶステップ 12 / 55
13. 1. 行列とは 行と列に数を配置したもの： この行列は2 行3 列の行列 表記： 統計学に必要な数学 線形代数入門 13 / 55
14. 行列の要素 ：i 行j 列の要素 例： は2 行3 列目の要素 統計学に必要な数学 線形代数入門 14 / 55
15. 正方行列 行数と列数が等しい行列 零行列 全ての要素が0 の行列 統計学に必要な数学 特殊な行列（1） 15 / 55
16. 単位行列 対角要素が1 で、それ以外が0 の正方行列 対角行列 対角以外の要素が全て0 の行列 統計学に必要な数学 特殊な行列（2） 16 / 55
17. 列ベクトル 行ベクトル 統計学に必要な数学 ベクトル 17 / 55
18. 行列の加算 同じサイズの行列同士で，対応する要素同士を加減する 統計学に必要な数学 行列の基本演算（1） ：加減算 18 / 55
19. 実数倍：全ての要素に同じ数をかける 統計学に必要な数学 行列の基本演算（2） ：スカラー倍 19 / 55
20. 行列の積 行列と 行列の積は 行列  行列の計算はサイズ感に注目！例えば， 行列と 行列の積は 行列 統計学に必要な数学 行列の基本演算（3） ：乗算 20 / 55
21. 統計学に必要な数学 行列のサイズ感のイメージ 21 / 55
22. 統計学に必要な数学 行列のサイズ感のイメージ 22 / 55
23. 1. 結合法則： 2. 分配法則： 3. 一般に交換法則は成り立たない： 統計学に必要な数学 行列の性質（1） 23 / 55
24. 転置行列 行と列を入れ替えた行列 表記： あるいは 統計学に必要な数学 行列の性質（2） 24 / 55
25. 1. 2. 3. 4. （k はスカラー） 統計学に必要な数学 転置の性質 25 / 55
26. 基本行操作を使って行列を変形する方法 基本行操作 1. 行の入れ替え 2. 行にスカラーをかける 3. ある行の定数倍を他の行に加える 統計学に必要な数学 掃き出し法（1） 26 / 55
27. 連立方程式 行列で考えると 拡大係数行列を作る 方程式を行列の形に書き換え： 統計学に必要な数学 掃き出し法による連立方程式の解法 27 / 55
28. 1. 第1 行の 倍を第2 行に加える： 2. 各行を基準化（第1 行を 倍、第2 行を 倍） ： 統計学に必要な数学 掃き出し法のステップ 28 / 55
29. 3. 第2 行の 倍を第1 行に加える： 行列の形に戻していうと， したがって、 , が解となります。 統計学に必要な数学 掃き出し法のステップ（3） 29 / 55
30. 1. 拡大係数行列を作る 左側：係数行列 右側：定数項 2. 基本行操作 行の入れ替え 行の定数倍 ある行の定数倍を他の行に加える 3. 目標 左側を単位行列にする 右側に現れる数値が解 統計学に必要な数学 掃き出し法のポイント 30 / 55
31. 基本行列 P による表現 基本行操作は行列の積として表現できます： 1. 行の入れ替え 行目と 行目を入れ替える： （1 行目と2 行目の入れ替えの例） 統計学に必要な数学 基本行操作と行列表現 31 / 55
32. 2. 行のスカラー倍 行目を 倍する： （2 行目をc 倍する例） 統計学に必要な数学 基本行操作と行列表現（2） 32 / 55
33. 3. 行の加減 行目に 行目のc 倍を加える： （2 行目に1 行目のc 倍を加える例） 統計学に必要な数学 基本行操作と行列表現（3） 33 / 55
34. 連立方程式 の場合： 例： ここで、 統計学に必要な数学 拡大係数行列への応用 34 / 55
35. 0. 連立方程式： 1. Step 1 ：第1 行の 倍を第2 行に加える 統計学に必要な数学 掃き出し法を行列で 35 / 55
36. 2. Step 2 ：各行を基準化 3. Step 3 ：第2 行の 倍を第1 行に加える 統計学に必要な数学 掃き出し法を行列で 36 / 55
37. まとめると 全過程は1 つの行列の積として表現できます： このP を最初の拡大係数行列に作用させると一度で解が得られます： したがって , が解となります。 統計学に必要な数学 掃き出し法を行列で 37 / 55
38. 逆行列の定義 行列 に対して、 となる行列 を の逆行列という 逆行列の存在条件 正方行列のみが逆行列を持つ可能性がある 行列式が0 でない（ ）場合のみ逆行列が存在する( 後述) このような行列を正則（non-singular ）という 統計学に必要な数学 逆行列 38 / 55
39. とすると，この逆行列は次式で求められます。 ここで なら計算できなくなるので，逆行列ができるかどうかは が決 めている(determine) ことになります。こうした逆行列の一般的な性質を行列式 (determinant) といい， や と書きます。 2×2 行列の場合 統計学に必要な数学 2×2行列の逆行列 39 / 55
40. 拡大係数行列 に対して という操作をすることで，連立方程式の解をもとめまし た。 この両辺に右から をかけると， となります。つまり，操作ログ を単位行列に与えると，逆行列が求められるわけです。 統計学に必要な数学 逆行列の求め方：掃き出し法を応用する場合 40 / 55
41. 2 次元の例 ベクトル は平面上の点 3 次元の例 ベクトル は空間上の点 統計学に必要な数学 ベクトルを空間で考える 41 / 55
42. ベクトルの加法 は平行四辺形の対角線 スカラー倍 はベクトル の方向で 倍の長さ 統計学に必要な数学 ベクトルの演算を空間で理解 42 / 55
43. 2×2 行列は、2 次元ベクトルを別の2 次元ベク トルに変換する装置 例：90 度回転 統計学に必要な数学 行列を変換として理解 43 / 55
44. 空間内の位置を表すための「基準となるベクトル」 標準基底 別の基底の例 統計学に必要な数学 基底とは 44 / 55
45. 一次独立 ベクトルの組が「互いに独立」している状態 どのベクトルも他のベクトルの線形結合で表せない 空間を「広げる」方向が異なる 一次従属 あるベクトルが他のベクトルの線形結合で表せる状態 同じ方向や平面上にベクトルが集中している 空間を「広げる」のに冗長 統計学に必要な数学 一次独立と一次従属 45 / 55
46. 一次独立な例 一次従属な例 一次従属なベクトル( 上の例) では，ベクトルが2 本あっても2 次元空間を作れない 統計学に必要な数学 一次独立・従属の例 46 / 55
47. 例：3 次元空間内の平面 2 次元の部分空間 2 つの基底ベクトルで張られる 原点を通る 統計学に必要な数学 部分空間 47 / 55
48. 部分空間 に対して： 直交補空間 とは、 のすべてのベク トルと直交するベクトルの集合 （直和分解） 先ほどの例だと，3 次元空間に二次元平面 があったが，これと直交する(Z 軸方向) の空間 ( 直線) がM の直交補空間 統計学に必要な数学 直交補空間 48 / 55
49. ベクトル を部分空間 に射影する： を 上の最も近いベクトル に対応さ せること 一般の基底での表現 基底ベクトルを列とする行列 を用いると： 統計学に必要な数学 射影行列の導入 49 / 55
50. 数値例 , 　とすると　 統計学に必要な数学 50 / 55
51. 一般線形モデル 回帰分析は説明変数が作る空間に，目的変数を当てはめる( 射影する) こと データベクトル を，説明変数 が作る空間に射影 垂線の高さが「当てはまりの悪さ」であり，残差( ) 実験計画は計画行列が作る空間にデータを当てはめる( 射影する) こと 潜在変数モデル 因子分析などは目的変数があるわけではない。 データの背後にある因子を探すともいわれるし， 「性格は5 次元」(Big Five) などとい うように，データの相関行列の基底を探し，それの貼る空間にデータを押し込む( 射 影する) イメージ 統計学に必要な数学 統計モデルの空間的イメージ 51 / 55
52. 1. 基礎体力づくり 行列，ベクトルの四則演算を体に覚え込ませよう 方程式と行列の関係を知るために，掃き出し法はマスターしよう 行列の基本操作で，なんでも行列で表せるようになろう 逆行列を求められるようになろう。 2. ベクトル空間へ，イメージのジャンプ！ 数字のセットを空間で表す＝ベクトル・行列を幾何学的に理解する 行列は座標や空間を行き来するための変換器 空間を作るための基底，一次独立と一次従属，次元のイメージをもつ 3. 空間イメージと統計モデルを統合する 統計学に必要な数学 線形代数を学ぶステップ(再掲) 52 / 55
53. 線形代数的センス( 空間的イメージ) で，統計モデルを俯瞰しよう 単変量の場合は，変数の生成過程を考えてそれに合う確率分布を見つけるところから 線形モデル 混合分布 階層モデル 多変量の場合は，データ行列を分解したり結合したりすることになるので，行列のサ イズ感でイメージしよう さらに行列モデルから確率モデルへ 判別分析からプロビット回帰へ 数量化III 類から多次元展開法へ 統計学に必要な数学 モデリングに当たっっての数学的センス 53 / 55
54. 統計モデルの展開にはパターンがある 連続からカテゴリカルへの展開 2 値，順序，名義モデルへの展開を考えるだけでも一つのモデル 2 値から多値にするだけでも一つのモデル的展開 データのどの相(way), 元(mode) に注目するか，表現するか 相；データの種類，元；データ種の組み合わせ回数 一般的な被験者 変数は2 相2 元データ 個人差・時系列の要素を入れると3 相データに 行列を立方体に拡張するモデルへ 時間を連続から順序にすると微分方程式から差分方程式へ 統計学に必要な数学 モデリングに当たっっての数学的センス 54 / 55
55. You can do it! Enjoy! 統計学に必要な数学 55 / 55