統計学に必要な数学(線形代数含む)

Slide 1

Slide 1 text

統計学に必要な数学( 線形代数を含む) 小杉考司（専修大学）統計学に必要な数学 1 / 55

Slide 2

Slide 2 text

微積分極値を求める微分；最大( 小) 値を求めるため面積を求める積分；確率は面積だから確率論確率分布、確率変数の概念；実はチョーむずい！大数の法則，中心極限定理推定，検定集合論と論理線形代数【おまけ】プログラミング( アルゴリズム的理解) 統計学に必要な数学統計学に必要な数学領域 2 / 55

Slide 3

Slide 3 text

必要かどうか，勉強する価値があるかどうかと問われれば，その答えは常にYES 「やらないとわからない」は「やればわかる」わけでもない。でもやらないと，わからない。  ならば，「なにを・どこまで」が問題かなあ，と。異論・反論あるとは思いますが，私なりの「理解のステップ」をご紹介統計学に必要な数学統計学に必要な数学領域 3 / 55

Slide 4

Slide 4 text

全部わからなくてイイ読みながらわからないところは，「一旦保留」し，先に進む積み残したところを忘れなければいい。いつか戻ってわかる日が来るから。証明できなくてイイ定理やその証明をみると「こんなの思いつかない！」となりがち数学は何百，何千年とかけてわかりやすい形に整えてられきたものであり，完成形から原型は思いつきにくいフォローできる＝読んでわかればいい。例示は理解の試金石 by 数学ガール統計学に必要な数学数学を学ぶときのマインド 4 / 55

Slide 5

Slide 5 text

紙とペンは外部の脳「読む」だけでは身につかない。頭の中で変数や文字列を溜めておくのには限界が。紙に書くことで記憶すべきことを外在化・視覚化する同じような記号・文字を反復して書くのはコスパが悪い気がするが，何度も書くときに「あれ，ここって添字これで良かったっけ」といったことに気づくことも多いので，結局書いたほうがパフォーマンスにいい。ジェネリック・ひとに聞く生成AI に聞いてみるのも良い。数学の定理・公式なんかはしっかりしてる( ハルシネーションを起こしにくい領域?) 統計学に必要な数学数学の学び方 5 / 55

Slide 6

Slide 6 text

微積分は万能のパズルピース最適化( 極値を求める) ，面積= 確率を求めるのに使うあちこちで出てくるし，テキストは公式をつかってヒョイと変えたりするから，とにかく慣れていくしかない。微積分を学ぶステップ高校の教科書を読むのが一番いいかも「大学新入生のためのリメディアル数学( 第2 版) 」には定義・定理がサラッと書いてあるので，まさに復習・再入門にもってこい。 * 「統計学のための数学入門30 講」は少し腕に覚えができてから？統計学に必要な数学微積分を学ぶステップ 6 / 55

Slide 7

Slide 7 text

理解度の目標 1. ベルヌーイ分布など1 パラメタの最尤推定をやってみる 2. 最小二乗法で回帰係数を求めてみる( 偏微分) + 「統計学が最強の学問である［数学編］― データ分析と機械学習のための新しい教科書」は偏微分せずに求めているから，ここから入るのもいい。 3. 正規分布の式の形を理解する；ガウス積分 + 「統計学が最強の学問である［数学編］― データ分析と機械学習のための新しい教科書」にはこれも書いている。すごい。統計学に必要な数学微積分を学ぶステップ 7 / 55

Slide 8

Slide 8 text

確率論の深淵は遠い確率変数，確率分布の根本のところはすごく難しい。が，これなしに統計モデルは語れない。なので，ある程度「使えりゃいいんだよ」の精神でいることも大事。「ベイズ統計モデリング: R,JAGS, Stan によるチュートリアル原著第2 版」の理解の仕方でちょうどイイ？コルモゴロフの公理に当てはまる数字であれば，確率の計算はできる！統計学に必要な数学確率論を学ぶステップ 8 / 55

Slide 9

Slide 9 text

理解度の目標 1. 尤度がわかる確率分布関数/ 尤度関数がわかる( 確率分布とデータの関係がわかる) 回帰分析の尤度関数がわかる( パラメータに数式を入れる) 尤度を確率にするための，ベイズの定理がわかる 2. しっかりと理解する；定理の証明をフォローする。 + 「スッキリわかる確率統計: ― 定理のくわしい証明つき― 」はスッキリわかる良いテキスト「数値シミュレーションで読み解く統計のしくみ」にはR を使って体感するというねらいがあります。プログラミングの勉強にも，ぜひ。 3. 深淵を覗き込む；測度論という世界が待っています。統計学に必要な数学確率論を学ぶステップ 9 / 55

Slide 10

Slide 10 text

集合論は・・・全体像がつかめない？確率の基礎，なんなら数学の基礎を与える学問であり，どこからどこまで化，と言われると難しい。基礎概念( 集合の定義，表記法) ，基本演算( 和，差，補集合，ド・モルガンの法則) などを理解するところから果ては有限・無限集合，濃度の話などが出てくるので面白いです。「無限論の教室 ( 講談社現代新書) 」は読み物としても秀逸正直，心理統計を学ぶ上で，集合論から始めようってことはないと思うので，「そういう世界もあるんだなあ」ぐらいでいいかも。統計学に必要な数学集合論を学ぶステップ 10 / 55

Slide 11

Slide 11 text

線形代数はアングル( 物事の捉え方) を学ぶもの線形代数は数学の中でも歴史が浅い，というか，幾何学や代数学が出来上がってから，書き方を整えたり，そのことによって「同じだね！」ということがわかるようになった，というお話。つまり最初から後出し，後知恵的な体系なので，モチベーションがわかりにくい。しかしデータを「数の集まり」であり「空間をつくるもの」と捉え，両者を行き来する「方程式」を扱うためには必要。統計学に必要な数学線形代数を学ぶステップ 11 / 55

Slide 12

Slide 12 text

1. 基礎体力づくり行列，ベクトルの四則演算を体に覚え込ませよう方程式と行列の関係を知るために，掃き出し法はマスターしよう行列の基本操作で，なんでも行列で表せるようになろう逆行列を求められるようになろう。 2. ベクトル空間へ，イメージのジャンプ！数字のセットを空間で表す＝ベクトル・行列を幾何学的に理解する行列は座標や空間を行き来するための変換器空間を作るための基底，一次独立と一次従属，次元のイメージをもつ 3. 空間イメージと統計モデルを統合する統計学に必要な数学線形代数を学ぶステップ 12 / 55

Slide 13

Slide 13 text

1. 行列とは行と列に数を配置したもの：この行列は2 行3 列の行列表記：統計学に必要な数学線形代数入門 13 / 55

Slide 14

Slide 14 text

行列の要素：i 行j 列の要素例：は2 行3 列目の要素統計学に必要な数学線形代数入門 14 / 55

Slide 15

Slide 15 text

正方行列行数と列数が等しい行列零行列全ての要素が0 の行列統計学に必要な数学特殊な行列（1） 15 / 55

Slide 16

Slide 16 text

単位行列対角要素が1 で、それ以外が0 の正方行列対角行列対角以外の要素が全て0 の行列統計学に必要な数学特殊な行列（2） 16 / 55

Slide 17

Slide 17 text

列ベクトル行ベクトル統計学に必要な数学ベクトル 17 / 55

Slide 18

Slide 18 text

行列の加算同じサイズの行列同士で，対応する要素同士を加減する統計学に必要な数学行列の基本演算（1）：加減算 18 / 55

Slide 19

Slide 19 text

実数倍：全ての要素に同じ数をかける統計学に必要な数学行列の基本演算（2）：スカラー倍 19 / 55

Slide 20

Slide 20 text

行列の積行列と行列の積は行列  行列の計算はサイズ感に注目！例えば，行列と行列の積は行列統計学に必要な数学行列の基本演算（3）：乗算 20 / 55

Slide 21

Slide 21 text

統計学に必要な数学行列のサイズ感のイメージ 21 / 55

Slide 22

Slide 22 text

統計学に必要な数学行列のサイズ感のイメージ 22 / 55

Slide 23

Slide 23 text

1. 結合法則： 2. 分配法則： 3. 一般に交換法則は成り立たない：統計学に必要な数学行列の性質（1） 23 / 55

Slide 24

Slide 24 text

転置行列行と列を入れ替えた行列表記：あるいは統計学に必要な数学行列の性質（2） 24 / 55

Slide 25

Slide 25 text

1. 2. 3. 4. （k はスカラー）統計学に必要な数学転置の性質 25 / 55

Slide 26

Slide 26 text

基本行操作を使って行列を変形する方法基本行操作 1. 行の入れ替え 2. 行にスカラーをかける 3. ある行の定数倍を他の行に加える統計学に必要な数学掃き出し法（1） 26 / 55

Slide 27

Slide 27 text

連立方程式行列で考えると拡大係数行列を作る方程式を行列の形に書き換え：統計学に必要な数学掃き出し法による連立方程式の解法 27 / 55

Slide 28

Slide 28 text

1. 第1 行の倍を第2 行に加える： 2. 各行を基準化（第1 行を倍、第2 行を倍）：統計学に必要な数学掃き出し法のステップ 28 / 55

Slide 29

Slide 29 text

3. 第2 行の倍を第1 行に加える：行列の形に戻していうと，したがって、 , が解となります。統計学に必要な数学掃き出し法のステップ（3） 29 / 55

Slide 30

Slide 30 text

1. 拡大係数行列を作る左側：係数行列右側：定数項 2. 基本行操作行の入れ替え行の定数倍ある行の定数倍を他の行に加える 3. 目標左側を単位行列にする右側に現れる数値が解統計学に必要な数学掃き出し法のポイント 30 / 55

Slide 31

Slide 31 text

基本行列 P による表現基本行操作は行列の積として表現できます： 1. 行の入れ替え行目と行目を入れ替える：（1 行目と2 行目の入れ替えの例）統計学に必要な数学基本行操作と行列表現 31 / 55

Slide 32

Slide 32 text

2. 行のスカラー倍行目を倍する：（2 行目をc 倍する例）統計学に必要な数学基本行操作と行列表現（2） 32 / 55

Slide 33

Slide 33 text

3. 行の加減行目に行目のc 倍を加える：（2 行目に1 行目のc 倍を加える例）統計学に必要な数学基本行操作と行列表現（3） 33 / 55

Slide 34

Slide 34 text

連立方程式の場合：例：ここで、統計学に必要な数学拡大係数行列への応用 34 / 55

Slide 35

Slide 35 text

0. 連立方程式： 1. Step 1 ：第1 行の倍を第2 行に加える統計学に必要な数学掃き出し法を行列で 35 / 55

Slide 36

Slide 36 text

2. Step 2 ：各行を基準化 3. Step 3 ：第2 行の倍を第1 行に加える統計学に必要な数学掃き出し法を行列で 36 / 55

Slide 37

Slide 37 text

まとめると全過程は1 つの行列の積として表現できます：このP を最初の拡大係数行列に作用させると一度で解が得られます：したがって , が解となります。統計学に必要な数学掃き出し法を行列で 37 / 55

Slide 38

Slide 38 text

逆行列の定義行列に対して、となる行列をの逆行列という逆行列の存在条件正方行列のみが逆行列を持つ可能性がある行列式が0 でない（）場合のみ逆行列が存在する( 後述) このような行列を正則（non-singular ）という統計学に必要な数学逆行列 38 / 55

Slide 39

Slide 39 text

とすると，この逆行列は次式で求められます。ここでなら計算できなくなるので，逆行列ができるかどうかはが決めている(determine) ことになります。こうした逆行列の一般的な性質を行列式 (determinant) といい，やと書きます。 2×2 行列の場合統計学に必要な数学 2×2行列の逆行列 39 / 55

Slide 40

Slide 40 text

拡大係数行列に対してという操作をすることで，連立方程式の解をもとめました。この両辺に右からをかけると，となります。つまり，操作ログを単位行列に与えると，逆行列が求められるわけです。統計学に必要な数学逆行列の求め方：掃き出し法を応用する場合 40 / 55

Slide 41

Slide 41 text

2 次元の例ベクトルは平面上の点 3 次元の例ベクトルは空間上の点統計学に必要な数学ベクトルを空間で考える 41 / 55

Slide 42

Slide 42 text

ベクトルの加法は平行四辺形の対角線スカラー倍はベクトルの方向で倍の長さ統計学に必要な数学ベクトルの演算を空間で理解 42 / 55

Slide 43

Slide 43 text

2×2 行列は、2 次元ベクトルを別の2 次元ベクトルに変換する装置例：90 度回転統計学に必要な数学行列を変換として理解 43 / 55

Slide 44

Slide 44 text

空間内の位置を表すための「基準となるベクトル」標準基底別の基底の例統計学に必要な数学基底とは 44 / 55

Slide 45

Slide 45 text

一次独立ベクトルの組が「互いに独立」している状態どのベクトルも他のベクトルの線形結合で表せない空間を「広げる」方向が異なる一次従属あるベクトルが他のベクトルの線形結合で表せる状態同じ方向や平面上にベクトルが集中している空間を「広げる」のに冗長統計学に必要な数学一次独立と一次従属 45 / 55

Slide 46

Slide 46 text

一次独立な例一次従属な例一次従属なベクトル( 上の例) では，ベクトルが2 本あっても2 次元空間を作れない統計学に必要な数学一次独立・従属の例 46 / 55

Slide 47

Slide 47 text

例：3 次元空間内の平面 2 次元の部分空間 2 つの基底ベクトルで張られる原点を通る統計学に必要な数学部分空間 47 / 55

Slide 48

Slide 48 text

部分空間に対して：直交補空間とは、のすべてのベクトルと直交するベクトルの集合（直和分解）先ほどの例だと，3 次元空間に二次元平面があったが，これと直交する(Z 軸方向) の空間 ( 直線) がM の直交補空間統計学に必要な数学直交補空間 48 / 55

Slide 49

Slide 49 text

ベクトルを部分空間に射影する：を上の最も近いベクトルに対応させること一般の基底での表現基底ベクトルを列とする行列を用いると：統計学に必要な数学射影行列の導入 49 / 55

Slide 50

Slide 50 text

数値例 , 　とすると　統計学に必要な数学 50 / 55

Slide 51

Slide 51 text

一般線形モデル回帰分析は説明変数が作る空間に，目的変数を当てはめる( 射影する) ことデータベクトルを，説明変数が作る空間に射影垂線の高さが「当てはまりの悪さ」であり，残差( ) 実験計画は計画行列が作る空間にデータを当てはめる( 射影する) こと潜在変数モデル因子分析などは目的変数があるわけではない。データの背後にある因子を探すともいわれるし，「性格は5 次元」(Big Five) などというように，データの相関行列の基底を探し，それの貼る空間にデータを押し込む( 射影する) イメージ統計学に必要な数学統計モデルの空間的イメージ 51 / 55

Slide 52

Slide 52 text

Slide 53

Slide 53 text

線形代数的センス( 空間的イメージ) で，統計モデルを俯瞰しよう単変量の場合は，変数の生成過程を考えてそれに合う確率分布を見つけるところから線形モデル混合分布階層モデル多変量の場合は，データ行列を分解したり結合したりすることになるので，行列のサイズ感でイメージしようさらに行列モデルから確率モデルへ判別分析からプロビット回帰へ数量化III 類から多次元展開法へ統計学に必要な数学モデリングに当たっっての数学的センス 53 / 55

Slide 54

Slide 54 text

統計モデルの展開にはパターンがある連続からカテゴリカルへの展開 2 値，順序，名義モデルへの展開を考えるだけでも一つのモデル 2 値から多値にするだけでも一つのモデル的展開データのどの相(way), 元(mode) に注目するか，表現するか相；データの種類，元；データ種の組み合わせ回数一般的な被験者変数は2 相2 元データ個人差・時系列の要素を入れると3 相データに行列を立方体に拡張するモデルへ時間を連続から順序にすると微分方程式から差分方程式へ統計学に必要な数学モデリングに当たっっての数学的センス 54 / 55

Slide 55

Slide 55 text

You can do it! Enjoy! 統計学に必要な数学 55 / 55