相互情報量について

相互情報量を理解するための資料です

Transcript

1. n 相互情報量 • 情報量(エントロピー)とは • 平均情報量とは • 条件付きエントロピーとは • 相互情報量とは 1
2. n 相互情報量 情報量(エントロピー)とは • 情報量 (エントロピー) は、 - ある出来事が起きたときに、それがどれほど起こりにくいことかを表す尺度 - 聞いてとてもビックリする情報 → 情報量が⼤きい - 聞いてもあまり驚かない情報 → 情報量が⼩さい - を確率変数, " を確率変数が取りうる値としたとき、情報量は以下の式で定義される 2 • 例1 : = % & で表が出るコインで、表が出た ときの情報量 (エントロピー) • 例2 : = % %'' で表が出るコインで、表が出たときの情 報量 (エントロピー) ↖ 情報量少ない ← 情報量多い
3. n 相互情報量 平均情報量(エントロピー)とは • 平均情報量は、 - 情報量を確率変数(ノード)の取りうる値ごとに計算し平均したもの - 確率変数に対して(が各値% , & , ..., ) を取る確率が% , & , ..., ) であるとき)、平均情報量は以下の 式で定義される 3 • 例1 : 「喫煙している」の分布が表のとき - 「喫煙している」の平均情報量は • 例1 : 「糖尿病である」の分布が表のとき - 「糖尿病である」の平均情報量は 
    
   0.6
   
    0.4  
     0.1  0.9 ↖ どっちになるか半々くらいのノードの情報量(あいまいさ)のほうが、 極端に偏った分布のノードの情報量(曖昧さ)よりも⼤きい ↗
4. n 相互情報量 条件付きエントロピーとは • 条件付きエントロピーは、 - の値は知っている状態から、の値を新たに知ったときに得られる情報量の期待値のこと - 情報エントロピーの条件付き確率版 - 2つの確率変数とに対して, に対するの条件付きエントロピーを以下で定義する 4
5. n 相互情報量 相互情報量 • 相互情報量は、 - 「の情報量」と「を知っている状態におけるの情報量」の差 - を知ることでの情報量(曖昧さ)がすごく⼩さくなる → 相互情報量が⾼い - を知ることでの情報量(曖昧さ)があまり変わらない → 相互情報量が低い - ⼆つの確率変数, に対して、 との相互情報量を以下で定義する 5
6. 6 • 情報量とエントロピーに関する重要⽤語の整理 - https://mathwords.net/entropy • texclip - https://texclip.marutank.net/ n 相互情報量 参考資料