エントロピーと情報量

情報理論の基本的な概念について解説しました。

Transcript

1. エントロピーと情報量と情報量情報量 情報理論に基づく依存関に基づく依存関係基づく依存関係のづく依存関係の定量依存関係の定量化の定量化定量化
2. 情報理論に基づく依存関と情報量は • デーと情報量タの効率的な格納の定量化効率的な格納や伝達をな格納や伝達を目格納や伝達を目的とや伝達を目的とす伝達を目的とする領を目的とする領域目的な格納や伝達をと情報量する領域領域 • デーと情報量タの効率的な格納圧縮、誤り検出・訂正、り検出・訂正、暗検出・訂正、暗号理論に基づく依存関、機械学習などな格納や伝達を目ど 幅広い応用を持つい応用を持つ応用を持つを目的とする領域持つつ • 基づく依存関係の本的な格納や伝達をな格納や伝達を目概念であるエントロである領域エントロピーと情報量や伝達を目的とす 相互情報量、カルバック・ライブラ情報量 に基づく依存関係つい応用を持つて解説する解説するする領域 Jacobs, Konrad, CC BY-SA 2.0 DE, via Wikimedia Commons 情報理論に基づく依存関の定量化創始者 クローと情報量ド・シャノン
3. 情報量と情報量は • 情報を目的とする領域伝える領域＝ある領域事象が起きたことをが起きたことを知起きたことを知らきたこと情報量を目的とする領域知らせるらせる領域 • 「新しく入ったエンしく依存関係の定量入ったエンジニアったエンジニアは男らしいよ」は男らしいよ」らしい応用を持つよ」」 – ソフトウェアは男らしいよ」エンジニアは男らしいよ」に基づく依存関係は男らしいよ」性がとても多いのが起きたことを知と情報量て解説するも多いので、多いので、い応用を持つの定量化で、 何も言わなくてもも多いので、言わなくてもあまわな格納や伝達を目く依存関係の定量て解説するも多いので、あまり検出・訂正、暗変わらないわらな格納や伝達を目い応用を持つ • 「宝くじに当たってく依存関係の定量じに基づく依存関係当たって、来月末たって解説する、来月末で退職だって」で退職だって」だって解説する」 – 宝くじに当たってく依存関係の定量じに基づく依存関係当たって、来月末たる領域確率はと情報量て解説するも多いので、低いので、い応用を持つの定量化で、 黙っているのと伝って解説するい応用を持つる領域の定量化と情報量伝える領域の定量化と情報量では大違いい応用を持つ • 伝わる領域情報の定量化量を目的とする領域事象が起きたことをの定量化生起きたことを知ら確率で定義しようしよ」う
4. 情報量の定量化要請 • 生起きたことを知ら確率 p の定量化事象が起きたことをの定量化情報量 I(p) はどんな格納や伝達を目性がとても多いの質をを目的とする領域 持つって解説するい応用を持つる領域と情報量望ましいかましい応用を持つか 1. I(0)=∞, I (1)=0 2. p < q ⇒ I (p) > I (q) 3. I ( pq) = I ( p) + I (q) 加法性がとても多いの（独立な事象についてな格納や伝達を目事象が起きたことをに基づく依存関係つい応用を持つて解説する） I ( p)=−log( p) と情報量する領域と情報量、この定量化要請を目的とする領域全て満たせる。て解説する満たせる。たせる領域。 対数の底には依存しの定量化底には依存しないに基づく依存関係は依存しな格納や伝達を目い応用を持つが起きたことを知、2を目的とする領域使うことが多い。うこと情報量が起きたことを知多いので、い応用を持つ。 単調減少性がとても多いの
5. 確率変わらない数の底には依存しの定量化エントロピーと情報量 • 確率変わらない数の底には依存しXは事象が起きたことをa 1 , a 2 , …, a k を目的とする領域確率p 1 , p 2 , …, p k でと情報量る領域と情報量する領域 • 確率変わらない数の底には依存しXの定量化値を観測したときを目的とする領域観測したとき、得らしたと情報量き、得られる情報量のられる領域情報量の定量化期待値を観測したときを目的とする領域 Xの定量化エントロピーと情報量 entropy と情報量い応用を持つい応用を持つ以下で定義する。で定義しようする領域。 ただし0log0 = 0 • 例：どの目も同じ確どの定量化目も多いので、同じ確率で出るサじ確率で出る領域サイコロの定量化エントロピーと情報量 H (X) = −∑ i=1 k p i log(p i ) [bit] −∑ i=1 6 1 6 log 1 6 = −log 1 6 = log6
6. エントロピーと情報量の定量化意味 • 不確実な事象の予想のな格納や伝達を目事象が起きたことをの定量化予想の難しさの定量化難しさしさ • 二元エントロピー関エントロピーと情報量関数の底には依存し • 離散確率分布のエントロピーの定量化エントロピーと情報量は 一様分布のエントロピーの定量化と情報量き最大に基づく依存関係な格納や伝達を目る領域 （証明略…） • 確率事象が起きたことをでな格納や伝達を目い応用を持つと情報量き（p=0,1） 0に基づく依存関係な格納や伝達を目る領域 −plog(p)−(1−p)log(1−p)
7. 事象が起きたことをを目的とする領域間接的な格納や伝達をに基づく依存関係知らせるる領域 • ある領域患者が起きたことを知ガンに基づく依存関係かかって解説するい応用を持つる領域かも多いので、しれな格納や伝達を目い応用を持つ • 組織検査は大変だけれどは大変わらないだけれど、血液検査は大変だけれどは簡単 • 血液検査は大変だけれどを目的とする領域する領域こと情報量で、ガンの定量化罹患に基づく依存関係つい応用を持つて解説する どれほど知らせるる領域こと情報量が起きたことを知できる領域か？ • 2つの定量化変わらない数の底には依存しの定量化関連性がとても多いのを目的とする領域定量的な格納や伝達をに基づく依存関係評価できるか？できる領域か？ →相互情報量 相互情報量 mutual information • 準備のため条件付きの定量化ため条件付きエント条件付きエントロピーきエントロピーと情報量を目的とする領域定義しようする領域
8. 同じ確率で出るサ時確率と情報量周辺確率 実な事象の予想の際の罹患の定量化罹患Y→ ↓検査は大変だけれど結果X YES NO 合計 YES 1 / 6 2 / 9 7 / 18 NO 1 / 9 1 / 2 11 / 18 合計 5 / 18 13 / 18 1
9. 同じ確率で出るサ時確率と情報量周辺確率 実な事象の予想の際の罹患の定量化罹患Y→ ↓検査は大変だけれど結果X YES NO 合計 YES 1 / 6 2 / 9 7 / 18 NO 1 / 9 1 / 2 11 / 18 合計 5 / 18 13 / 18 1 変わらない数の底には依存しの定量化全て満たせる。組合せに基づく依存関係対して解説する生起きたことを知ら確率を目的とする領域定義しよう：どの目も同じ確同じ確率で出るサ時確率 joint probablity この定量化例では P(X ,Y ) P(X=YES ,Y =YES) = 1 6
10. 同じ確率で出るサ時確率と情報量周辺確率 実な事象の予想の際の罹患の定量化罹患Y→ ↓検査は大変だけれど結果X YES NO 合計 YES 1 / 6 2 / 9 7 / 18 NO 1 / 9 1 / 2 11 / 18 合計 5 / 18 13 / 18 1 P(X=YES) = P(X=YES ,Y =YES)+P( X=YES ,Y =NO) = 1 6 + 2 9 = 7 18 ある領域変わらない数の底には依存しに基づく依存関係つい応用を持つて解説する足し合わせて、同し合わせて解説する、同じ確率で出るサ時確率から変わらない数の底には依存しを目的とする領域抜くこと：周辺化く依存関係の定量こと情報量：どの目も同じ確周辺化 marginalization 周辺化された確率 = 周辺確率 marginal probability P(X), P(Y )
11. 条件付きエントロピーき確率 実な事象の予想の際の罹患の定量化罹患Y→ ↓検査は大変だけれど結果X YES NO 合計 YES 1 / 6 2 / 9 7 / 18 NO 1 / 9 1 / 2 11 / 18 合計 5 / 18 13 / 18 1 P(Y =YES∣X=NO) = P(Y =YES , X=NO)÷P( X=NO) = 1 9 ÷ 11 18 = 2 11 ある領域変わらない数の底には依存しが起きたことを知観測したとき、得らされたと情報量きの定量化他の変数の確率 の定量化変わらない数の底には依存しの定量化確率 conditional probability P(X∣Y ), P(Y∣X) P(X ,Y ) = P(X∣Y)P(Y ) = P(Y∣X)P( X)
12. 確率変わらない数の底には依存しの定量化独立な事象について性がとても多いの • 独立な事象について：どの目も同じ確関連が起きたことを知な格納や伝達を目い応用を持つ、互い応用を持つの定量化情報を目的とする領域何も言わなくてもも多いので、持つって解説するい応用を持つな格納や伝達を目い応用を持つ • 先の例では、検査の定量化例では、検査は大変だけれど結果と情報量実な事象の予想の際の罹患の定量化罹患は一致するする領域 傾向があったので独が起きたことを知あったの定量化で独立な事象についてではな格納や伝達を目い応用を持つ • 以下で定義する。の定量化条件を目的とする領域満たせる。たすと情報量き独立な事象についてである領域と情報量い応用を持つう P(X ,Y ) = P(X)P(Y ) P(X∣Y ) = P(X) P(Y∣X) = P(Y ) （3つ全て満たせる。て解説する同じ確率で出るサ値を観測したときな格納や伝達を目命題）
13. 条件付きエントロピーきエントロピーと情報量 conditional entropy • ある領域変わらない数の底には依存しを目的とする領域観測したとき、得らしたと情報量きの定量化他の変数の確率 の定量化変わらない数の底には依存しの定量化エントロピーと情報量 • X：どの目も同じ確サイコロの定量化目、Y：どの目も同じ確サイコロの定量化目が起きたことを知奇数の底には依存しかどうか H (X∣Y ) = −∑ y P( y)∑ x P(x∣y)log P(x∣y) = −∑ y ∑ x P( y)P(x∣y)log P(x∣y) = −∑ y ∑ x P(x, y)log P(x∣y) H (X∣Y )=log3, H (Y∣X)=0
14. 条件付きエントロピーきエントロピーと情報量と情報量独立な事象について性がとても多いの • Xと情報量Yが起きたことを知独立な事象についてである領域と情報量き、 H(X|Y) = H(X) • 独立な事象についてな格納や伝達を目変わらない数の底には依存しを目的とする領域片方観測したとき、得らして解説するも多いので、、 も多いので、う片方に基づく依存関係つい応用を持つて解説する何も言わなくてもの定量化情報も多いので、得られる情報量のられな格納や伝達を目い応用を持つ H (X∣Y ) = −∑ y P( y)∑ x P(x∣y)log P(x∣y) = −∑ y P( y)∑ x P(x)log P(x) = −∑ y P( y)H (X) = H(X)
15. 相互情報量 mutual information • ある領域変わらない数の底には依存しを目的とする領域観測したとき、得らしたこと情報量に基づく依存関係よ」って解説する減少した 他の変数の確率 の定量化変わらない数の底には依存しの定量化エントロピーと情報量 I (X ;Y ) = H (X)−H (X∣Y ) = H (Y )−H (Y∣X) = −∑ x ∑ y P(x , y)log P(x , y) P(x)P( y) 周辺確率の定量化積と同時確率間のと情報量同じ確率で出るサ時確率間の定量化 カルバック・ライブラ情報量 Kullback–Leibler divergence と情報量一致するする領域
16. カルバック・ライブラ情報量 • 確率分布のエントロピー間の定量化距離の定量化よ」うな格納や伝達を目も多いので、の定量化 統計力学、数の底には依存し理統計（汎化誤り検出・訂正、差、バンディットアは男らしいよ」ルゴリズム）な格納や伝達を目どの定量化 領域に基づく依存関係出現する量する領域量 • 対称性がとても多いのや伝達を目的とす三角不等式を満たさないのを目的とする領域満たせる。たさな格納や伝達を目い応用を持つの定量化で 厳密には距離ではなに基づく依存関係は距離ではな格納や伝達を目い応用を持つ KL( p ∥ q)=∑ x p(x)log p(x) q(x) KL( p ∥ q) ≥ 0, KL( p ∥ q) = 0 ⇔ p = q
17. カルバック・ライブラ情報量と情報量相互情報量 • 周辺確率の定量化積と同時確率間のと情報量同じ確率で出るサ時確率が起きたことを知どれく依存関係の定量らい応用を持つ近いか見ているい応用を持つか見ているて解説するい応用を持つる領域 • 両者が起きたことを知同じ確率で出るサじ場合（＝Xと情報量Yが起きたことを知独立な事象について）、距離は0であり検出・訂正、暗相互情報量も多いので、0である領域 →相互情報量 独立な事象についてな格納や伝達を目変わらない数の底には依存しからは何も言わなくてもも多いので、情報が起きたことを知得られる情報量のられな格納や伝達を目い応用を持つ • Xと情報量Yが起きたことを知全て満たせる。く依存関係の定量同じ確率で出るサじ分布のエントロピーの定量化場合、両者の定量化エントロピーと情報量と情報量一致するする領域 →相互情報量 片方を目的とする領域観測したとき、得らする領域こと情報量でも多いので、う片方に基づく依存関係つい応用を持つて解説する完全て満たせる。に基づく依存関係知らせるる領域こと情報量が起きたことを知できる領域 I (X ;Y ) = KL(P(X ,Y ) ∥ P(X)P(Y ))
18. 正規化相互情報量 normalized mutual information • 相互情報量の定量化最大値を観測したときは 両者の定量化エントロピーと情報量の定量化幾何も言わなくても平均であるである領域 （証明略…） • 最大値を観測したときで割ればれば 0-1で変わらない数の底には依存し間の定量化関連性がとても多いのを目的とする領域定量化できる領域 NMI (X ;Y ) = I (X ;Y ) √H (X)H (Y )
19. 話さなかったことさな格納や伝達を目かったこと情報量 • 情報源符号化定理 • エントロピーと情報量符号 • zip圧縮 • 相互情報量の定量化3変わらない数の底には依存し以上への拡張への定量化拡張