童話_オオカミ少年__から学ぶエントロピー.pdf

Transcript

1. 童話『オオカミ少年』 から学ぶエントロピー ゆるはこ 出張版蔦屋LT たつお

2. 自己紹介 名前：たつお 所属：公立はこだて未来大学 1年 Twitter：@i4mwh4ti4m 宣伝：FUN AI の部長になりました。 みなさん気軽にご参加ください！

3. みなさん、 『オオカミ少年』という童話 はご存知ですか？

4. 1回目 狼が来たぞ～

5. 2回目 狼が来たぞ～

6. 3回目 狼が来たぞ～

7. 4回目 狼が来 たぞ～

8. こんな感じのお話です

9. 今日やること 今日は、この童話を数学的に見てみる。 そして、エントロピーと仲良くなろうというの が目的です。

10. 自己エントロピーの定義 自己エントロピー(選択情報量) は以下の式で与えられる。 P(A) を確率とし、 起こる確率が小さいほど、I(A) は大きくなる ＝事象の起こりにくさを表している

11. エントロピーの定義 エントロピーとはその事象の予測しにくさである エントロピー(平均情報量) は以下の式で与えられる P(A)を確率とし、 これは I(A) の加重平均をとったものである。

12. 襲われるときのエントロピー 狼が襲ってくることを ベルヌーイ試行と考えると エントロピーと確率の関係は 右図のようになる

13. 相対エントロピー 実際に狼が襲ってくる確率と 少年が「狼が来たぞ～」といったときに 狼が襲ってくる確率の 関係は、相対エントロピーを使って表せる。

14. 相対エントロピー 相対エントロピーは2つの確率分布の差異を表す PからみたQが遠いとき、DKLは大きくなる

15. 確率の定義 p(x) を 狼が襲ってくる確率(客観確率) p(x|A) を A (:=「狼が来たぞ～」と言った) のもとでの 狼が襲ってくる条件付き確率(主観確率)

    とそれぞれ定義する

16. 1回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =

    {“狼が襲ってくる”, “襲ってこない”} = {0.95, 0.05}

17. 2回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =

    {“狼が襲ってくる”, “襲ってこない”} = {0.7, 0.3}

18. 3回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =

    {“狼が襲ってくる”, “襲ってこない”} = {0.5, 0.5}

19. 4回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =

    {“狼が襲ってくる”, “襲ってこない”} = {0.3, 0.7}

20. まとめ 羊飼いの少年は、嘘をついて自身の信用度を 下げてしまったために、羊飼いの少年から 得られる相対エントロピーが減ってしまった。 その結果、村人たちは少年の言うことを 聞くことはなく…

21. まとめ • エントロピーと仲良くなった！ • 嘘を付くと信用されなくなる すなわち、エントロピーが小さくなる

22. ご静聴ありがとうございました