童話_オオカミ少年__から学ぶエントロピー.pdf

Transcript

1. 童話『オオカミ少年』 から学ぶエントロピー ゆるはこ 出張版蔦屋LT たつお
2. 自己紹介 名前：たつお 所属：公立はこだて未来大学 1年 Twitter：@i4mwh4ti4m 宣伝：FUN AI の部長になりました。 みなさん気軽にご参加ください！
3. みなさん、 『オオカミ少年』という童話 はご存知ですか？
4. 1回目 狼が来たぞ～
5. 2回目 狼が来たぞ～
6. 3回目 狼が来たぞ～
7. 4回目 狼が来 たぞ～
8. こんな感じのお話です
9. 今日やること 今日は、この童話を数学的に見てみる。 そして、エントロピーと仲良くなろうというの が目的です。
10. 自己エントロピーの定義 自己エントロピー(選択情報量) は以下の式で与えられる。 P(A) を確率とし、 起こる確率が小さいほど、I(A) は大きくなる ＝事象の起こりにくさを表している
11. エントロピーの定義 エントロピーとはその事象の予測しにくさである エントロピー(平均情報量) は以下の式で与えられる P(A)を確率とし、 これは I(A) の加重平均をとったものである。
12. 襲われるときのエントロピー 狼が襲ってくることを ベルヌーイ試行と考えると エントロピーと確率の関係は 右図のようになる
13. 相対エントロピー 実際に狼が襲ってくる確率と 少年が「狼が来たぞ～」といったときに 狼が襲ってくる確率の 関係は、相対エントロピーを使って表せる。
14. 相対エントロピー 相対エントロピーは2つの確率分布の差異を表す PからみたQが遠いとき、DKLは大きくなる
15. 確率の定義 p(x) を 狼が襲ってくる確率(客観確率) p(x|A) を A (:=「狼が来たぞ～」と言った) のもとでの 狼が襲ってくる条件付き確率(主観確率) とそれぞれ定義する
16. 1回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) = {“狼が襲ってくる”, “襲ってこない”} = {0.95, 0.05}
17. 2回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) = {“狼が襲ってくる”, “襲ってこない”} = {0.7, 0.3}
18. 3回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) = {“狼が襲ってくる”, “襲ってこない”} = {0.5, 0.5}
19. 4回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) = {“狼が襲ってくる”, “襲ってこない”} = {0.3, 0.7}
20. まとめ 羊飼いの少年は、嘘をついて自身の信用度を 下げてしまったために、羊飼いの少年から 得られる相対エントロピーが減ってしまった。 その結果、村人たちは少年の言うことを 聞くことはなく…
21. まとめ • エントロピーと仲良くなった！ • 嘘を付くと信用されなくなる すなわち、エントロピーが小さくなる
22. ご静聴ありがとうございました