Upgrade to Pro — share decks privately, control downloads, hide ads and more …

童話_オオカミ少年__から学ぶエントロピー.pdf

Efc501943ac27cbef6e7e50dbacb407e?s=47 t4t5u0
February 16, 2020
55

 童話_オオカミ少年__から学ぶエントロピー.pdf

Efc501943ac27cbef6e7e50dbacb407e?s=128

t4t5u0

February 16, 2020
Tweet

Transcript

  1. 童話『オオカミ少年』 から学ぶエントロピー ゆるはこ 出張版蔦屋LT たつお

  2. 自己紹介 名前:たつお 所属:公立はこだて未来大学 1年 Twitter:@i4mwh4ti4m 宣伝:FUN AI の部長になりました。 みなさん気軽にご参加ください!

  3. みなさん、 『オオカミ少年』という童話 はご存知ですか?

  4. 1回目 狼が来たぞ~

  5. 2回目 狼が来たぞ~

  6. 3回目 狼が来たぞ~

  7. 4回目 狼が来 たぞ~

  8. こんな感じのお話です

  9. 今日やること 今日は、この童話を数学的に見てみる。 そして、エントロピーと仲良くなろうというの が目的です。

  10. 自己エントロピーの定義 自己エントロピー(選択情報量) は以下の式で与えられる。 P(A) を確率とし、 起こる確率が小さいほど、I(A) は大きくなる =事象の起こりにくさを表している

  11. エントロピーの定義 エントロピーとはその事象の予測しにくさである エントロピー(平均情報量) は以下の式で与えられる P(A)を確率とし、 これは I(A) の加重平均をとったものである。

  12. 襲われるときのエントロピー 狼が襲ってくることを ベルヌーイ試行と考えると エントロピーと確率の関係は 右図のようになる

  13. 相対エントロピー 実際に狼が襲ってくる確率と 少年が「狼が来たぞ~」といったときに 狼が襲ってくる確率の 関係は、相対エントロピーを使って表せる。

  14. 相対エントロピー 相対エントロピーは2つの確率分布の差異を表す PからみたQが遠いとき、DKLは大きくなる

  15. 確率の定義 p(x) を 狼が襲ってくる確率(客観確率) p(x|A) を A (:=「狼が来たぞ~」と言った) のもとでの 狼が襲ってくる条件付き確率(主観確率)

    とそれぞれ定義する
  16. 1回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =

    {“狼が襲ってくる”, “襲ってこない”} = {0.95, 0.05}
  17. 2回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =

    {“狼が襲ってくる”, “襲ってこない”} = {0.7, 0.3}
  18. 3回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =

    {“狼が襲ってくる”, “襲ってこない”} = {0.5, 0.5}
  19. 4回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =

    {“狼が襲ってくる”, “襲ってこない”} = {0.3, 0.7}
  20. まとめ 羊飼いの少年は、嘘をついて自身の信用度を 下げてしまったために、羊飼いの少年から 得られる相対エントロピーが減ってしまった。 その結果、村人たちは少年の言うことを 聞くことはなく…

  21. まとめ • エントロピーと仲良くなった! • 嘘を付くと信用されなくなる すなわち、エントロピーが小さくなる

  22. ご静聴ありがとうございました