Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
童話_オオカミ少年__から学ぶエントロピー.pdf
Search
t4t5u0
February 16, 2020
0
140
童話_オオカミ少年__から学ぶエントロピー.pdf
t4t5u0
February 16, 2020
Tweet
Share
More Decks by t4t5u0
See All by t4t5u0
FUN AI 親睦会LT
t4t5u0
0
21
FUN AI 新入生向け説明会資料
t4t5u0
0
130
ヅ大xはこみら 対バンLT <たつお>
t4t5u0
1
90
Featured
See All Featured
Statistics for Hackers
jakevdp
789
220k
Fireside Chat
paigeccino
19
2.6k
Six Lessons from altMBA
skipperchong
19
2.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
242
20k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
101
6.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
58
14k
Web Components: a chance to create the future
zenorocha
304
41k
Building a Scalable Design System with Sketch
lauravandoore
455
32k
YesSQL, Process and Tooling at Scale
rocio
160
13k
Keith and Marios Guide to Fast Websites
keithpitt
407
22k
Making Projects Easy
brettharned
106
5.4k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Transcript
童話『オオカミ少年』 から学ぶエントロピー ゆるはこ 出張版蔦屋LT たつお
自己紹介 名前:たつお 所属:公立はこだて未来大学 1年 Twitter:@i4mwh4ti4m 宣伝:FUN AI の部長になりました。 みなさん気軽にご参加ください!
みなさん、 『オオカミ少年』という童話 はご存知ですか?
1回目 狼が来たぞ~
2回目 狼が来たぞ~
3回目 狼が来たぞ~
4回目 狼が来 たぞ~
こんな感じのお話です
今日やること 今日は、この童話を数学的に見てみる。 そして、エントロピーと仲良くなろうというの が目的です。
自己エントロピーの定義 自己エントロピー(選択情報量) は以下の式で与えられる。 P(A) を確率とし、 起こる確率が小さいほど、I(A) は大きくなる =事象の起こりにくさを表している
エントロピーの定義 エントロピーとはその事象の予測しにくさである エントロピー(平均情報量) は以下の式で与えられる P(A)を確率とし、 これは I(A) の加重平均をとったものである。
襲われるときのエントロピー 狼が襲ってくることを ベルヌーイ試行と考えると エントロピーと確率の関係は 右図のようになる
相対エントロピー 実際に狼が襲ってくる確率と 少年が「狼が来たぞ~」といったときに 狼が襲ってくる確率の 関係は、相対エントロピーを使って表せる。
相対エントロピー 相対エントロピーは2つの確率分布の差異を表す PからみたQが遠いとき、DKLは大きくなる
確率の定義 p(x) を 狼が襲ってくる確率(客観確率) p(x|A) を A (:=「狼が来たぞ~」と言った) のもとでの 狼が襲ってくる条件付き確率(主観確率)
とそれぞれ定義する
1回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =
{“狼が襲ってくる”, “襲ってこない”} = {0.95, 0.05}
2回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =
{“狼が襲ってくる”, “襲ってこない”} = {0.7, 0.3}
3回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =
{“狼が襲ってくる”, “襲ってこない”} = {0.5, 0.5}
4回目 p(x) = {“狼が襲ってくる”, “襲ってこない”} = {0.1, 0.9} p(x|A) =
{“狼が襲ってくる”, “襲ってこない”} = {0.3, 0.7}
まとめ 羊飼いの少年は、嘘をついて自身の信用度を 下げてしまったために、羊飼いの少年から 得られる相対エントロピーが減ってしまった。 その結果、村人たちは少年の言うことを 聞くことはなく…
まとめ • エントロピーと仲良くなった! • 嘘を付くと信用されなくなる すなわち、エントロピーが小さくなる
ご静聴ありがとうございました