Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
相互情報量について
Search
sasakiK
June 20, 2019
Research
0
1.6k
相互情報量について
相互情報量を理解するための資料です
sasakiK
June 20, 2019
Tweet
Share
More Decks by sasakiK
See All by sasakiK
決定木 変数重要度 / Decision Tree Variable Importance
sasakik
0
1.2k
Other Decks in Research
See All in Research
Computational OT #1 - Monge and Kantorovitch
gpeyre
0
190
90 分で学ぶ P 対 NP 問題
e869120
18
7.6k
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
890
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
2
1.2k
Cross-Media Information Spaces and Architectures
signer
PRO
0
230
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
310
Trust No Bot? Forging Confidence in AI for Software Engineering
tomzimmermann
1
250
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
450
Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction
satai
3
220
定性データ、どう活かす? 〜定性データのための分析基盤、はじめました〜 / How to utilize qualitative data? ~We have launched an analysis platform for qualitative data~
kaminashi
7
1.1k
学生向けアンケート<データサイエンティストについて>
datascientistsociety
PRO
0
4.1k
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
450
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
The Cult of Friendly URLs
andyhume
79
6.5k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Bash Introduction
62gerente
613
210k
Rails Girls Zürich Keynote
gr2m
95
14k
Unsuck your backbone
ammeep
671
58k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
Transcript
n 相互情報量 • 情報量(エントロピー)とは • 平均情報量とは • 条件付きエントロピーとは • 相互情報量とは
1
n 相互情報量 情報量(エントロピー)とは • 情報量 (エントロピー) は、 - ある出来事が起きたときに、それがどれほど起こりにくいことかを表す尺度 -
聞いてとてもビックリする情報 → 情報量が⼤きい - 聞いてもあまり驚かない情報 → 情報量が⼩さい - を確率変数, " を確率変数が取りうる値としたとき、情報量は以下の式で定義される 2 • 例1 : = % & で表が出るコインで、表が出た ときの情報量 (エントロピー) • 例2 : = % %'' で表が出るコインで、表が出たときの情 報量 (エントロピー) ↖ 情報量少ない ← 情報量多い
n 相互情報量 平均情報量(エントロピー)とは • 平均情報量は、 - 情報量を確率変数(ノード)の取りうる値ごとに計算し平均したもの - 確率変数に対して(が各値% ,
& , ..., ) を取る確率が% , & , ..., ) であるとき)、平均情報量は以下の 式で定義される 3 • 例1 : 「喫煙している」の分布が表のとき - 「喫煙している」の平均情報量は • 例1 : 「糖尿病である」の分布が表のとき - 「糖尿病である」の平均情報量は 0.6 0.4 0.1 0.9 ↖ どっちになるか半々くらいのノードの情報量(あいまいさ)のほうが、 極端に偏った分布のノードの情報量(曖昧さ)よりも⼤きい ↗
n 相互情報量 条件付きエントロピーとは • 条件付きエントロピーは、 - の値は知っている状態から、の値を新たに知ったときに得られる情報量の期待値のこと - 情報エントロピーの条件付き確率版 -
2つの確率変数とに対して, に対するの条件付きエントロピーを以下で定義する 4
n 相互情報量 相互情報量 • 相互情報量は、 - 「の情報量」と「を知っている状態におけるの情報量」の差 - を知ることでの情報量(曖昧さ)がすごく⼩さくなる →
相互情報量が⾼い - を知ることでの情報量(曖昧さ)があまり変わらない → 相互情報量が低い - ⼆つの確率変数, に対して、 との相互情報量を以下で定義する 5
6 • 情報量とエントロピーに関する重要⽤語の整理 - https://mathwords.net/entropy • texclip - https://texclip.marutank.net/ n
相互情報量 参考資料