Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
相互情報量について
Search
sasakiK
June 20, 2019
Research
0
1.6k
相互情報量について
相互情報量を理解するための資料です
sasakiK
June 20, 2019
Tweet
Share
More Decks by sasakiK
See All by sasakiK
決定木 変数重要度 / Decision Tree Variable Importance
sasakik
0
1.2k
Other Decks in Research
See All in Research
Submeter-level land cover mapping of Japan
satai
3
130
数理最適化と機械学習の融合
mickey_kubo
15
8.9k
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
2.9k
GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization
satai
3
250
90 分で学ぶ P 対 NP 問題
e869120
18
7.6k
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
420
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
2
540
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
研究テーマのデザインと研究遂行の方法論
hisashiishihara
5
1.4k
定性データ、どう活かす? 〜定性データのための分析基盤、はじめました〜 / How to utilize qualitative data? ~We have launched an analysis platform for qualitative data~
kaminashi
6
1.1k
近似動的計画入門
mickey_kubo
4
980
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
130
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Code Reviewing Like a Champion
maltzj
524
40k
Navigating Team Friction
lara
187
15k
GraphQLとの向き合い方2022年版
quramy
49
14k
Statistics for Hackers
jakevdp
799
220k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Thoughts on Productivity
jonyablonski
69
4.7k
Gamification - CAS2011
davidbonilla
81
5.4k
Visualization
eitanlees
146
16k
Transcript
n 相互情報量 • 情報量(エントロピー)とは • 平均情報量とは • 条件付きエントロピーとは • 相互情報量とは
1
n 相互情報量 情報量(エントロピー)とは • 情報量 (エントロピー) は、 - ある出来事が起きたときに、それがどれほど起こりにくいことかを表す尺度 -
聞いてとてもビックリする情報 → 情報量が⼤きい - 聞いてもあまり驚かない情報 → 情報量が⼩さい - を確率変数, " を確率変数が取りうる値としたとき、情報量は以下の式で定義される 2 • 例1 : = % & で表が出るコインで、表が出た ときの情報量 (エントロピー) • 例2 : = % %'' で表が出るコインで、表が出たときの情 報量 (エントロピー) ↖ 情報量少ない ← 情報量多い
n 相互情報量 平均情報量(エントロピー)とは • 平均情報量は、 - 情報量を確率変数(ノード)の取りうる値ごとに計算し平均したもの - 確率変数に対して(が各値% ,
& , ..., ) を取る確率が% , & , ..., ) であるとき)、平均情報量は以下の 式で定義される 3 • 例1 : 「喫煙している」の分布が表のとき - 「喫煙している」の平均情報量は • 例1 : 「糖尿病である」の分布が表のとき - 「糖尿病である」の平均情報量は 0.6 0.4 0.1 0.9 ↖ どっちになるか半々くらいのノードの情報量(あいまいさ)のほうが、 極端に偏った分布のノードの情報量(曖昧さ)よりも⼤きい ↗
n 相互情報量 条件付きエントロピーとは • 条件付きエントロピーは、 - の値は知っている状態から、の値を新たに知ったときに得られる情報量の期待値のこと - 情報エントロピーの条件付き確率版 -
2つの確率変数とに対して, に対するの条件付きエントロピーを以下で定義する 4
n 相互情報量 相互情報量 • 相互情報量は、 - 「の情報量」と「を知っている状態におけるの情報量」の差 - を知ることでの情報量(曖昧さ)がすごく⼩さくなる →
相互情報量が⾼い - を知ることでの情報量(曖昧さ)があまり変わらない → 相互情報量が低い - ⼆つの確率変数, に対して、 との相互情報量を以下で定義する 5
6 • 情報量とエントロピーに関する重要⽤語の整理 - https://mathwords.net/entropy • texclip - https://texclip.marutank.net/ n
相互情報量 参考資料