Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
相互情報量について
Search
sasakiK
June 20, 2019
Research
0
1.5k
相互情報量について
相互情報量を理解するための資料です
sasakiK
June 20, 2019
Tweet
Share
More Decks by sasakiK
See All by sasakiK
決定木 変数重要度 / Decision Tree Variable Importance
sasakik
0
1.2k
Other Decks in Research
See All in Research
ECCV2024読み会: Minimalist Vision with Freeform Pixels
hsmtta
1
330
データサイエンティストをめぐる環境の違い 2024年版〈一般ビジネスパーソン調査の国際比較〉
datascientistsociety
PRO
0
860
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
380
PostgreSQLにおける分散トレーシングの現在 - 第50回PostgreSQLアンカンファレンス
seinoyu
0
170
LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去
kentaitakura
0
210
精度を無視しない推薦多様化の評価指標
kuri8ive
1
310
IM2024
mamoruk
0
170
LLM 시대의 Compliance: Safety & Security
huffon
0
360
Neural Fieldの紹介
nnchiba
1
490
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
240
移動ビッグデータに基づく地理情報の埋め込みベクトル化
tam1110
0
190
ニュースメディアにおける事前学習済みモデルの可能性と課題 / IBIS2024
upura
3
730
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
PRO
50
11k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
18
2.3k
Mobile First: as difficult as doing things right
swwweet
222
9k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.5k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.2k
jQuery: Nuts, Bolts and Bling
dougneiner
62
7.6k
VelocityConf: Rendering Performance Case Studies
addyosmani
326
24k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Music & Morning Musume
bryan
46
6.3k
Transcript
n 相互情報量 • 情報量(エントロピー)とは • 平均情報量とは • 条件付きエントロピーとは • 相互情報量とは
1
n 相互情報量 情報量(エントロピー)とは • 情報量 (エントロピー) は、 - ある出来事が起きたときに、それがどれほど起こりにくいことかを表す尺度 -
聞いてとてもビックリする情報 → 情報量が⼤きい - 聞いてもあまり驚かない情報 → 情報量が⼩さい - を確率変数, " を確率変数が取りうる値としたとき、情報量は以下の式で定義される 2 • 例1 : = % & で表が出るコインで、表が出た ときの情報量 (エントロピー) • 例2 : = % %'' で表が出るコインで、表が出たときの情 報量 (エントロピー) ↖ 情報量少ない ← 情報量多い
n 相互情報量 平均情報量(エントロピー)とは • 平均情報量は、 - 情報量を確率変数(ノード)の取りうる値ごとに計算し平均したもの - 確率変数に対して(が各値% ,
& , ..., ) を取る確率が% , & , ..., ) であるとき)、平均情報量は以下の 式で定義される 3 • 例1 : 「喫煙している」の分布が表のとき - 「喫煙している」の平均情報量は • 例1 : 「糖尿病である」の分布が表のとき - 「糖尿病である」の平均情報量は 0.6 0.4 0.1 0.9 ↖ どっちになるか半々くらいのノードの情報量(あいまいさ)のほうが、 極端に偏った分布のノードの情報量(曖昧さ)よりも⼤きい ↗
n 相互情報量 条件付きエントロピーとは • 条件付きエントロピーは、 - の値は知っている状態から、の値を新たに知ったときに得られる情報量の期待値のこと - 情報エントロピーの条件付き確率版 -
2つの確率変数とに対して, に対するの条件付きエントロピーを以下で定義する 4
n 相互情報量 相互情報量 • 相互情報量は、 - 「の情報量」と「を知っている状態におけるの情報量」の差 - を知ることでの情報量(曖昧さ)がすごく⼩さくなる →
相互情報量が⾼い - を知ることでの情報量(曖昧さ)があまり変わらない → 相互情報量が低い - ⼆つの確率変数, に対して、 との相互情報量を以下で定義する 5
6 • 情報量とエントロピーに関する重要⽤語の整理 - https://mathwords.net/entropy • texclip - https://texclip.marutank.net/ n
相互情報量 参考資料