Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
相互情報量について
Search
sasakiK
June 20, 2019
Research
0
1.6k
相互情報量について
相互情報量を理解するための資料です
sasakiK
June 20, 2019
Tweet
Share
More Decks by sasakiK
See All by sasakiK
決定木 変数重要度 / Decision Tree Variable Importance
sasakik
0
1.2k
Other Decks in Research
See All in Research
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
6
3.6k
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
2
540
2025年度 生成AIの使い方/接し方
hkefka385
1
710
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
390
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
410
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
270
SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
satai
3
220
線形判別分析のPU学習による朝日歌壇短歌の分析
masakat0
0
140
Collaborative Development of Foundation Models at Japanese Academia
odashi
2
560
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
620
20250502_ABEJA_論文読み会_スライド
flatton
0
170
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Producing Creativity
orderedlist
PRO
346
40k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Git: the NoSQL Database
bkeepers
PRO
430
65k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
YesSQL, Process and Tooling at Scale
rocio
173
14k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Into the Great Unknown - MozCon
thekraken
40
1.9k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Side Projects
sachag
455
42k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Typedesign – Prime Four
hannesfritz
42
2.7k
Transcript
n 相互情報量 • 情報量(エントロピー)とは • 平均情報量とは • 条件付きエントロピーとは • 相互情報量とは
1
n 相互情報量 情報量(エントロピー)とは • 情報量 (エントロピー) は、 - ある出来事が起きたときに、それがどれほど起こりにくいことかを表す尺度 -
聞いてとてもビックリする情報 → 情報量が⼤きい - 聞いてもあまり驚かない情報 → 情報量が⼩さい - を確率変数, " を確率変数が取りうる値としたとき、情報量は以下の式で定義される 2 • 例1 : = % & で表が出るコインで、表が出た ときの情報量 (エントロピー) • 例2 : = % %'' で表が出るコインで、表が出たときの情 報量 (エントロピー) ↖ 情報量少ない ← 情報量多い
n 相互情報量 平均情報量(エントロピー)とは • 平均情報量は、 - 情報量を確率変数(ノード)の取りうる値ごとに計算し平均したもの - 確率変数に対して(が各値% ,
& , ..., ) を取る確率が% , & , ..., ) であるとき)、平均情報量は以下の 式で定義される 3 • 例1 : 「喫煙している」の分布が表のとき - 「喫煙している」の平均情報量は • 例1 : 「糖尿病である」の分布が表のとき - 「糖尿病である」の平均情報量は 0.6 0.4 0.1 0.9 ↖ どっちになるか半々くらいのノードの情報量(あいまいさ)のほうが、 極端に偏った分布のノードの情報量(曖昧さ)よりも⼤きい ↗
n 相互情報量 条件付きエントロピーとは • 条件付きエントロピーは、 - の値は知っている状態から、の値を新たに知ったときに得られる情報量の期待値のこと - 情報エントロピーの条件付き確率版 -
2つの確率変数とに対して, に対するの条件付きエントロピーを以下で定義する 4
n 相互情報量 相互情報量 • 相互情報量は、 - 「の情報量」と「を知っている状態におけるの情報量」の差 - を知ることでの情報量(曖昧さ)がすごく⼩さくなる →
相互情報量が⾼い - を知ることでの情報量(曖昧さ)があまり変わらない → 相互情報量が低い - ⼆つの確率変数, に対して、 との相互情報量を以下で定義する 5
6 • 情報量とエントロピーに関する重要⽤語の整理 - https://mathwords.net/entropy • texclip - https://texclip.marutank.net/ n
相互情報量 参考資料