Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
Search
Mitsuki Ogasahara
July 11, 2014
Science
0
400
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
株式会社サイバーエージェントのPRML輪読会で発表した内容です
Mitsuki Ogasahara
July 11, 2014
Tweet
Share
More Decks by Mitsuki Ogasahara
See All by Mitsuki Ogasahara
コスト管理から向き合う技術的負債 / Accounting for Technical Debt Through Cost Management
yamitzky
0
10
Utility-first な CSS-in-JS 〜Tailwind CSS と Chakra UI を添えて〜 / Utility-First CSS-in-JS
yamitzky
5
1.4k
今から始める型安全 Python / Start Python Type Hints
yamitzky
13
4.8k
技術が好きで好きで好きでたまらないエンジニアが「取締役」になって思う、マネジメントキャリアパス / My Manager's Path
yamitzky
2
990
Python 3.9 時代の型安全な Pythonの極め方 / Mastering Type Safety in Python 3.9 Era
yamitzky
35
29k
なぜサーバーレスとDockerなのか 〜 インフラ運用を最小化するサービス開発 〜 / Why We Choose Serverless AND Docker
yamitzky
0
3.9k
サーバーレスを活用して少数精鋭で開発するニュースアプリ #devsumi
yamitzky
4
2.9k
ここが辛いよサーバーレス だが私は乗り越えた #builderscon
yamitzky
14
7.7k
会社の開発合宿で Electron-vueで Slackクライアント作ってみた
yamitzky
0
2.6k
Other Decks in Science
See All in Science
オンプレミス環境にKubernetesを構築する
koukimiura
0
110
テンソル分解を用いた教師なし学習による変数選択法のシングルセルマルチオミックスデータ解析への応用
tagtag
1
120
ACL読み会2024@名大 REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation
takuma_matsubara
0
140
05_山中真也_室蘭工業大学大学院工学研究科教授_だてプロの挑戦.pdf
sip3ristex
0
140
機械学習を支える連続最適化
nearme_tech
PRO
1
250
Tensor Representations in Signal Processing and Machine Learning (Tutorial at APSIPA-ASC 2020)
yokotatsuya
0
110
理論計算機科学における 数学の応用: 擬似ランダムネス
nobushimi
1
400
MoveItを使った産業用ロボット向け動作作成方法の紹介 / Introduction to creating motion for industrial robots using MoveIt
ry0_ka
0
300
04_石井クンツ昌子_お茶の水女子大学理事_副学長_D_I社会実現へ向けて.pdf
sip3ristex
0
130
化学におけるAI・シミュレーション活用のトレンドと 汎用原子レベルシミュレーター: Matlantisを使った素材開発
matlantis
0
440
Pericarditis Comic
camkdraws
0
1.5k
[第62回 CV勉強会@関東] Long-CLIP: Unlocking the Long-Text Capability of CLIP / kantoCV 62th ECCV 2024
lychee1223
1
840
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
PRO
50
11k
It's Worth the Effort
3n
184
28k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Designing Experiences People Love
moore
140
23k
Side Projects
sachag
452
42k
How to train your dragon (web standard)
notwaldorf
91
5.8k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Transcript
ʮύλʔϯೝࣝͱػցֶशʯ ྠಡษڧձ ʙࢦܕɾϊϯύϥϝτϦοΫ๏ʙ
ࣗݾհ w ໊લ w খּݪޫو .JUTVLJ0("4")"3" w ೖࣾ w
w ॴଐ w ג $ZCFS;։ൃΤϯδχΞ w ֶੜ࣌ͷݚڀ w ࣗવݴޠॲཧɾػցֶश
࣍ w ࢦܕ w ࠷ਪఆͱे౷ܭྔ w ڞࣄલ w ແใࣄલ w
ϊϯύϥϝτϦοΫ๏ w Χʔωϧີਪఆ๏ w ࠷ۙ๏
ࢦܕ Q w ࣜ Ͱఆٛ͞ΕΔͷ ू߹ ! w
ʮΨεʯʮଟ߲ʯͳͲɺ 13.-ʹग़ͯ͘Δଟ͘ͷ͕ࢦܕʹؚ·ΕΔ ˠࣜ Ͱఆٛ͢͜͠ͱ͕Ͱ͖Δ w ˞YεΧϥʔͰϕΫτϧͰྑ͍ w ˞YࢄͰ࿈ଓͰྑ͍
ࢦܕ Q ! w Yʹؔ͢Δؔ w TDBMJOHDPOTUBOUͱݺΕ .-B11ΑΓ ɺ ʮʯ͕ೖΔ͜ͱ͋Δ
ϕϧψʔΠɺΨϯϚ h ( x )
ࢦܕ Q ! w Бʹؔ͢Δؔ w ֬ີؔͷੵ͕ʹͳΔΑ͏ʹ ਖ਼نԽ͢ΔͨΊͷͷ g(⌘)
g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1 Z ( ⌘ ) = 1 g ( ⌘ ) = Z h (x) exp ⌘T u (x) d x
ϕϧψʔΠࢦܕ͔ʁ ! w ແཧΓFYQͷதʹೖΕͯΈΔ ! ! ! w БΛࣜ
ͷΑ͏ʹఆٛ͢Δ Bern ( x | µ ) = µx(1 µ )1 x Bern(x | µ) = exp { ln µx (1 µ) 1 x} = exp { x ln µ + (1 x) ln 1 µ } = exp { x(ln µ ln 1 µ) + ln 1 µ } = (1 µ) exp { ln( µ 1 µ )x } ⌘ = ln( µ 1 µ )
ϕϧψʔΠࢦܕ͔ʁ ! w ࠷ऴతʹɺ ! w ͱͳΓɺࣜ ͱରԠͨ͠ Bern
( x | µ ) = µx(1 µ )1 x
ࢀߟɿࢦܕʹؚ·Εͳ͍ͷ w ࠞ߹ਖ਼ن FYQͷʹͳͬͯ͠·͍ɺࣜ ʹͳΒͳ͍
࠷ਪఆ w ࢦܕͷҰൠܗͷࣜ ͔Βɺ ࠷ਪఆྔБΛٻΊΔ w ಠཱʹಉʹै͏σʔλू߹9ʹ͍ͭͯߟ͑Δͱɺ ͜ͷؔ !
w ରؔ
࠷ਪఆ w ରؔͷ Бʹؔͯ͠ͷ ޯ͕ͱͳΔΛݟͭ ͚͍ͨ
࠷ਪఆ w ݪଇͱͯ͠ɺࣜ Λղ͘ͱБಘΒΕΔ ! ! w ·ͨɺ࠷ਪఆʹґଘ͢Δ े౷ܭྔ
w ݴ͍͑Δͱɺ࠷ਪఆΛٻΊΔͨΊʹɺ ɹɹɹͷ૯ ·ͨฏۉ ͷΈ͕͋ΕΑ͍
࠷ਪఆͱਅͷύϥϝʔλ w Бͷ࠷ਪఆࣜ Λղ͘ͱಘΒΕΔ ! ! w ͷఆٛʹجͮ͘ͱɺ !
! w ͭ·Γɺ/ˠ㱣ͷۃݶͰɺ࠷ਪఆʹਅͷ g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1
ڞࣄલ w ࢦܕͷҙͷʹ͍ͭͯɺ ࣍ͷܗͰॻ͚Δڞࣄલ͕ଘࡏ͢Δ ! w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ
Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ࣄલͷύϥϝʔλΛɺ Ծ؍ଌͱͯ͠ղऍ͢Δ͜ͱͰ͖Δ ! ! ! ! w DGQɹೋ߲ͷڞࣄલʮϕʔλʯͷ
ɹɹɹɹɹύϥϝʔλΛɺԾͷ؍ଌͱͯ͠ղऍͨ͠ Ծͷ؍ଌ /ʹ૬ Ծͷ؍ଌ V Y ʹ૬
ແใࣄલ w ࣄલΛஔ͖͍͕ͨɺ ύϥϝʔλ ʹ͍ͭͯͷ ͕ࣝͳ͍ͱ͖ w Ұ༷Λஔ͚ྑ͍ʁ ! w
Е͕࿈ଓ͔ͭൣғ͕ܾ·ͬͯͳ͍ͱ͖ɺ Еʹ͍ͭͯͷੵ͕ൃࢄͯ͠͠·͍ɺਖ਼نԽͰ͖ͳ͍ ˠมଇࣄલ
ແใࣄલ w ࣍ͷΑ͏ͳฏߦҠಈෆมੑΛ࣋ͬͨΛߟ͑Δ ྫɿਖ਼ن w ˞ฏߦҠಈෆมੑ w YΛఆҠಈͯ͠ɺҐஔύϥϝʔλЖΛಉ͚ͩ͡Ҡಈ͢Εɺ ֬ີͷܗมΘΒͳ͍
ͷͱ͖ ͱ͢Δͱɺ
ແใࣄલ w ฏߦҠಈෆมੑΛ࣋ͭࣄલʹ͍ͭͯߟ͑Δͱɺ ੵ͕۠ؒฏߦҠಈͯ͠ɺͦͷ֬มΘΒͳ͍ ! ! w Αͬͯɺࣜ ΑΓఆͱͳΔ
ແใࣄલ w ΨεͷЖͷ߹ɺ М@?ˠ㱣ͷۃݶͰແใࣄલͱͳΔ ! ! ! w ࣄޙʹɺࣄલͷύϥϝʔλ͕Өڹ͠ͳ͘ͳΔ
ϊϯύϥϝτϦοΫ๏ w ύϥϝτϦοΫ w ີؔ Ϟσϧ ΛબΜͰɺύϥϝʔλΛσʔλ͔Βਪఆ͢Δ ˠϞσϧ͕σʔλΛද͢ͷʹශऑͩͱɺ༧ଌਫ਼ѱ͍ w ྫ
ΨεΛσʔλʹͯΊͯɺЖɾМ?Λਪఆͨ͠ ˠσʔλ͕ଟๆੑͩͱɺΨεͰଊ͑ΒΕͳ͍ w ϊϯύϥϝτϦοΫ w ͷܗঢ়ʹஔ͘Ծఆ͕গͳ͍ w ྫ ଟๆੑͩͱ͔୯ๆੑͳͲͷԾఆஔ͔ͳ͍
ώετάϥϜີਪఆ๏ w ਅͷ֬ີؔ ઢ ͔Β ੜ͞ΕͨͷσʔλΑΓ ਪఆ ੨ώετάϥϜ ͨ͠ͷ w
YΛ෯϶ͷ۠ؒʹ۠Γɺ ͦͷ۠ؒʹೖͬͨYͷ؍ଌΛ Χϯτ͢Δɻ ͜ΕΛɺࣜ Ͱਖ਼نԽͨ͠ͷ
ώετάϥϜີਪఆ๏ w ࣍ݩɾ̎࣍ݩఔͷ؆୯ͳՄࢹԽʹཱͭɺ ؆ศͳํ๏ w ͜ͷΞϓϩʔν͔Βɺ࣍ͷ͕̎ͭΘ͔Δ w ͋Δͷ֬ີΛਪఆ͢Δʹɺۙͷ؍ଌͷΛߟྀ͢Δ ඞཁ͕͋Δ w
۠ؒͷ෯େ͖͗ͯ͢ খ͍͚͗ͯ͢͞ͳ͍ w খɿσʔλʹӨڹ͗͢͠Δ w େɿݩͷΛશ͘࠶ݱͰ͖ͳ͍ w ˠϞσϧͷෳࡶ͞ͷબʹࣅ͍ͯΔ
ώετάϥϜີਪఆ๏ͷ w ਪఆͨ͠ີ͕ෆ࿈ଓͰ͋Δ ۠ؒͱ۠ؒͷؒ w ࣍ݩͷढ͍ w Yͷ࣍ݩΛ%ͱ͢Δͱɺ۠ؒͷ૯.?%ݸ
Χʔωϧີਪఆ๏ w ະͷ֬ີQ Y ͔ΒಘΒΕͨ؍ଌू߹Λͬͯɺ Q Y ͷΛਪఆ͍ͨ͠ w YΛؚΉখ͞ͳྖҬ3ͷ֬Λ1ͱ͢Δ
! w /ݸͷ؍ଌ͕ಘΒΕͨͱͯ͠ɺ,ݸͷ؍ଌ͕ 3ʹؚ·ΕΔ֬ɺೋ߲ʹै͏ P = Z R p( x )d x p(K|N, P) = Bin(K|N, P)
Χʔωϧີਪఆ๏ w ೋ߲ͷظɾࢄΑΓɺ࣍ͷ͕ؔࣜಘΒΕΔ w /͕େ͖͍ͱ͖ɺࢄখ͘͞ͳΓɺظͷ͔ؔΒ w ·ͨɺ3͕খ͘͞ɺQ Y
͕3ͰҰఆͩͱۙࣅ͢Δͱ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ var K N = P(1 P) N E K N = P K ' NP P ' p( x )V p( x ) = K NV
Χʔωϧີਪఆ๏ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ ! w ֬ີQ Y Λਪఆ͢ΔͨΊʹɺ,ͱ7Λਪఆ͢Δ w ,ΛݻఆͰ7Λਪఆ
ˠ,ۙີਪఆ๏ w 7ΛݻఆͰ,Λਪఆ ˠΧʔωϧີਪఆ๏ p( x ) = K NV
Χʔωϧີਪఆ๏ w 7Λݻఆ͠ɺ,Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w Ұล͕IͰɺYΛத৺ͱ͢Δখ͞ͳཱํମͷ தʹ͋Δͷ૯
! w ҰลIͷཱํମͳͷͰɺ7I?%ͱͳΓɺ K = K X n=1 k ✓ x xn h ◆ p( x ) = 1 N K X n=1 1 hD k ✓ x xn h ◆
Χʔωϧີਪఆ๏ w খ͞ͳཱํମͷҰลIͷେ͖͕͞ ฏԽͷͨΊͷύϥϝʔλʹͳ͍ͬͯΔ w I͕ݻఆʹͳͬͯ͠·͏ ˠσʔλີ͕ߴ͍ྖҬͱ͍ྖҬͰɺෆ߹͕͋Δ
,ۙີਪఆ๏ w ,Λݻఆ͠ɺ7Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w YΛத৺ͱͯ͠ɺ͕,ݸؚ·ΕΔΑ͏ͳٿΛ୳͢ͱ 7Ұҙʹఆ·Γɺ֬ີਪఆ͞ΕΔ
ਤXXXPDXUJUFDIBDKQJOEFYQIQ NPEVMF(FOFSBMBDUJPO%PXO-PBEpMF QEGUZQFDBMΑΓ p( x ) = K NV
,ۙີਪఆ๏ w ,͕ฏԽύϥϝʔλʔͱͳ͍ͬͯΔ
·ͱΊΔͱʜ w Χʔωϧີਪఆ๏ w ྖҬͷମੵΛݻఆ͢Δ w Ұลͷ͕͞Iͳཱํମʹɺ؍ଌYO͕Կݸ͋Δ͔ΛٻΊͨ w I͕ฏԽύϥϝʔλʔ w
,ۙ๏ w ྖҬͷɺ؍ଌYOͷݸΛݻఆ͢Δ w ؍ଌYO͕LݸʹͳΔΑ͏ʹɺྖҬΛ͛ͨ w L͕ฏԽύϥϝʔλʔ
,ۙ๏ΛͬͨΫϥεྨ w ,ۙ๏ͱ."1ਪఆΛͬͯɺΫϥεྨΛߦ͏ w YͷΫϥε$@Lͷࣄޙ֬ΛٻΊ͍ͨ
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧΑΓɺ ! w ֬ີQ Y ɺઌ΄ͲٻΊͨͱ͓Γ ! w
ࣄલɺશͯͷ؍ଌͷ͏ͪΫϥεʹଐ͢Δ؍ଌ ! w ɺͦͷΫϥεʹଐ͢Δ؍ଌͰͷ֬ີΑΓɺ p(Ck | x ) = p( x |Ck)p(Ck) p( x ) p( x ) = K NV p(Ck) = Nk N p( x |Ck) = Kk NkV
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧʹೖ͢Δͱɺ ! w Αͬͯɺ,ۙͷ͏ͪɺΫϥε$@Lʹଐ͢ΔͷͰ ଟܾΛऔΕΑ͍ w ಛʹɺ,ͷͱ͖࠷ۙ๏ͱݺΕΔ p(Ck
| x ) = p( x |Ck)p(Ck) p( x ) = Kk K ˖ʹ͍ۙ̏ͭͷͰଟܾΛऔ͍ͬͯΔ ࠷ۙ๏Ͱɺ ࠷ۙ๏ͰɺΫϥεͷҟͳΔͷରͷ ਨೋઢʹͳ͍ͬͯΔ
w ͋ΔYͷ֬ີQ Y Λਪఆ͢Δʹ͋ͨͬͯɺ શͯͷσʔλΛอ࣋͢Δඞཁ͕͋Δ w σʔλ͕૿͑ΔͱɺۙΛ୳ࡧ͍͕ͯ࣌ؒ͘͠େʹ ͳΔ ˠ୳ࡧ͢ΔͨΊͷߏΛ࡞Δ
ຊདྷɺ࠷͍ۙΛશ୳ࡧ͢Δඞཁ͕͋Δ
͓ΘΓ