Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
Mitsuki Ogasahara
July 11, 2014
Science
0
210
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
株式会社サイバーエージェントのPRML輪読会で発表した内容です
Mitsuki Ogasahara
July 11, 2014
Tweet
Share
More Decks by Mitsuki Ogasahara
See All by Mitsuki Ogasahara
Utility-first な CSS-in-JS 〜Tailwind CSS と Chakra UI を添えて〜 / Utility-First CSS-in-JS
yamitzky
5
660
今から始める型安全 Python / Start Python Type Hints
yamitzky
12
4.2k
技術が好きで好きで好きでたまらないエンジニアが「取締役」になって思う、マネジメントキャリアパス / My Manager's Path
yamitzky
2
510
Python 3.9 時代の型安全な Pythonの極め方 / Mastering Type Safety in Python 3.9 Era
yamitzky
33
20k
なぜサーバーレスとDockerなのか 〜 インフラ運用を最小化するサービス開発 〜 / Why We Choose Serverless AND Docker
yamitzky
0
3k
サーバーレスを活用して少数精鋭で開発するニュースアプリ #devsumi
yamitzky
4
2.3k
ここが辛いよサーバーレス だが私は乗り越えた #builderscon
yamitzky
14
7.1k
会社の開発合宿で Electron-vueで Slackクライアント作ってみた
yamitzky
0
2.2k
GitLabのSlack連携を魔改造して作る開発を楽しくする仕組み
yamitzky
1
1.9k
Other Decks in Science
See All in Science
20220216_球体周りの流れ抗力係数2_blockMeshでベースメッシュ作成
kamakiri1225
0
180
My research talk for CCA promotion
dfm
1
540
AI最新論文読み会2022年5月11日
ailaboocu
0
290
AI最新論文読み会2021年11月
ecoopnet
0
210
計算量理論
hn410
0
360
事業会社における推薦システム開発事例 / recsys-in-wantedly-2022
yuya4
1
1.2k
Behind the Scenes—and Science—of the Earth Observatory
jscarto
0
190
Camtrap DP: A frictionless data exchange format for camera trapping data
peterdesmet
0
120
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
200
統計学実践ワークブック 第16章 重回帰分析 pp.125-127
axjack
0
140
CompilerGym CGO'22
chriscummins
0
220
離散微分形式による大規模流体音響解析
deepflow
0
160
Featured
See All Featured
Unsuck your backbone
ammeep
659
55k
A Tale of Four Properties
chriscoyier
149
21k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
655
120k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
119
28k
The Brand Is Dead. Long Live the Brand.
mthomps
46
2.7k
How to Ace a Technical Interview
jacobian
265
21k
WebSockets: Embracing the real-time Web
robhawkes
57
5.1k
Clear Off the Table
cherdarchuk
79
280k
In The Pink: A Labor of Love
frogandcode
131
21k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
498
130k
Building Adaptive Systems
keathley
25
1.1k
From Idea to $5000 a Month in 5 Months
shpigford
373
44k
Transcript
ʮύλʔϯೝࣝͱػցֶशʯ ྠಡษڧձ ʙࢦܕɾϊϯύϥϝτϦοΫ๏ʙ
ࣗݾհ w ໊લ w খּݪޫو .JUTVLJ0("4")"3" w ೖࣾ w
w ॴଐ w ג $ZCFS;։ൃΤϯδχΞ w ֶੜ࣌ͷݚڀ w ࣗવݴޠॲཧɾػցֶश
࣍ w ࢦܕ w ࠷ਪఆͱे౷ܭྔ w ڞࣄલ w ແใࣄલ w
ϊϯύϥϝτϦοΫ๏ w Χʔωϧີਪఆ๏ w ࠷ۙ๏
ࢦܕ Q w ࣜ Ͱఆٛ͞ΕΔͷ ू߹ ! w
ʮΨεʯʮଟ߲ʯͳͲɺ 13.-ʹग़ͯ͘Δଟ͘ͷ͕ࢦܕʹؚ·ΕΔ ˠࣜ Ͱఆٛ͢͜͠ͱ͕Ͱ͖Δ w ˞YεΧϥʔͰϕΫτϧͰྑ͍ w ˞YࢄͰ࿈ଓͰྑ͍
ࢦܕ Q ! w Yʹؔ͢Δؔ w TDBMJOHDPOTUBOUͱݺΕ .-B11ΑΓ ɺ ʮʯ͕ೖΔ͜ͱ͋Δ
ϕϧψʔΠɺΨϯϚ h ( x )
ࢦܕ Q ! w Бʹؔ͢Δؔ w ֬ີؔͷੵ͕ʹͳΔΑ͏ʹ ਖ਼نԽ͢ΔͨΊͷͷ g(⌘)
g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1 Z ( ⌘ ) = 1 g ( ⌘ ) = Z h (x) exp ⌘T u (x) d x
ϕϧψʔΠࢦܕ͔ʁ ! w ແཧΓFYQͷதʹೖΕͯΈΔ ! ! ! w БΛࣜ
ͷΑ͏ʹఆٛ͢Δ Bern ( x | µ ) = µx(1 µ )1 x Bern(x | µ) = exp { ln µx (1 µ) 1 x} = exp { x ln µ + (1 x) ln 1 µ } = exp { x(ln µ ln 1 µ) + ln 1 µ } = (1 µ) exp { ln( µ 1 µ )x } ⌘ = ln( µ 1 µ )
ϕϧψʔΠࢦܕ͔ʁ ! w ࠷ऴతʹɺ ! w ͱͳΓɺࣜ ͱରԠͨ͠ Bern
( x | µ ) = µx(1 µ )1 x
ࢀߟɿࢦܕʹؚ·Εͳ͍ͷ w ࠞ߹ਖ਼ن FYQͷʹͳͬͯ͠·͍ɺࣜ ʹͳΒͳ͍
࠷ਪఆ w ࢦܕͷҰൠܗͷࣜ ͔Βɺ ࠷ਪఆྔБΛٻΊΔ w ಠཱʹಉʹै͏σʔλू߹9ʹ͍ͭͯߟ͑Δͱɺ ͜ͷؔ !
w ରؔ
࠷ਪఆ w ରؔͷ Бʹؔͯ͠ͷ ޯ͕ͱͳΔΛݟͭ ͚͍ͨ
࠷ਪఆ w ݪଇͱͯ͠ɺࣜ Λղ͘ͱБಘΒΕΔ ! ! w ·ͨɺ࠷ਪఆʹґଘ͢Δ े౷ܭྔ
w ݴ͍͑Δͱɺ࠷ਪఆΛٻΊΔͨΊʹɺ ɹɹɹͷ૯ ·ͨฏۉ ͷΈ͕͋ΕΑ͍
࠷ਪఆͱਅͷύϥϝʔλ w Бͷ࠷ਪఆࣜ Λղ͘ͱಘΒΕΔ ! ! w ͷఆٛʹجͮ͘ͱɺ !
! w ͭ·Γɺ/ˠ㱣ͷۃݶͰɺ࠷ਪఆʹਅͷ g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1
ڞࣄલ w ࢦܕͷҙͷʹ͍ͭͯɺ ࣍ͷܗͰॻ͚Δڞࣄલ͕ଘࡏ͢Δ ! w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ
Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ࣄલͷύϥϝʔλΛɺ Ծ؍ଌͱͯ͠ղऍ͢Δ͜ͱͰ͖Δ ! ! ! ! w DGQɹೋ߲ͷڞࣄલʮϕʔλʯͷ
ɹɹɹɹɹύϥϝʔλΛɺԾͷ؍ଌͱͯ͠ղऍͨ͠ Ծͷ؍ଌ /ʹ૬ Ծͷ؍ଌ V Y ʹ૬
ແใࣄલ w ࣄલΛஔ͖͍͕ͨɺ ύϥϝʔλ ʹ͍ͭͯͷ ͕ࣝͳ͍ͱ͖ w Ұ༷Λஔ͚ྑ͍ʁ ! w
Е͕࿈ଓ͔ͭൣғ͕ܾ·ͬͯͳ͍ͱ͖ɺ Еʹ͍ͭͯͷੵ͕ൃࢄͯ͠͠·͍ɺਖ਼نԽͰ͖ͳ͍ ˠมଇࣄલ
ແใࣄલ w ࣍ͷΑ͏ͳฏߦҠಈෆมੑΛ࣋ͬͨΛߟ͑Δ ྫɿਖ਼ن w ˞ฏߦҠಈෆมੑ w YΛఆҠಈͯ͠ɺҐஔύϥϝʔλЖΛಉ͚ͩ͡Ҡಈ͢Εɺ ֬ີͷܗมΘΒͳ͍
ͷͱ͖ ͱ͢Δͱɺ
ແใࣄલ w ฏߦҠಈෆมੑΛ࣋ͭࣄલʹ͍ͭͯߟ͑Δͱɺ ੵ͕۠ؒฏߦҠಈͯ͠ɺͦͷ֬มΘΒͳ͍ ! ! w Αͬͯɺࣜ ΑΓఆͱͳΔ
ແใࣄલ w ΨεͷЖͷ߹ɺ М@?ˠ㱣ͷۃݶͰແใࣄલͱͳΔ ! ! ! w ࣄޙʹɺࣄલͷύϥϝʔλ͕Өڹ͠ͳ͘ͳΔ
ϊϯύϥϝτϦοΫ๏ w ύϥϝτϦοΫ w ີؔ Ϟσϧ ΛબΜͰɺύϥϝʔλΛσʔλ͔Βਪఆ͢Δ ˠϞσϧ͕σʔλΛද͢ͷʹශऑͩͱɺ༧ଌਫ਼ѱ͍ w ྫ
ΨεΛσʔλʹͯΊͯɺЖɾМ?Λਪఆͨ͠ ˠσʔλ͕ଟๆੑͩͱɺΨεͰଊ͑ΒΕͳ͍ w ϊϯύϥϝτϦοΫ w ͷܗঢ়ʹஔ͘Ծఆ͕গͳ͍ w ྫ ଟๆੑͩͱ͔୯ๆੑͳͲͷԾఆஔ͔ͳ͍
ώετάϥϜີਪఆ๏ w ਅͷ֬ີؔ ઢ ͔Β ੜ͞ΕͨͷσʔλΑΓ ਪఆ ੨ώετάϥϜ ͨ͠ͷ w
YΛ෯϶ͷ۠ؒʹ۠Γɺ ͦͷ۠ؒʹೖͬͨYͷ؍ଌΛ Χϯτ͢Δɻ ͜ΕΛɺࣜ Ͱਖ਼نԽͨ͠ͷ
ώετάϥϜີਪఆ๏ w ࣍ݩɾ̎࣍ݩఔͷ؆୯ͳՄࢹԽʹཱͭɺ ؆ศͳํ๏ w ͜ͷΞϓϩʔν͔Βɺ࣍ͷ͕̎ͭΘ͔Δ w ͋Δͷ֬ີΛਪఆ͢Δʹɺۙͷ؍ଌͷΛߟྀ͢Δ ඞཁ͕͋Δ w
۠ؒͷ෯େ͖͗ͯ͢ খ͍͚͗ͯ͢͞ͳ͍ w খɿσʔλʹӨڹ͗͢͠Δ w େɿݩͷΛશ͘࠶ݱͰ͖ͳ͍ w ˠϞσϧͷෳࡶ͞ͷબʹࣅ͍ͯΔ
ώετάϥϜີਪఆ๏ͷ w ਪఆͨ͠ີ͕ෆ࿈ଓͰ͋Δ ۠ؒͱ۠ؒͷؒ w ࣍ݩͷढ͍ w Yͷ࣍ݩΛ%ͱ͢Δͱɺ۠ؒͷ૯.?%ݸ
Χʔωϧີਪఆ๏ w ະͷ֬ີQ Y ͔ΒಘΒΕͨ؍ଌू߹Λͬͯɺ Q Y ͷΛਪఆ͍ͨ͠ w YΛؚΉখ͞ͳྖҬ3ͷ֬Λ1ͱ͢Δ
! w /ݸͷ؍ଌ͕ಘΒΕͨͱͯ͠ɺ,ݸͷ؍ଌ͕ 3ʹؚ·ΕΔ֬ɺೋ߲ʹै͏ P = Z R p( x )d x p(K|N, P) = Bin(K|N, P)
Χʔωϧີਪఆ๏ w ೋ߲ͷظɾࢄΑΓɺ࣍ͷ͕ؔࣜಘΒΕΔ w /͕େ͖͍ͱ͖ɺࢄখ͘͞ͳΓɺظͷ͔ؔΒ w ·ͨɺ3͕খ͘͞ɺQ Y
͕3ͰҰఆͩͱۙࣅ͢Δͱ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ var K N = P(1 P) N E K N = P K ' NP P ' p( x )V p( x ) = K NV
Χʔωϧີਪఆ๏ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ ! w ֬ີQ Y Λਪఆ͢ΔͨΊʹɺ,ͱ7Λਪఆ͢Δ w ,ΛݻఆͰ7Λਪఆ
ˠ,ۙີਪఆ๏ w 7ΛݻఆͰ,Λਪఆ ˠΧʔωϧີਪఆ๏ p( x ) = K NV
Χʔωϧີਪఆ๏ w 7Λݻఆ͠ɺ,Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w Ұล͕IͰɺYΛத৺ͱ͢Δখ͞ͳཱํମͷ தʹ͋Δͷ૯
! w ҰลIͷཱํମͳͷͰɺ7I?%ͱͳΓɺ K = K X n=1 k ✓ x xn h ◆ p( x ) = 1 N K X n=1 1 hD k ✓ x xn h ◆
Χʔωϧີਪఆ๏ w খ͞ͳཱํମͷҰลIͷେ͖͕͞ ฏԽͷͨΊͷύϥϝʔλʹͳ͍ͬͯΔ w I͕ݻఆʹͳͬͯ͠·͏ ˠσʔλີ͕ߴ͍ྖҬͱ͍ྖҬͰɺෆ߹͕͋Δ
,ۙີਪఆ๏ w ,Λݻఆ͠ɺ7Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w YΛத৺ͱͯ͠ɺ͕,ݸؚ·ΕΔΑ͏ͳٿΛ୳͢ͱ 7Ұҙʹఆ·Γɺ֬ີਪఆ͞ΕΔ
ਤXXXPDXUJUFDIBDKQJOEFYQIQ NPEVMF(FOFSBMBDUJPO%PXO-PBEpMF QEGUZQFDBMΑΓ p( x ) = K NV
,ۙີਪఆ๏ w ,͕ฏԽύϥϝʔλʔͱͳ͍ͬͯΔ
·ͱΊΔͱʜ w Χʔωϧີਪఆ๏ w ྖҬͷମੵΛݻఆ͢Δ w Ұลͷ͕͞Iͳཱํମʹɺ؍ଌYO͕Կݸ͋Δ͔ΛٻΊͨ w I͕ฏԽύϥϝʔλʔ w
,ۙ๏ w ྖҬͷɺ؍ଌYOͷݸΛݻఆ͢Δ w ؍ଌYO͕LݸʹͳΔΑ͏ʹɺྖҬΛ͛ͨ w L͕ฏԽύϥϝʔλʔ
,ۙ๏ΛͬͨΫϥεྨ w ,ۙ๏ͱ."1ਪఆΛͬͯɺΫϥεྨΛߦ͏ w YͷΫϥε$@Lͷࣄޙ֬ΛٻΊ͍ͨ
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧΑΓɺ ! w ֬ີQ Y ɺઌ΄ͲٻΊͨͱ͓Γ ! w
ࣄલɺશͯͷ؍ଌͷ͏ͪΫϥεʹଐ͢Δ؍ଌ ! w ɺͦͷΫϥεʹଐ͢Δ؍ଌͰͷ֬ີΑΓɺ p(Ck | x ) = p( x |Ck)p(Ck) p( x ) p( x ) = K NV p(Ck) = Nk N p( x |Ck) = Kk NkV
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧʹೖ͢Δͱɺ ! w Αͬͯɺ,ۙͷ͏ͪɺΫϥε$@Lʹଐ͢ΔͷͰ ଟܾΛऔΕΑ͍ w ಛʹɺ,ͷͱ͖࠷ۙ๏ͱݺΕΔ p(Ck
| x ) = p( x |Ck)p(Ck) p( x ) = Kk K ˖ʹ͍ۙ̏ͭͷͰଟܾΛऔ͍ͬͯΔ ࠷ۙ๏Ͱɺ ࠷ۙ๏ͰɺΫϥεͷҟͳΔͷରͷ ਨೋઢʹͳ͍ͬͯΔ
w ͋ΔYͷ֬ີQ Y Λਪఆ͢Δʹ͋ͨͬͯɺ શͯͷσʔλΛอ࣋͢Δඞཁ͕͋Δ w σʔλ͕૿͑ΔͱɺۙΛ୳ࡧ͍͕ͯ࣌ؒ͘͠େʹ ͳΔ ˠ୳ࡧ͢ΔͨΊͷߏΛ࡞Δ
ຊདྷɺ࠷͍ۙΛશ୳ࡧ͢Δඞཁ͕͋Δ
͓ΘΓ