Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
Search
Mitsuki Ogasahara
July 11, 2014
Science
0
330
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
株式会社サイバーエージェントのPRML輪読会で発表した内容です
Mitsuki Ogasahara
July 11, 2014
Tweet
Share
More Decks by Mitsuki Ogasahara
See All by Mitsuki Ogasahara
Utility-first な CSS-in-JS 〜Tailwind CSS と Chakra UI を添えて〜 / Utility-First CSS-in-JS
yamitzky
5
1.2k
今から始める型安全 Python / Start Python Type Hints
yamitzky
13
4.6k
技術が好きで好きで好きでたまらないエンジニアが「取締役」になって思う、マネジメントキャリアパス / My Manager's Path
yamitzky
2
910
Python 3.9 時代の型安全な Pythonの極め方 / Mastering Type Safety in Python 3.9 Era
yamitzky
35
28k
なぜサーバーレスとDockerなのか 〜 インフラ運用を最小化するサービス開発 〜 / Why We Choose Serverless AND Docker
yamitzky
0
3.8k
サーバーレスを活用して少数精鋭で開発するニュースアプリ #devsumi
yamitzky
4
2.7k
ここが辛いよサーバーレス だが私は乗り越えた #builderscon
yamitzky
14
7.6k
会社の開発合宿で Electron-vueで Slackクライアント作ってみた
yamitzky
0
2.5k
GitLabのSlack連携を魔改造して作る開発を楽しくする仕組み
yamitzky
1
2.4k
Other Decks in Science
See All in Science
LIMEを用いた判断根拠の可視化
kentaitakura
0
170
山形とさくらんぼに関するレクチャー(YG-900)
07jp27
1
160
プロダクト開発を通して学んだナレッジマネジメントの哲学
sonod
0
110
事業会社における 機械学習・推薦システム技術の活用事例と必要な能力 / ml-recsys-in-layerx-wantedly-2024
yuya4
3
110
【健康&筋肉と生産性向上の関連性】 【Google Cloudを企業で運用する際の知識】 をお届け
yasumuusan
0
200
AI科学の何が“哲学”の問題になるのか ~問いマッピングの試み~
rmaruy
1
1.9k
Xpenologyなるアングラプロジェクト周りについて語るやつ
sushi514
0
880
様々な侵入者タイプに対応した適切な警備計画の策定 / Patrol route design considering various types of intrudes
konakalab
0
120
Machine Learning for Materials (Lecture 4)
aronwalsh
0
730
Science of Scienceおよび科学計量学に関する研究論文の俯瞰可視化_LT版
hayataka88
0
710
20231211ベクトル解析の計算
kamakiri1225
0
150
Endocannabinology 101
drbonci
PRO
0
300
Featured
See All Featured
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
35
6.3k
The MySQL Ecosystem @ GitHub 2015
samlambert
248
12k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.8k
GraphQLとの向き合い方2022年版
quramy
36
13k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
Designing Experiences People Love
moore
136
23k
Being A Developer After 40
akosma
72
580k
Optimizing for Happiness
mojombo
373
69k
Unsuck your backbone
ammeep
666
57k
What the flash - Photography Introduction
edds
65
11k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
36
9.1k
Making the Leap to Tech Lead
cromwellryan
127
8.7k
Transcript
ʮύλʔϯೝࣝͱػցֶशʯ ྠಡษڧձ ʙࢦܕɾϊϯύϥϝτϦοΫ๏ʙ
ࣗݾհ w ໊લ w খּݪޫو .JUTVLJ0("4")"3" w ೖࣾ w
w ॴଐ w ג $ZCFS;։ൃΤϯδχΞ w ֶੜ࣌ͷݚڀ w ࣗવݴޠॲཧɾػցֶश
࣍ w ࢦܕ w ࠷ਪఆͱे౷ܭྔ w ڞࣄલ w ແใࣄલ w
ϊϯύϥϝτϦοΫ๏ w Χʔωϧີਪఆ๏ w ࠷ۙ๏
ࢦܕ Q w ࣜ Ͱఆٛ͞ΕΔͷ ू߹ ! w
ʮΨεʯʮଟ߲ʯͳͲɺ 13.-ʹग़ͯ͘Δଟ͘ͷ͕ࢦܕʹؚ·ΕΔ ˠࣜ Ͱఆٛ͢͜͠ͱ͕Ͱ͖Δ w ˞YεΧϥʔͰϕΫτϧͰྑ͍ w ˞YࢄͰ࿈ଓͰྑ͍
ࢦܕ Q ! w Yʹؔ͢Δؔ w TDBMJOHDPOTUBOUͱݺΕ .-B11ΑΓ ɺ ʮʯ͕ೖΔ͜ͱ͋Δ
ϕϧψʔΠɺΨϯϚ h ( x )
ࢦܕ Q ! w Бʹؔ͢Δؔ w ֬ີؔͷੵ͕ʹͳΔΑ͏ʹ ਖ਼نԽ͢ΔͨΊͷͷ g(⌘)
g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1 Z ( ⌘ ) = 1 g ( ⌘ ) = Z h (x) exp ⌘T u (x) d x
ϕϧψʔΠࢦܕ͔ʁ ! w ແཧΓFYQͷதʹೖΕͯΈΔ ! ! ! w БΛࣜ
ͷΑ͏ʹఆٛ͢Δ Bern ( x | µ ) = µx(1 µ )1 x Bern(x | µ) = exp { ln µx (1 µ) 1 x} = exp { x ln µ + (1 x) ln 1 µ } = exp { x(ln µ ln 1 µ) + ln 1 µ } = (1 µ) exp { ln( µ 1 µ )x } ⌘ = ln( µ 1 µ )
ϕϧψʔΠࢦܕ͔ʁ ! w ࠷ऴతʹɺ ! w ͱͳΓɺࣜ ͱରԠͨ͠ Bern
( x | µ ) = µx(1 µ )1 x
ࢀߟɿࢦܕʹؚ·Εͳ͍ͷ w ࠞ߹ਖ਼ن FYQͷʹͳͬͯ͠·͍ɺࣜ ʹͳΒͳ͍
࠷ਪఆ w ࢦܕͷҰൠܗͷࣜ ͔Βɺ ࠷ਪఆྔБΛٻΊΔ w ಠཱʹಉʹै͏σʔλू߹9ʹ͍ͭͯߟ͑Δͱɺ ͜ͷؔ !
w ରؔ
࠷ਪఆ w ରؔͷ Бʹؔͯ͠ͷ ޯ͕ͱͳΔΛݟͭ ͚͍ͨ
࠷ਪఆ w ݪଇͱͯ͠ɺࣜ Λղ͘ͱБಘΒΕΔ ! ! w ·ͨɺ࠷ਪఆʹґଘ͢Δ े౷ܭྔ
w ݴ͍͑Δͱɺ࠷ਪఆΛٻΊΔͨΊʹɺ ɹɹɹͷ૯ ·ͨฏۉ ͷΈ͕͋ΕΑ͍
࠷ਪఆͱਅͷύϥϝʔλ w Бͷ࠷ਪఆࣜ Λղ͘ͱಘΒΕΔ ! ! w ͷఆٛʹجͮ͘ͱɺ !
! w ͭ·Γɺ/ˠ㱣ͷۃݶͰɺ࠷ਪఆʹਅͷ g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1
ڞࣄલ w ࢦܕͷҙͷʹ͍ͭͯɺ ࣍ͷܗͰॻ͚Δڞࣄલ͕ଘࡏ͢Δ ! w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ
Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ࣄલͷύϥϝʔλΛɺ Ծ؍ଌͱͯ͠ղऍ͢Δ͜ͱͰ͖Δ ! ! ! ! w DGQɹೋ߲ͷڞࣄલʮϕʔλʯͷ
ɹɹɹɹɹύϥϝʔλΛɺԾͷ؍ଌͱͯ͠ղऍͨ͠ Ծͷ؍ଌ /ʹ૬ Ծͷ؍ଌ V Y ʹ૬
ແใࣄલ w ࣄલΛஔ͖͍͕ͨɺ ύϥϝʔλ ʹ͍ͭͯͷ ͕ࣝͳ͍ͱ͖ w Ұ༷Λஔ͚ྑ͍ʁ ! w
Е͕࿈ଓ͔ͭൣғ͕ܾ·ͬͯͳ͍ͱ͖ɺ Еʹ͍ͭͯͷੵ͕ൃࢄͯ͠͠·͍ɺਖ਼نԽͰ͖ͳ͍ ˠมଇࣄલ
ແใࣄલ w ࣍ͷΑ͏ͳฏߦҠಈෆมੑΛ࣋ͬͨΛߟ͑Δ ྫɿਖ਼ن w ˞ฏߦҠಈෆมੑ w YΛఆҠಈͯ͠ɺҐஔύϥϝʔλЖΛಉ͚ͩ͡Ҡಈ͢Εɺ ֬ີͷܗมΘΒͳ͍
ͷͱ͖ ͱ͢Δͱɺ
ແใࣄલ w ฏߦҠಈෆมੑΛ࣋ͭࣄલʹ͍ͭͯߟ͑Δͱɺ ੵ͕۠ؒฏߦҠಈͯ͠ɺͦͷ֬มΘΒͳ͍ ! ! w Αͬͯɺࣜ ΑΓఆͱͳΔ
ແใࣄલ w ΨεͷЖͷ߹ɺ М@?ˠ㱣ͷۃݶͰແใࣄલͱͳΔ ! ! ! w ࣄޙʹɺࣄલͷύϥϝʔλ͕Өڹ͠ͳ͘ͳΔ
ϊϯύϥϝτϦοΫ๏ w ύϥϝτϦοΫ w ີؔ Ϟσϧ ΛબΜͰɺύϥϝʔλΛσʔλ͔Βਪఆ͢Δ ˠϞσϧ͕σʔλΛද͢ͷʹශऑͩͱɺ༧ଌਫ਼ѱ͍ w ྫ
ΨεΛσʔλʹͯΊͯɺЖɾМ?Λਪఆͨ͠ ˠσʔλ͕ଟๆੑͩͱɺΨεͰଊ͑ΒΕͳ͍ w ϊϯύϥϝτϦοΫ w ͷܗঢ়ʹஔ͘Ծఆ͕গͳ͍ w ྫ ଟๆੑͩͱ͔୯ๆੑͳͲͷԾఆஔ͔ͳ͍
ώετάϥϜີਪఆ๏ w ਅͷ֬ີؔ ઢ ͔Β ੜ͞ΕͨͷσʔλΑΓ ਪఆ ੨ώετάϥϜ ͨ͠ͷ w
YΛ෯϶ͷ۠ؒʹ۠Γɺ ͦͷ۠ؒʹೖͬͨYͷ؍ଌΛ Χϯτ͢Δɻ ͜ΕΛɺࣜ Ͱਖ਼نԽͨ͠ͷ
ώετάϥϜີਪఆ๏ w ࣍ݩɾ̎࣍ݩఔͷ؆୯ͳՄࢹԽʹཱͭɺ ؆ศͳํ๏ w ͜ͷΞϓϩʔν͔Βɺ࣍ͷ͕̎ͭΘ͔Δ w ͋Δͷ֬ີΛਪఆ͢Δʹɺۙͷ؍ଌͷΛߟྀ͢Δ ඞཁ͕͋Δ w
۠ؒͷ෯େ͖͗ͯ͢ খ͍͚͗ͯ͢͞ͳ͍ w খɿσʔλʹӨڹ͗͢͠Δ w େɿݩͷΛશ͘࠶ݱͰ͖ͳ͍ w ˠϞσϧͷෳࡶ͞ͷબʹࣅ͍ͯΔ
ώετάϥϜີਪఆ๏ͷ w ਪఆͨ͠ີ͕ෆ࿈ଓͰ͋Δ ۠ؒͱ۠ؒͷؒ w ࣍ݩͷढ͍ w Yͷ࣍ݩΛ%ͱ͢Δͱɺ۠ؒͷ૯.?%ݸ
Χʔωϧີਪఆ๏ w ະͷ֬ີQ Y ͔ΒಘΒΕͨ؍ଌू߹Λͬͯɺ Q Y ͷΛਪఆ͍ͨ͠ w YΛؚΉখ͞ͳྖҬ3ͷ֬Λ1ͱ͢Δ
! w /ݸͷ؍ଌ͕ಘΒΕͨͱͯ͠ɺ,ݸͷ؍ଌ͕ 3ʹؚ·ΕΔ֬ɺೋ߲ʹै͏ P = Z R p( x )d x p(K|N, P) = Bin(K|N, P)
Χʔωϧີਪఆ๏ w ೋ߲ͷظɾࢄΑΓɺ࣍ͷ͕ؔࣜಘΒΕΔ w /͕େ͖͍ͱ͖ɺࢄখ͘͞ͳΓɺظͷ͔ؔΒ w ·ͨɺ3͕খ͘͞ɺQ Y
͕3ͰҰఆͩͱۙࣅ͢Δͱ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ var K N = P(1 P) N E K N = P K ' NP P ' p( x )V p( x ) = K NV
Χʔωϧີਪఆ๏ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ ! w ֬ີQ Y Λਪఆ͢ΔͨΊʹɺ,ͱ7Λਪఆ͢Δ w ,ΛݻఆͰ7Λਪఆ
ˠ,ۙີਪఆ๏ w 7ΛݻఆͰ,Λਪఆ ˠΧʔωϧີਪఆ๏ p( x ) = K NV
Χʔωϧີਪఆ๏ w 7Λݻఆ͠ɺ,Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w Ұล͕IͰɺYΛத৺ͱ͢Δখ͞ͳཱํମͷ தʹ͋Δͷ૯
! w ҰลIͷཱํମͳͷͰɺ7I?%ͱͳΓɺ K = K X n=1 k ✓ x xn h ◆ p( x ) = 1 N K X n=1 1 hD k ✓ x xn h ◆
Χʔωϧີਪఆ๏ w খ͞ͳཱํମͷҰลIͷେ͖͕͞ ฏԽͷͨΊͷύϥϝʔλʹͳ͍ͬͯΔ w I͕ݻఆʹͳͬͯ͠·͏ ˠσʔλີ͕ߴ͍ྖҬͱ͍ྖҬͰɺෆ߹͕͋Δ
,ۙີਪఆ๏ w ,Λݻఆ͠ɺ7Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w YΛத৺ͱͯ͠ɺ͕,ݸؚ·ΕΔΑ͏ͳٿΛ୳͢ͱ 7Ұҙʹఆ·Γɺ֬ີਪఆ͞ΕΔ
ਤXXXPDXUJUFDIBDKQJOEFYQIQ NPEVMF(FOFSBMBDUJPO%PXO-PBEpMF QEGUZQFDBMΑΓ p( x ) = K NV
,ۙີਪఆ๏ w ,͕ฏԽύϥϝʔλʔͱͳ͍ͬͯΔ
·ͱΊΔͱʜ w Χʔωϧີਪఆ๏ w ྖҬͷମੵΛݻఆ͢Δ w Ұลͷ͕͞Iͳཱํମʹɺ؍ଌYO͕Կݸ͋Δ͔ΛٻΊͨ w I͕ฏԽύϥϝʔλʔ w
,ۙ๏ w ྖҬͷɺ؍ଌYOͷݸΛݻఆ͢Δ w ؍ଌYO͕LݸʹͳΔΑ͏ʹɺྖҬΛ͛ͨ w L͕ฏԽύϥϝʔλʔ
,ۙ๏ΛͬͨΫϥεྨ w ,ۙ๏ͱ."1ਪఆΛͬͯɺΫϥεྨΛߦ͏ w YͷΫϥε$@Lͷࣄޙ֬ΛٻΊ͍ͨ
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧΑΓɺ ! w ֬ີQ Y ɺઌ΄ͲٻΊͨͱ͓Γ ! w
ࣄલɺશͯͷ؍ଌͷ͏ͪΫϥεʹଐ͢Δ؍ଌ ! w ɺͦͷΫϥεʹଐ͢Δ؍ଌͰͷ֬ີΑΓɺ p(Ck | x ) = p( x |Ck)p(Ck) p( x ) p( x ) = K NV p(Ck) = Nk N p( x |Ck) = Kk NkV
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧʹೖ͢Δͱɺ ! w Αͬͯɺ,ۙͷ͏ͪɺΫϥε$@Lʹଐ͢ΔͷͰ ଟܾΛऔΕΑ͍ w ಛʹɺ,ͷͱ͖࠷ۙ๏ͱݺΕΔ p(Ck
| x ) = p( x |Ck)p(Ck) p( x ) = Kk K ˖ʹ͍ۙ̏ͭͷͰଟܾΛऔ͍ͬͯΔ ࠷ۙ๏Ͱɺ ࠷ۙ๏ͰɺΫϥεͷҟͳΔͷରͷ ਨೋઢʹͳ͍ͬͯΔ
w ͋ΔYͷ֬ີQ Y Λਪఆ͢Δʹ͋ͨͬͯɺ શͯͷσʔλΛอ࣋͢Δඞཁ͕͋Δ w σʔλ͕૿͑ΔͱɺۙΛ୳ࡧ͍͕ͯ࣌ؒ͘͠େʹ ͳΔ ˠ୳ࡧ͢ΔͨΊͷߏΛ࡞Δ
ຊདྷɺ࠷͍ۙΛશ୳ࡧ͢Δඞཁ͕͋Δ
͓ΘΓ