Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
Search
Mitsuki Ogasahara
July 11, 2014
Science
0
440
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
株式会社サイバーエージェントのPRML輪読会で発表した内容です
Mitsuki Ogasahara
July 11, 2014
Tweet
Share
More Decks by Mitsuki Ogasahara
See All by Mitsuki Ogasahara
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
1
570
コスト管理から向き合う技術的負債 / Accounting for Technical Debt Through Cost Management
yamitzky
0
41
Utility-first な CSS-in-JS 〜Tailwind CSS と Chakra UI を添えて〜 / Utility-First CSS-in-JS
yamitzky
5
1.5k
今から始める型安全 Python / Start Python Type Hints
yamitzky
13
4.8k
技術が好きで好きで好きでたまらないエンジニアが「取締役」になって思う、マネジメントキャリアパス / My Manager's Path
yamitzky
2
1.1k
Python 3.9 時代の型安全な Pythonの極め方 / Mastering Type Safety in Python 3.9 Era
yamitzky
35
30k
なぜサーバーレスとDockerなのか 〜 インフラ運用を最小化するサービス開発 〜 / Why We Choose Serverless AND Docker
yamitzky
0
4k
サーバーレスを活用して少数精鋭で開発するニュースアプリ #devsumi
yamitzky
4
2.9k
ここが辛いよサーバーレス だが私は乗り越えた #builderscon
yamitzky
14
7.9k
Other Decks in Science
See All in Science
2025-06-11-ai_belgium
sofievl
1
140
機械学習 - 決定木からはじめる機械学習
trycycle
PRO
0
1k
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
580
実力評価性能を考慮した弓道高校生全国大会の大会制度設計の提案 / (konakalab presentation at MSS 2025.03)
konakalab
2
190
IWASAKI Hideo
genomethica
0
130
CV_3_Keypoints
hachama
0
200
[Paper Introduction] From Bytes to Ideas:Language Modeling with Autoregressive U-Nets
haruumiomoto
0
120
機械学習 - 授業概要
trycycle
PRO
0
230
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
180
データベース06: SQL (3/3) 副問い合わせ
trycycle
PRO
1
620
地表面抽出の方法であるSMRFについて紹介
kentaitakura
1
840
機械学習 - ニューラルネットワーク入門
trycycle
PRO
0
840
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Side Projects
sachag
455
43k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Into the Great Unknown - MozCon
thekraken
40
2k
GitHub's CSS Performance
jonrohan
1031
460k
GraphQLとの向き合い方2022年版
quramy
49
14k
Writing Fast Ruby
sferik
628
62k
Typedesign – Prime Four
hannesfritz
42
2.8k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
KATA
mclloyd
32
14k
Transcript
ʮύλʔϯೝࣝͱػցֶशʯ ྠಡษڧձ ʙࢦܕɾϊϯύϥϝτϦοΫ๏ʙ
ࣗݾհ w ໊લ w খּݪޫو .JUTVLJ0("4")"3" w ೖࣾ w
w ॴଐ w ג $ZCFS;։ൃΤϯδχΞ w ֶੜ࣌ͷݚڀ w ࣗવݴޠॲཧɾػցֶश
࣍ w ࢦܕ w ࠷ਪఆͱे౷ܭྔ w ڞࣄલ w ແใࣄલ w
ϊϯύϥϝτϦοΫ๏ w Χʔωϧີਪఆ๏ w ࠷ۙ๏
ࢦܕ Q w ࣜ Ͱఆٛ͞ΕΔͷ ू߹ ! w
ʮΨεʯʮଟ߲ʯͳͲɺ 13.-ʹग़ͯ͘Δଟ͘ͷ͕ࢦܕʹؚ·ΕΔ ˠࣜ Ͱఆٛ͢͜͠ͱ͕Ͱ͖Δ w ˞YεΧϥʔͰϕΫτϧͰྑ͍ w ˞YࢄͰ࿈ଓͰྑ͍
ࢦܕ Q ! w Yʹؔ͢Δؔ w TDBMJOHDPOTUBOUͱݺΕ .-B11ΑΓ ɺ ʮʯ͕ೖΔ͜ͱ͋Δ
ϕϧψʔΠɺΨϯϚ h ( x )
ࢦܕ Q ! w Бʹؔ͢Δؔ w ֬ີؔͷੵ͕ʹͳΔΑ͏ʹ ਖ਼نԽ͢ΔͨΊͷͷ g(⌘)
g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1 Z ( ⌘ ) = 1 g ( ⌘ ) = Z h (x) exp ⌘T u (x) d x
ϕϧψʔΠࢦܕ͔ʁ ! w ແཧΓFYQͷதʹೖΕͯΈΔ ! ! ! w БΛࣜ
ͷΑ͏ʹఆٛ͢Δ Bern ( x | µ ) = µx(1 µ )1 x Bern(x | µ) = exp { ln µx (1 µ) 1 x} = exp { x ln µ + (1 x) ln 1 µ } = exp { x(ln µ ln 1 µ) + ln 1 µ } = (1 µ) exp { ln( µ 1 µ )x } ⌘ = ln( µ 1 µ )
ϕϧψʔΠࢦܕ͔ʁ ! w ࠷ऴతʹɺ ! w ͱͳΓɺࣜ ͱରԠͨ͠ Bern
( x | µ ) = µx(1 µ )1 x
ࢀߟɿࢦܕʹؚ·Εͳ͍ͷ w ࠞ߹ਖ਼ن FYQͷʹͳͬͯ͠·͍ɺࣜ ʹͳΒͳ͍
࠷ਪఆ w ࢦܕͷҰൠܗͷࣜ ͔Βɺ ࠷ਪఆྔБΛٻΊΔ w ಠཱʹಉʹै͏σʔλू߹9ʹ͍ͭͯߟ͑Δͱɺ ͜ͷؔ !
w ରؔ
࠷ਪఆ w ରؔͷ Бʹؔͯ͠ͷ ޯ͕ͱͳΔΛݟͭ ͚͍ͨ
࠷ਪఆ w ݪଇͱͯ͠ɺࣜ Λղ͘ͱБಘΒΕΔ ! ! w ·ͨɺ࠷ਪఆʹґଘ͢Δ े౷ܭྔ
w ݴ͍͑Δͱɺ࠷ਪఆΛٻΊΔͨΊʹɺ ɹɹɹͷ૯ ·ͨฏۉ ͷΈ͕͋ΕΑ͍
࠷ਪఆͱਅͷύϥϝʔλ w Бͷ࠷ਪఆࣜ Λղ͘ͱಘΒΕΔ ! ! w ͷఆٛʹجͮ͘ͱɺ !
! w ͭ·Γɺ/ˠ㱣ͷۃݶͰɺ࠷ਪఆʹਅͷ g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1
ڞࣄલ w ࢦܕͷҙͷʹ͍ͭͯɺ ࣍ͷܗͰॻ͚Δڞࣄલ͕ଘࡏ͢Δ ! w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ
Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ࣄલͷύϥϝʔλΛɺ Ծ؍ଌͱͯ͠ղऍ͢Δ͜ͱͰ͖Δ ! ! ! ! w DGQɹೋ߲ͷڞࣄલʮϕʔλʯͷ
ɹɹɹɹɹύϥϝʔλΛɺԾͷ؍ଌͱͯ͠ղऍͨ͠ Ծͷ؍ଌ /ʹ૬ Ծͷ؍ଌ V Y ʹ૬
ແใࣄલ w ࣄલΛஔ͖͍͕ͨɺ ύϥϝʔλ ʹ͍ͭͯͷ ͕ࣝͳ͍ͱ͖ w Ұ༷Λஔ͚ྑ͍ʁ ! w
Е͕࿈ଓ͔ͭൣғ͕ܾ·ͬͯͳ͍ͱ͖ɺ Еʹ͍ͭͯͷੵ͕ൃࢄͯ͠͠·͍ɺਖ਼نԽͰ͖ͳ͍ ˠมଇࣄલ
ແใࣄલ w ࣍ͷΑ͏ͳฏߦҠಈෆมੑΛ࣋ͬͨΛߟ͑Δ ྫɿਖ਼ن w ˞ฏߦҠಈෆมੑ w YΛఆҠಈͯ͠ɺҐஔύϥϝʔλЖΛಉ͚ͩ͡Ҡಈ͢Εɺ ֬ີͷܗมΘΒͳ͍
ͷͱ͖ ͱ͢Δͱɺ
ແใࣄલ w ฏߦҠಈෆมੑΛ࣋ͭࣄલʹ͍ͭͯߟ͑Δͱɺ ੵ͕۠ؒฏߦҠಈͯ͠ɺͦͷ֬มΘΒͳ͍ ! ! w Αͬͯɺࣜ ΑΓఆͱͳΔ
ແใࣄલ w ΨεͷЖͷ߹ɺ М@?ˠ㱣ͷۃݶͰແใࣄલͱͳΔ ! ! ! w ࣄޙʹɺࣄલͷύϥϝʔλ͕Өڹ͠ͳ͘ͳΔ
ϊϯύϥϝτϦοΫ๏ w ύϥϝτϦοΫ w ີؔ Ϟσϧ ΛબΜͰɺύϥϝʔλΛσʔλ͔Βਪఆ͢Δ ˠϞσϧ͕σʔλΛද͢ͷʹශऑͩͱɺ༧ଌਫ਼ѱ͍ w ྫ
ΨεΛσʔλʹͯΊͯɺЖɾМ?Λਪఆͨ͠ ˠσʔλ͕ଟๆੑͩͱɺΨεͰଊ͑ΒΕͳ͍ w ϊϯύϥϝτϦοΫ w ͷܗঢ়ʹஔ͘Ծఆ͕গͳ͍ w ྫ ଟๆੑͩͱ͔୯ๆੑͳͲͷԾఆஔ͔ͳ͍
ώετάϥϜີਪఆ๏ w ਅͷ֬ີؔ ઢ ͔Β ੜ͞ΕͨͷσʔλΑΓ ਪఆ ੨ώετάϥϜ ͨ͠ͷ w
YΛ෯϶ͷ۠ؒʹ۠Γɺ ͦͷ۠ؒʹೖͬͨYͷ؍ଌΛ Χϯτ͢Δɻ ͜ΕΛɺࣜ Ͱਖ਼نԽͨ͠ͷ
ώετάϥϜີਪఆ๏ w ࣍ݩɾ̎࣍ݩఔͷ؆୯ͳՄࢹԽʹཱͭɺ ؆ศͳํ๏ w ͜ͷΞϓϩʔν͔Βɺ࣍ͷ͕̎ͭΘ͔Δ w ͋Δͷ֬ີΛਪఆ͢Δʹɺۙͷ؍ଌͷΛߟྀ͢Δ ඞཁ͕͋Δ w
۠ؒͷ෯େ͖͗ͯ͢ খ͍͚͗ͯ͢͞ͳ͍ w খɿσʔλʹӨڹ͗͢͠Δ w େɿݩͷΛશ͘࠶ݱͰ͖ͳ͍ w ˠϞσϧͷෳࡶ͞ͷબʹࣅ͍ͯΔ
ώετάϥϜີਪఆ๏ͷ w ਪఆͨ͠ີ͕ෆ࿈ଓͰ͋Δ ۠ؒͱ۠ؒͷؒ w ࣍ݩͷढ͍ w Yͷ࣍ݩΛ%ͱ͢Δͱɺ۠ؒͷ૯.?%ݸ
Χʔωϧີਪఆ๏ w ະͷ֬ີQ Y ͔ΒಘΒΕͨ؍ଌू߹Λͬͯɺ Q Y ͷΛਪఆ͍ͨ͠ w YΛؚΉখ͞ͳྖҬ3ͷ֬Λ1ͱ͢Δ
! w /ݸͷ؍ଌ͕ಘΒΕͨͱͯ͠ɺ,ݸͷ؍ଌ͕ 3ʹؚ·ΕΔ֬ɺೋ߲ʹै͏ P = Z R p( x )d x p(K|N, P) = Bin(K|N, P)
Χʔωϧີਪఆ๏ w ೋ߲ͷظɾࢄΑΓɺ࣍ͷ͕ؔࣜಘΒΕΔ w /͕େ͖͍ͱ͖ɺࢄখ͘͞ͳΓɺظͷ͔ؔΒ w ·ͨɺ3͕খ͘͞ɺQ Y
͕3ͰҰఆͩͱۙࣅ͢Δͱ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ var K N = P(1 P) N E K N = P K ' NP P ' p( x )V p( x ) = K NV
Χʔωϧີਪఆ๏ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ ! w ֬ີQ Y Λਪఆ͢ΔͨΊʹɺ,ͱ7Λਪఆ͢Δ w ,ΛݻఆͰ7Λਪఆ
ˠ,ۙີਪఆ๏ w 7ΛݻఆͰ,Λਪఆ ˠΧʔωϧີਪఆ๏ p( x ) = K NV
Χʔωϧີਪఆ๏ w 7Λݻఆ͠ɺ,Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w Ұล͕IͰɺYΛத৺ͱ͢Δখ͞ͳཱํମͷ தʹ͋Δͷ૯
! w ҰลIͷཱํମͳͷͰɺ7I?%ͱͳΓɺ K = K X n=1 k ✓ x xn h ◆ p( x ) = 1 N K X n=1 1 hD k ✓ x xn h ◆
Χʔωϧີਪఆ๏ w খ͞ͳཱํମͷҰลIͷେ͖͕͞ ฏԽͷͨΊͷύϥϝʔλʹͳ͍ͬͯΔ w I͕ݻఆʹͳͬͯ͠·͏ ˠσʔλີ͕ߴ͍ྖҬͱ͍ྖҬͰɺෆ߹͕͋Δ
,ۙີਪఆ๏ w ,Λݻఆ͠ɺ7Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w YΛத৺ͱͯ͠ɺ͕,ݸؚ·ΕΔΑ͏ͳٿΛ୳͢ͱ 7Ұҙʹఆ·Γɺ֬ີਪఆ͞ΕΔ
ਤXXXPDXUJUFDIBDKQJOEFYQIQ NPEVMF(FOFSBMBDUJPO%PXO-PBEpMF QEGUZQFDBMΑΓ p( x ) = K NV
,ۙີਪఆ๏ w ,͕ฏԽύϥϝʔλʔͱͳ͍ͬͯΔ
·ͱΊΔͱʜ w Χʔωϧີਪఆ๏ w ྖҬͷମੵΛݻఆ͢Δ w Ұลͷ͕͞Iͳཱํମʹɺ؍ଌYO͕Կݸ͋Δ͔ΛٻΊͨ w I͕ฏԽύϥϝʔλʔ w
,ۙ๏ w ྖҬͷɺ؍ଌYOͷݸΛݻఆ͢Δ w ؍ଌYO͕LݸʹͳΔΑ͏ʹɺྖҬΛ͛ͨ w L͕ฏԽύϥϝʔλʔ
,ۙ๏ΛͬͨΫϥεྨ w ,ۙ๏ͱ."1ਪఆΛͬͯɺΫϥεྨΛߦ͏ w YͷΫϥε$@Lͷࣄޙ֬ΛٻΊ͍ͨ
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧΑΓɺ ! w ֬ີQ Y ɺઌ΄ͲٻΊͨͱ͓Γ ! w
ࣄલɺશͯͷ؍ଌͷ͏ͪΫϥεʹଐ͢Δ؍ଌ ! w ɺͦͷΫϥεʹଐ͢Δ؍ଌͰͷ֬ີΑΓɺ p(Ck | x ) = p( x |Ck)p(Ck) p( x ) p( x ) = K NV p(Ck) = Nk N p( x |Ck) = Kk NkV
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧʹೖ͢Δͱɺ ! w Αͬͯɺ,ۙͷ͏ͪɺΫϥε$@Lʹଐ͢ΔͷͰ ଟܾΛऔΕΑ͍ w ಛʹɺ,ͷͱ͖࠷ۙ๏ͱݺΕΔ p(Ck
| x ) = p( x |Ck)p(Ck) p( x ) = Kk K ˖ʹ͍ۙ̏ͭͷͰଟܾΛऔ͍ͬͯΔ ࠷ۙ๏Ͱɺ ࠷ۙ๏ͰɺΫϥεͷҟͳΔͷରͷ ਨೋઢʹͳ͍ͬͯΔ
w ͋ΔYͷ֬ີQ Y Λਪఆ͢Δʹ͋ͨͬͯɺ શͯͷσʔλΛอ࣋͢Δඞཁ͕͋Δ w σʔλ͕૿͑ΔͱɺۙΛ୳ࡧ͍͕ͯ࣌ؒ͘͠େʹ ͳΔ ˠ୳ࡧ͢ΔͨΊͷߏΛ࡞Δ
ຊདྷɺ࠷͍ۙΛશ୳ࡧ͢Δඞཁ͕͋Δ
͓ΘΓ