Share
Embed
Math Exercise about Maximum likelihood estimation
最尤法について演習ベースで取り扱った内容として、下記の第5章の内容の公開を行います。
https://lib-arts.booth.pm/items/1725936
対数尤度の最大化にあたっての数式変形の練習は慣れておくと良いので、演習を通して慣れることで理解度を高めていただけたらと思います。
また、最尤法を含めた確率モデリングの話は詳しくは下記などを参照いただけたらと思います。
https://www.amazon.co.jp/dp/B08FYMTYBW
LiberalArts
March 14, 2021
Transcript
14 slides
-
6 9 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 睗 5 皹ךעյ劄㹏岺כ㎇䊟ٓظٜםלס靯䈼ꫀ俙מחַי⺅䪒ַ ױն5-1
硼ךע㸐俙㹏䍲ס阛砯ס갾מ氠ַ阛砯כי䱧ׄ砯כ㸐 俙ס阛砯מחַיյ5-2 硼ךע㸐俙㹏䍲ס䕻⮔מחַי⺅䪒ֹמֵ גזי⻉䧯ꫀ俙ס䕻⮔מחַי⺅䪒ַױն5-3 硼ע 5-1 硼 5-2 硼ס⫐㵼鵕ױֻג┪ךյ㹏䍲כ⻎坎ס䑑ס劄㝕⡑ゼ꾴⺅䪒ַ ױն5-3 硼ױךמ牞霼ג悍砯⩧מյ5-4 硼ךע劄㹏岺מחַיյ 5-5 硼ךע劄㹏岺כ靯䈼ꫀ俙סꫀꅙכי劄㸯◝▗岺★䈼ؙ٤عٞ م٭靯䈼םלמחַי⺅䪒ַױն 5.1 䱦ֽ皾ה㼎侧 ❛꾴 5-1: ┫阾ס⡑⾔ס䓺מ⮔闋նגד ln x ע log e x ךֵכն 1) log2(xyz) 2) ln(x1x2x3x4) 3) ln Πxi ------- 69 -
7 0 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.2 さ䧭ꟼ侧ך䗍ⴓ Answer. 1)
log2(xyz) = log2 x + log2 y + log2 z 2) ln(x1x2x3x4) = ln x1 + ln x2 + ln x3 + ln x4 3) ln Πxi = ln x1 + ln x2 + ... = Σln xi ------- 闋鞃: ♀㎇锶גֹמյ 㸐俙ꫀ俙氠ַ׆כך䱧ׄ砯 (畤) ס⮔闋鉿ֹ׆כֿ ך׀ױն劄㹏岺ךע⻎免牞椙 (joint probability) 㹏䍲כײםמֵגז יյئ٤وٜס气䧯מ栃皑䙎♳㴻כ㹏䍲ע䱧ׄ砯ס䑑מםױն׆ ס免յ❛꾴ס 2) 3) סֹמ䑑ֿ䱧ׄ砯ס䓺ך┰ֻסךֿյ劄㝕 ⡑٬劄㸯⡑ゼ꾴闋ׂמֵגזיע䕻⮔氠ַ׆כֿ㝂ׂյ䕻⮔ע䱧ׄ砯 鳉砯ס䑑ס偙ֿب٤وٜמ阛砯ֿך׀ג״յ㸐俙ꫀ俙氠ַי䑑 ס䓺㜟剳׆כך㹏䍲ס阛砯祔汻ⵊ׆כֿך׀ױն 霄ׂע䔿ס硼ךױכ״ױֿյ♀㎇ס 2) כ 3) ס❛꾴ס㜟䓺ע䟨餟 י䪻䳢יַֽיַגדׄכ虘ַ־כ䘼ַױն 5.2 さ䧭ꟼ侧ך䗍ⴓ 5-2 硼ךע⻉䧯ꫀ俙ס䕻⮔מחַי⺅䪒זיַ׀ױն鏿겧םꫀ俙ס䕻 ⮔鉿זיַׂמֵגזיע⻉䧯ꫀ俙ס䕻⮔מחַיעꉌׄיעꄼױ؆ ֿյ㕈勓溷מ悍砯מ䢍ףך׀ֹמםױסך蝆䩘䟨餟ֵֿ偙ע 䩘ⳛ־י䢍ֹמיַגדׄגכ䘼ַױն dy dx = dy du du dx 㕈勓溷מע┪阾מ㕈טַי䕻⮔鉿זיַ׀ױն ------- 70 -
7 1 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.2 さ䧭ꟼ侧ך䗍ⴓ ❛꾴 5-2:
┫阾סꫀ俙䕻⮔ (┫阾סꫀ俙ס㸬ꫀ俙寛״)ն 1) f(x) = exp(x) 2) f(x) = ln x 3) f(x) = exp(x2) 4) f(x) = exp(−x2) 5) f(x) = ln x3 ------- Answer. 1) f′(x) = exp(x) 2) f′(x) = 1 x 3) u = x2 כֽׂ f′(x) = df(x) du du dx = 2xexp(x2 ) 4) u = −x2 כֽׂ f′(x) = df(x) du du dx = −2xexp(−x2 ) 5) f(x) = ln x3 = 3 ln x מ㜟䳕ך׀ն f′(x) = 3 x ------- 闋鞃: 1) כ 2) עאב䭰俙ꫀ俙כ㸐俙ꫀ俙ס䕻⮔ס⪪䑑מ㕈טַיַױն 3) כ 4) ע䭰俙ꫀ俙מֽׄ⻉䧯ꫀ俙ס䕻⮔䪒ֹמֵגזיյx2 ي٭ت מ⻉䧯ꫀ俙✑䧯יַױն5) ⻉䧯ꫀ俙ךֿյ㸐俙ע䱧ׄ砯⾔ס䓺 מ⮔闋ֿך׀ג״յ⩰מ剹׀䳕ֻי־⪪䑑אסױױֵיע״׆כֿ 71 -
7 2 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.3 剑㣐⦼㉏겗 ך׀ױն ׆׆־յ劄㸯⡑٬劄㝕⡑ゼ꾴闋ׂמֵגזיյꫀ俙ֿ䱧ׄ砯ך銨
יַ⥰⻔מֵ免ע㸐俙氠ַכ➬⯈דכַֹ׆כֿ־ױն 5.3 剑㣐⦼㉏겗 5-3 硼ךע劄㝕⡑ゼ꾴מחַי⺅䪒ַױնؼٖ٭ٜٚؾشع٠٭ؠס 갾ע靯䈼ꫀ俙ס劄㸯ⵊכַֹ׆כך劄㸯⡑ゼ꾴כױגֿյ♀㎇ע㹏䍲 (㸐俙㹏䍲) ס劄㝕ⵊ⺅䪒ֹג״յ劄㝕⡑ゼ꾴⺅䪒ַױնױגյ靯 䈼ꫀ俙ס劄㸯ⵊ㹏䍲ס劄㝕ⵊ־㸬ׂ׆כֿך׀סךֿյ㸴չ溪㺤溷 ם需꾴סג״յ䔿ס硼ך⺅䪒ַױն ------- ❛꾴 5-3: ┫阾סꫀ俙 L(θ) 劄㝕מ θ 寛״ն 1) L(θ) = θ600 (1 − θ)400 2) L(θ) = ΠN i=1 θki exp(−θ) ki ! 3) L(θ) = ΠN i=1 1 √ 2π exp − (xi − θ)2 2 ------- Answer. ln L(θ) 劄㝕מ θ ע L(θ) 劄㝕מסךյאב ln L(θ) 寛 ״ג┪ך阛砯יַׂն 1) ln L(θ) = 600 ln(θ) + 400 ln(1 − θ) δ ln L(θ) δθ = 600 θ − 400 1 − θ δ ln L(θ) δθ = 0 闋ַיյθ = 0.6 䕑ն 2) 72 -
7 3 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.4 剑㽍岀 ln L(θ)
= N i=1 (ki ln(θ) − θ − ln(ki !)) δ ln L(θ) δθ = N i=1 ki θ − 1 δ ln L(θ) δθ = 0 θ = N i=1 ki N 寛״׆כֿך׀ն 3) ln L(θ) = N i=1 ln 1 √ 2π − (xi − θ)2 2 δ ln L(θ) δθ = N i=1 −2 (xi − θ) 2 = − N i=1 (xi − θ) δ ln L(θ) δθ = 0 յθ = N i=1 xi N 㸬⮂ך׀ն ------- 闋鞃: 䱧ׄ砯氠ַג蝄䌏鏿겧ם䑑ֿ㝂ׂ⮂י׀ױגֿյ㸐俙⺅׆כמ זי嬟鼛溷מب٤وٜמ闋ׂ׆כֿך׀ֹמםזיַױնױגյ׆ ׆ך⮂꾴ג 1)3) סゼ꾴עאבيٜؽ٭ؕ⮔䉘յَؓخ٤⮔䉘յ婞 锺⮔䉘氠ַג劄㹏岺闋ׂמֵגזי⮂יׂ䑑כםזיַױն 䑑ס곰㎪宜䲖؆ךֽׂ׆כךյ劄㹏岺מقْٚ٭ذ㸬⮂ס䑑ֿ⮂י ׀ג갾ס槏闋ֿتّ٭ثמםסךעכ䘼ַױն 5.4 剑㽍岀 5.4.1 然桦ⴓ䋒הػًٓ٦ة 5-4-1 硼ךע牞椙⮔䉘מחַי⺅䪒ַױն牞椙⮔䉘ס侷璇剹溷ם㴻聋 ע׆ַסךյױזׂ┞阋ךױכ״םյ ր牞椙⮔䉘עكتع ءّٚסئ٤وٜכמ־ׂ㝕׀ׂיئ٤وٜ俙ךⰺזגסցכ䯚ֻי ֽׂכ虘ַךն阋ַ䳕ֻםյظ٭ذס⡑ס⮂槁ס♐偙סقذ٭٤阾 ꃍגסךն 73 -
7 4 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.4 剑㽍岀 ׂ❈ֹ牞椙⮔䉘כיעյ婞锺⮔䉘 (Normal
Distribution)յَؓخ٤ ⮔䉘 (Poisson Distribution)յ◝꽃⮔䉘յيٜؽ٭ؕ⮔䉘םלֵֿױն 鞃僻דׄךע־מַׂג״յױע婞锺⮔䉘ס牞椙㶔䍲ꫀ俙 P(µ, σ) 牞霼יײױն P(µ, σ) = 1 √ 2πσ2 exp − (x − µ)2 2σ2 ׆ס俙䑑מַֽי µ = 0յσ = 1 כ כ㎫ 5-1 סֹם埉徙婞锺⮔䉘סءٚن䲾ׂ׆כֿך׀ױն ㎫: 5-1 埉徙婞锺⮔䉘סءٚن ׆ס免յ┪阾ס牞椙⮔䉘סءٚنעյقْٚ٭ذךֵ µ כ σ 㜟剳 ׆כך䓺枱㜟䓺׆כֿך׀ױնאסג״յµ כ σ ע牞椙⮔䉘ס قْٚ٭ذךֵכ阋יַױն׆ס免յµ ע x ס䌐㐬յσ ע x ס⮔俆 74 -
7 5 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.4 剑㽍岀 銨יַױն יյ׆׆ך׆סֹמ⮔䉘㸬⪜ْٛشعךֿյ㝂ׂס镸廠ظ٭
ذ⮔䉘מםבֻ׆כךյגזג 2 חס⡑ך銨槁ך׀כַֹ׆כך ն❛ֻףյ1,000 ⻏⮔סطتع篙卸婞锺⮔䉘♳㴻׆כך䌐㐬כ⮔ 俆焒זיַדׄךյظ٭ذס锡笴ֿ⺪茣ךն הםײמ 5-5 硼ך⺅䪒ֹٓظٛ٤ءךעյ㸴俙סقْٚ٭ذ氠ַי鉿 ֹٓظٛ٤ءقْٚعٛشؠٓظٜכ⽿؆ךַױն׆סْٛشعכי עױמ׆׆ך需꾴מםזיַ⮔䉘סقْٚ٭ذמ濪潨׆כך䝠㖥ס 锡笴鉿ֹ׆כֿך׀כַֹ׆כמֵױն ׆סֹמյ牞椙⮔䉘㸬⪜յقْٚ٭ذמ濪潨׆כך䝠㖥锡笴 ׆כֿ⺪茣מםױն 5.4.2 ず儗然桦ה㽍䏝 5-4-2 硼ךע 5-4-3 硼ך⺅䪒ֹ劄㹏䱿㴻 (MLE; Maximum Likelihood Estimation) ס⯼䳀כי㹏䍲 (Likelihood) 㸬⪜ױնױ⩰מ劄㹏 䱿㴻 (劄㹏岺) ס嚣锡דׄ䪻䳢םַכ嵣ֿ־םַכ䘼ֹסךյ⩰מ זׂ锶יֽ׀ױն劄㹏岺עր牞椙⮔䉘סقْٚ٭ذ䱿㴻䩘岺ց ךն ❛ֻףյ1,000 ⻏⮔סطتعס掾俙ס䝠㖥ֵֿכיյظ٭ذֿ婞锺⮔ 䉘מ䕋זיַכ♳㴻ך׀סכױն׆ס갾מ婞锺⮔䉘סقْٚ٭ذ ס µ כ σ ♳翝׀ג┪ך䩘⩧סظ٭ذֿ䕑גכյא⩧מقٚ ْ٭ذ䱿㴻מַׂכַֹ脝ֻ偙ֿ劄㹏䱿㴻ךնױגյ劄㹏䱿㴻ךע㹏 䍲 (Likelihood) כַֹ㕈徙劄㝕ⵊقْٚ٭ذ寛״כַֹ嵣ם סךֿյ׆ס갾ס㹏䍲ע牞椙⮔䉘מ㕈טַיظ٭ذֿ䕑牞椙阛砯 ג⻎免牞椙㹏䍲כ鞅ײ䳕ֻ׆כךյ皑䑑鉿ַױն㹏䍲ס闋ꓡכ יעյ牞椙⮔䉘־䩘⩧סظ٭ذֿ䕑㹏כ脝ֻג״յ⻎免 牞椙㹏䍲כ锶םױնؼٖؓ٤تכיעלה⻎俙䑑דׄלյ ⻎免牞椙עظ٭ذס⮂槁牞椙מنؚ٭تיַסמ㸐יյ㹏䍲עقٚ 75 -
7 6 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.4 剑㽍岀 ْ٭ذסꫀ俙מنؚ٭تיַ掾ֿ沌םכ霼餟יֽׂכ虘ַךն םה㹏䍲ע䩘⩧סظ٭ذֿ䕑⻎免牞椙סג״յ䱧ׄ砯ס䓺䑑ך
寛״׆כֿך׀ױնױגյ㹏䍲עقْٚ٭ذ θ(θ ע牞椙⮔䉘סقْٚ٭ ذ⪢י؆ד銨槁ךֵյ婞锺⮔䉘ס㖪⻉ע µ כ σ מםױ) סꫀ俙ס ג״յL(θ) כ阾ꃍױն 5-3 硼ך⺅䪒זג┫阾ס L(θ) ע⪢י牞椙⮔䉘⩧מי阛砯ג㹏䍲 ס䑑ךն 1) L(θ) = θ600 (1 − θ)400 2) L(θ) = ΠN i=1 θki exp(−theta) ki ! 3) L(θ) = ΠN i=1 1 √ 2π exp − (xi − θ)2 2 ׆׆ך 1) עيٜؽ٭ؕ⮔䉘յ2) עَؓخ٤⮔䉘յ3) ע婞锺⮔䉘⩧מ ג⻎免牞椙 (㹏䍲) ךն㕈勓溷מئ٤وٜע栃皑י镸廠כַֹ⯼ 䳀ַֽיַסךյ⻎免牞椙ס阛砯מֵגזיעյאבסئ٤وֿٜ 镸廠牞椙䱧ׄ砯׆כך寛״׆כֿך׀ױն כמ־ׂյ⻎免牞椙כ㹏䍲עنؚ٭تיַَؕ٤عעꇙֹ┞偙ך俙 䑑溷מע⻎ךֵכ䪻䳢יֽׂכַךն 5.4.3 㽍䏝剑㣐⻉ח״ػًٓ٦ة䱿㹀剑㽍岀 5-4-2 硼ךע劄㹏岺ס㝕卽כ㹏䍲מחַי⺅䪒זגסךյ5-4-3 硼ךע㹏 䍲劄㝕ⵊ (劄㹏䱿㴻) מقْٚ٭ذ䱿㴻מחַי锶יַ׀ױնכַז יյ俙䑑ס嵣蔦✄ע 5-3 硼ס❛꾴 5-3 ס闋岺כ⻎ךն 峜䟨掾כיעյ㹏䍲 (⻎免牞椙) ס䑑ע牞椙ס䱧ׄ砯מזי銨י ַסךյ䕻⮔ֿטַכַֹ掾ךնאסג״յ闋尴瞬כיעⷃ鞪㙟 Ⲏꫀ俙ך䱧ׄ砯鳉砯מ㜟䳕׆כֿך׀㸐俙ꫀ俙 (log) ⺅׆כ ך阛砯鉿םזיַ掾ךն 㸐俙⺅׆כמזי䱧ׄ砯鳉砯מ㜟䳕כַֹסע劄㹏䱿㴻מ 76 -
7 7 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.5 剑㽍岀ה㔐䌓ٌرٕ ֽׄ؛٭خغشؠتם嵣סג״յ5-3 硼ס❛꾴
5-3 מחַיע✇䍲阛 砯ꃯזי槏闋幾״יֽׂסֿ虘ַכ䘼ַױն劄㹏岺㎇䊟ٓظٜמ䗎 氠גյ┞薭ⵊ納䓺ٓظٜךע׆׆ס阛砯ֿي٭تכםזיַסךյ׆׆ ך✇䍲䕮יֽׂסֿ䔿չס槏闋מ긊䊬מ䔢皑הױն 5.5 剑㽍岀ה㔐䌓ٌرٕ 5.5.1 剑㽍岀תה 5-5-1 硼ךע 5-4 硼ך⺅䪒זג劄㹏岺מחַי祔ⷃמ䕮肪ױն 㕈狸溷ם簡阛ךע䕑גظ٭ذ⩧מյ䌐㐬⮔俆阛砯כַֹ阾 ꃍ簡阛溷םؓوٞ٭زכױֿյ劄㹏岺ע䕑גظ٭ذס鎁⣨מ牞椙 ⮔䉘כַֹ锺⯵♳㴻ױն牞椙⮔䉘עאבֿ㝕ױ־ם䓺枱䭥זי ַױֿյ銨槁ⲇ䭥גג״מ㸴ꓪסقْٚ٭ذ陭㴻յאס⡑ 㜟ֻ׆כך坎չםظ٭ذס⮔䉘ֿ銨槁ך׀ֹמםזיַױն ⮔卥⣨ס镸掾־锶םյֵ־״⪢יס䓺枱ֿ尴ױזיַכ⻄ ظ٭ذמنؔشطؔ٤ء׆כֿך׀םַסךյظ٭ذמ⻉י鞪俠⺪ 茣םقْٚ٭ذ䭥זיַכ脝ֻ׆כך׀ױնقْٚ٭ذ♳翝׀ ג┪ךյ牞椙⮔䉘מ䕋זי䩘⩧סظ٭ذֿ䕑גכ脝ֻ׆כך⻎免牞 椙 (joint probability) 砯⮂յ׆♳翝׀גقْٚ٭ذמחַי濪潨 ׆כך㹏䍲 (likelihood) כ鞅ײ㜟ֻױն 㹏䍲ס槏闋כיעյ䩘⩧סظ٭ذֿ♳㴻ג牞椙⮔䉘מ岚זי䕑 ⻎免牞椙ֿ㝕׀ׄף㝕׀ַל㹏ַכ脝ֻג״յ㹏ס䍲 ⻉ַכי㹏䍲כיַכ䯚ֻיֽׂסֿ虘ַכ䘼ַױն ׆ס㹏䍲כַֹقْٚ٭ذמꫀ䭰埉㴻聋יױֻףյֵכעقٚ ْ٭ذמꫀיס㹏䍲ס劄㝕⡑ゼ꾴闋ׂ׆כךյقْٚ٭ذס⡑㸬⮂ ׆כֿך׀ױնقْٚ٭ذכיעյ䌐㐬⮔俆םלמꫀقْٚ٭ ذֿ㝂ׂյא⺅ױכ״י θ כ銨槁յ㹏䍲 L(θ) כױն׆ס 갾מ䕻⮔氠ַי劄㝕⡑ゼ꾴闋ׂמֵגזיյL(θ) ע牞椙⮔䉘ס畤ס䓺 77 -
7 8 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.5 剑㽍岀ה㔐䌓ٌرٕ מםזיֽ⺅䪒ַטַג״յ㸐俙ꫀ俙ס logL(θ)
⺅׆כך阛砯 ׂיַױն׆סꁊס㸬⮂סꇃ瓦ע 5-3 硼ס❛꾴 5-3 ך⺅䪒זגס ך׆ה⫙䍲䕮肪יַגדׄגכ䘼ַױն 劄㹏岺מחַיס㝕✄סױכ״ֿך׀גסך 5-5-1 硼ע׆׆ױךכյ姌 ס 5-5-2 硼ך㎇䊟ٓظٜכסꫀ➳䙎מחַי锶יַ׀ױն 5.5.2 剑㽍岀ה㔐䌓ٌرٕ 5-5-2 硼ךע劄㹏岺כ㎇䊟ٓظٜסꫀ➳䙎מחַי锶יַ׀ױն׆סֵ גסعمشؠע⪜ꪎ脢⻔ׄס勓מע鼥זיַםַסך呾㜽䫕ֿׄהך ֿյ㝂ׂסٓظٛ٤ءסي٭تמםזיַꓨ锡ם脝ֻ偙םסך׆塌מ ז־䫅ֻיַגדׄג虘ַסךעכ䘼ַױն 劄㹏岺㎇䊟ٓظٜמ㸬⪜מֵגזיעյˆ y = ax + b מֽׄ ax + b סֹםꌃ⮔ס阛砯篙卸◙廠⡑ךעםׂ◙廠⡑ס劻䔵⡑כ脝ֻյax + b 䌐㐬םלס⡑מ翝׀䳕ֻג牞椙⮔䉘ך潨溷㜟俙ֿ䕑יַכ脝ֻױն גכֻף婞锺⮔䉘♳㴻םյ P(ˆ y|µ = ax + b, σ) = 1 √ 2πσ2 exp − (y − (ax + b))2 2σ2 סֹמ镸廠ג⡑ y ס◙廠⡑ס ˆ y ֿ䕑כ脝ֻױնהםײמ׆ ס갾ס ax + b ע┞薭ⵊ納䓺ٓظٜס倀茷ךע納䓺◙廠㲳 (linear predictor) כ⽿ףיֽյ霄ׂע 5-5-3 硼 5-5-5 硼ך⺅䪒ַױֿ阋訪דׄ䫅 ֻיַֽיַגדׄגכ䘼ַױն ٓظٛ٤ءס⯼䳀ס㝕卽מחַי⺅䪒ֻגסךյ5-5-3 硼ךע׆׆ך㸬 ⮂ג y ס◙廠⡑ס⮔䉘⩧מ劄㹏岺מֵיע״יַ׀ױն 5.5.3 剑㽍岀ַ㼪ֻ剑㼭✳⛦岀 5-5-3 硼ךע劄㹏岺־劄㸯◝▗岺㸬׀ױն P(ˆ y|µ = ax + b, σ) = 1 √ 2πσ2 exp − (y − (ax + b))2 2σ2 ⯼硼ך┪阾סֹם ˆ y ס◙廠⡑ס⮔䉘锶ױגֿյ׆׆ך׆ס⮔䉘סق 78 -
7 9 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.5 剑㽍岀ה㔐䌓ٌرٕ ْٚ٭ذע a
כ b כ σ ךֵ׆כמ峜䟨יׂדַնאסג״յ劄㹏岺 氠ַ劄箽潨溷ע a כ b כ σ 寛״׆כדכַֹסע锶㝤םַֹ מיׂדַնױגյ♀㎇סنؚ٭تע㎇䊟ٓظٜסג״յσ ע㴻俙כ ײםյa כ b ס⡑׆סゼ꾴陭㴻־㸬⮂׆כ脝ֻױն L(a, b) = Π 1 √ 2πσ2 exp − (yi − (axi + b))2 2σ2 ♀㎇ס劄㹏岺מֽׄقْٚ٭ذ θ ע a כ b סג״յ㹏䍲ע L(a, b) כ皑 䑑יַױնױגյi 沁潨סئ٤وٜ (xi, yi ) כ陭㴻יַ׆כמ峜 䟨יׂדַն׆ס갾מ㸐俙㹏䍲מֵג logL(a, b) 阛砯כ┫阾ס ֹמםױն logL(a, b) = − (yi − (axi + b))2 2σ2 + Const ׆׆ך σ ע㴻俙כַֽגסךյ㹏䍲ס劄㝕ⵊ鉿ֹמֵגזיע −(yi − (axi + b))2 = − (yi − (axi + b))2 ס劄㝕⡑ゼ꾴闋ׄף虘ַ׆כֿ־ױն׆ס䑑ׂ锶כ◝▗⾔ ס劄㸯ⵊ鉿ֹ׆כך㹏䍲ס劄㝕ⵊֿך׀׆כֿ־ױն׆׆ױךס 需מזיյ潨溷㜟俙ס ˆ y מ σ ֿ㴻俙ס婞锺⮔䉘♳㴻כյ劄㹏岺־ 劄㸯◝▗岺ֿ㸬⮂ך׀כַֹ׆כֿ־ױն 5.5.4 DeepLearning ה剑㽍岀* DeepLearning ס靯䈼ꫀ俙כיׂ氠ַ★䈼ؙ٤عٞم٭ (Cross Entropy) 靯䈼يٜؽ٭ؕ⮔䉘♳㴻ג┪ך劄㹏岺氠ַכ㸬⮂ ׆כֿך׀ױն L(p) = Πpti i (1 − pi )1−ti ┪阾ֿيٜؽ٭ؕ⮔䉘⩧מג㹏䍲מםױն׆הס㸐俙⺅זג 㸐俙㹏䍲ע┫阾סֹמםױն logL(p) = tilogpi + (1 − ti )log(1 − pi ) ׆׆ך pi ֿ softmax ꫀ俙סؓؗعوشعכ脝ֻםյ׆ע◝⡑מֽ ׄ★䈼ؙ٤عٞم٭靯䈼כ⻎瞏ם䑑מםזיַױն 79 -
8 0 痥 5 畍 剑㽍岀ה铎䊴ꟼ侧* 5.5 剑㽍岀ה㔐䌓ٌرٕ 5.5.5 ♧菙⻉简䕎ٌرٕחאְג*
5-5-5 硼ךע┞薭ⵊ納䓺ٓظٜמחַי祔ⷃמ闑ױնױյ┞薭ⵊ納 䓺ٓظٜ (GLM; Generalized Linear Model) ע┫阾ס┩חס锡筶מזי 䧯皑חכיַױն 1) 潨溷㜟俙ס⮔䉘מ䭰俙㒘⮔䉘傈♳㴻 -> 䭰俙㒘⮔䉘傈ס♣銨溷ם❛כיעյ婞锺⮔䉘յيٜؽ٭ؕ⮔䉘յ ◝꽃⮔䉘յَؓخ٤⮔䉘םלֵֿױն 2) 納䓺◙廠㲳 (linear predictor) -> ax + b מֵגסֿ納䓺◙廠㲳ךն׆ס納䓺◙廠㲳מٛ٤ؠꫀ 俙ꈌ氠יյ潨溷㜟俙ס劻䔵⡑ (䌐㐬םל) 㸬⮂ױն 3) ٛ٤ؠꫀ俙 (link function) -> ٛ٤ؠꫀ俙ע納䓺◙廠㲳ס⡑潨溷㜟俙מ♳㴻䭰俙㒘⮔䉘傈 סقْٚ٭ذס匛⚂彸גֹמ鞪俠ꫀ俙ס׆כךնגכֻ ףَؓخ٤⮔䉘ךע䌐㐬ֿ 0 ♧┪ֿ䖩锡ךֵյيٜؽ٭ؕ⮔䉘מ ַֽי牞椙ע 0~1 ךֵ䖩锡䙎ֵֿםלךն ┞薭ⵊ納䓺ٓظٜס╚ך劔⻏םסֿٞةتطؔشؠ㎇䊟َؓخ٤㎇䊟ך ֿյ׆氠ַםׂכꄼ䊬ס劄㸯◝▗岺劄㹏岺ס卽篁ײך槏闋י ֽׂ׆כעꓨ锡םסךյ┞薭ⵊ納䓺ٓظٜע㵅갾מ氠ַםׂי槏闋יֽ ׀גַعمشؠךն 5-5-4 硼ך⺅䪒זג DeepLearning ע納䓺◙廠㲳氠ַיַםַסך┞ 薭ⵊ納䓺ٓظٜךעםַךֿյ劄㹏岺氠ַי靯䈼ꫀ俙㸬׀⮂יַ כַֹ掾ךע┞薭ⵊ納䓺ٓظٜכ⛣יַױն(㸴չ䒣䑛ם阋ַ偙ךֿ) ٞ ةتطؔشؠ㎇䊟㝂㺽מגסֿ DeepLearning ךֵכזׂ䪻䳢 יֽׂסֿ虘ַכ䘼ַױն睗 5 皹ꄼי䲖؆ךַגד׀גַ掾כי עյ劄㹏岺氠ַ׆כך靯䈼ꫀ俙㸬⮂ך׀آ٭تֿ㝂ַ掾ךն ┞薭ⵊ納䓺ٓظٜמחַיע霄ׂע┫阾ך⺅䪒זיַױסךյ霄 80