Probability distribution and Maximum likelihood estimation

様々な議論においてベースとなるため理解しておきたい最尤法(MLE; Maximum likelihood estimation)ですが、なかなかとっつきづらいと思われますため解説資料（下記の①の資料）を公開することといたしました。
https://lib-arts.booth.pm/items/1836937
全4回の1回目のみですが、内容としては独立していますのでそれほど気にしないでいただけたらと思います。

また、テキストについてはMCMCなどの記述を改訂して下記も公開しているので、こちらを参照いただけるとわかりやすいのではと思います。
https://www.amazon.co.jp/dp/B08FYMTYBW

Transcript

1. Copyright @ Liberal Arts. All Rights Reserved. 1ZUIPOͰֶͿ౷ܭϞσϦϯάᶃ
   ʙ֬཰෼෍ͱ࠷໬๏ʙ LiberalArts
2. Copyright @ Liberal Arts Community. All Rights Reserved. ߨٛΛ௨ͯ͠ͷ໨త ɾશମ ճΛ௨ͯ͠ͷ ໨ඪ
   ճؼ෼ੳ͔ΒҰͭઌʹਐΜͩɺߴ౓ͳ౷ܭϞσϦϯάΛߦ ͏ʹ͋ͨͬͯͷཧ࿦໘ͷجૅͷཧղͱɺ1ZUIPOΛ༻͍࣮ͨ ૷ํ๏ʹ͍ͭͯ਎ʹ͚ͭΔɻ
   ɾॳճͷ໨ඪ
   ֬཰෼෍ͷ௚ײతͳཧղͱ਺ࣜʹΑΔཧղΛ౿·͑ͯɺ౷ ܭϞσϦϯάͷϕʔεͱͳΔ࠷໬๏ʹ͍ͭͯཧղ͢Δɻ
3. Copyright @ Liberal Arts Community. All Rights Reserved. ࢀߟςΩετ IUUQTMJCBSUTCPPUIQNJUFNT ৄ͍͠ղઆʹ͍ͭͯ͸্هͷςΩετͰߦ͍ͬͯ·͢ɻ
   ຊߨٛͰ͸ͪ͜Βͷ಺༰ΛݩʹղઆΛߦ͍·͢ɻ
4. Copyright @ Liberal Arts Community. All Rights Reserved. ໨࣍ʢୈճʣ ֬཰෼෍ͷ௚ײతཧղͱ਺ࣜఆٛ
   
   ֬཰෼෍ͷ௚ײతཧղΛߦ্ͬͨͰɺΑ͘༻͍ΒΕΔ֬཰෼ ෍ͷ਺ࣜʹ͍ͭͯ֬ೝ͍͖ͯ͠·͢ɻ
   ֬཰෼෍ͱ౷ܭϞσϦϯά
   
   ౷ܭϞσϦϯάʹ͓͚Δʮ֬཰෼෍ʯͷॏཁੑʹ͍ͭͯ؆୯ ʹ֬ೝ͠·͢ɻ
   ֬཰෼෍ͱ࠷໬๏
   
   ౷ܭϞσϦϯάͷจ຺ʹ͓͍ͯɺجૅͱͯ͠େ͖ͳ໾ׂΛՌͨ ͢࠷໬๏ʹ͍ͭͯ֬ೝ͍͖ͯ͠·͢ɻ
5. Copyright @ Liberal Arts Community. All Rights Reserved. ໨࣍ʢୈճʣ ֬཰෼෍ͷ௚ײతཧղͱ਺ࣜఆٛ
   
   ֬཰෼෍ͷ௚ײతཧղΛߦ্ͬͨͰɺΑ͘༻͍ΒΕΔ֬཰෼ ෍ͷ਺ࣜʹ͍ͭͯ֬ೝ͍͖ͯ͠·͢ɻ
   ֬཰෼෍ͱ౷ܭϞσϦϯά
   
   ౷ܭϞσϦϯάʹ͓͚Δʮ֬཰෼෍ʯͷॏཁੑʹ͍ͭͯ؆୯ ʹ֬ೝ͠·͢ɻ
   ֬཰෼෍ͱ࠷໬๏
   
   ౷ܭϞσϦϯάͷจ຺ʹ͓͍ͯɺجૅͱͯ͠େ͖ͳ໾ׂΛՌͨ ͢࠷໬๏ʹ͍ͭͯ֬ೝ͍͖ͯ͠·͢ɻ
6. Copyright @ Liberal Arts Community. All Rights Reserved. ֬཰෼෍ͷ௚ײతཧղ ֬཰෼෍ͷ௚ײతཧղͱͯ͠͸ɺ ώετάϥϜͷαϯϓϧΛଟ͘ औͬͯ֬཰Խͨ͠΋ͷͩͱߟ͑ Δͱྑ͍Ͱ͢ɻ
   ࠨਤͷΑ͏ʹ࣮ߦ͢Δͱɺਖ਼ن ෼෍ͱਖ਼ن෼෍ʹै͍ͬͯΔώ ετάϥϜ͕ܗͱͯ͠͸ॏͳͬ ͍ͯΔ͜ͱ͕֬ೝͰ͖·͢ɻ
   ·্ͨͷਤ͸αϯϓϧ਺͕ɺ Լͷਤ͸αϯϓϧ਺͕  Ͱ͋Δɻ͜ͷΑ͏ʹαϯϓϧ͕ ଟ͍ࡍͷํ͕៉ྷʹॏͳΓ·͢ɻ
7. Copyright @ Liberal Arts Community. All Rights Reserved. ώετάϥϜͷαϯϓϧ਺ લϖʔδͷਤʹ͓͚Δώετά ϥϜͷ਺Λ૿΍ͯ͠ΈΔͱࠨਤ ͷΑ͏ʹͳΓ·͢ɻ
   ͦΕͧΕɺɺ ɺ  ɺ Ͱ֬ೝΛ ߦ͍ͬͯ·͢ɻ
   ͪͳΈʹNBUQMPUMJCͷQZQMPU ʹ͓͍ͯෳ਺ͷਤΛ࡞੒͢Δࡍ ͸QMUTVCQMPUΛར༻͢Δͱྑ ͍Ͱ͢ɻ͸ߦྻͷ൪໨ ͱ͍͏͜ͱΛҙຯ͍ͯ͠Δ͜ͱ ͸஌͓ͬͯ͘ͱྑ͍Ͱ͢ɻ
8. Copyright @ Liberal Arts Community. All Rights Reserved. ֬཰෼෍ͱ਺ࣜᶃʢਖ਼ن෼෍ʣ ɾਖ਼ن෼෍ͷ਺ࣜ ɾඪ४ਖ਼ن෼෍ͷ਺ࣜ Ж
   
   
   ฏۉ
   М?
   ෼ࢄ ਖ਼ن෼෍͸࠷΋Α͘༻͍ΒΕΔ֬཰෼෍Ͱ͢ɻଟ ͘ͷ౷ܭॲཧʹ͓͍ͯਖ਼ن෼෍͕༻͍ΒΕɺ࠷খ ೋ৐๏ͳͲ΋ਖ਼ن෼෍͕ݩʹͳ͍ͬͯ·͢ɻ
   ඪ४ਖ਼ن෼෍͸Yͷ৐͕Ҏ্ɺFYQͷத਎͕ ҎԼͷͨΊɺFYQ  ͕ʙͷ஋ͱͳΓ·͢ɻ࠷ େ஋͸Yͷͱ͖Ͱ͢ɻ
   ʢܗΛ஌Γ͍ͨ࣌͸਺ࣈΛ୅ೖͨ͠ΓɺάϥϑΛ ඳ͍ͨΓ͢Δͱྑ͍Ͱ͢ʣ
9. Copyright @ Liberal Arts Community. All Rights Reserved. ֬཰෼෍ͱ਺ࣜᶄʢϙΞιϯ෼෍ʣ ɾϙΞιϯ෼෍ͷ਺ࣜ ϙΞιϯ෼෍͸܎਺ $PVOU σʔλͷϞσ Ϧϯάʹར༻͢Δ͜ͱ͕ଟ͍෼෍Ͱ͢ɻ
   ύϥϝʔλͷЖ͕ฏۉΛද͍ͯ͠·͢ɻ
10. Copyright @ Liberal Arts Community. All Rights Reserved. ֬཰෼෍ͱ਺ࣜᶅʢೋ߲෼෍ʣ ɾೋ߲෼෍ͷ਺ࣜ ೋ߲෼෍͸͋Δࣄ৅͕ى͜Δ֬཰ΛQͱ͠ ͨ࣌ʹɺ͋Δࣄ৅͕ى͜Δճ਺Λ֬཰ม਺ ͷYͱ͢Δ֬཰෼෍Ͱ͢ɻ
    ࠨਤ͸ͦΕͧΕ֬཰QΛɺɺɺ ͱͨ͠ࡍͷ෼෍Ͱ͢ɻ
    ·ͨɺೋ߲෼෍ʹ͓͍ͯOͱͨ͠ͷ͕ϕ ϧψʔΠ෼෍ͰɺަࠩΤϯτϩϐʔޡࠩؔ ਺ͳͲͷಋग़ͷϕʔεͱͳ͍ͬͯ·͢ɻ
11. Copyright @ Liberal Arts Community. All Rights Reserved. ໨࣍ʢୈճʣ ֬཰෼෍ͷ௚ײతཧղͱ਺ࣜఆٛ
    
    ֬཰෼෍ͷ௚ײతཧղΛߦ্ͬͨͰɺΑ͘༻͍ΒΕΔ֬཰෼ ෍ͷ਺ࣜʹ͍ͭͯ֬ೝ͍͖ͯ͠·͢ɻ
    ֬཰෼෍ͱ౷ܭϞσϦϯά
    
    ౷ܭϞσϦϯάʹ͓͚Δʮ֬཰෼෍ʯͷॏཁੑʹ͍ͭͯ؆୯ ʹ֬ೝ͠·͢ɻ
    ֬཰෼෍ͱ࠷໬๏
    
    ౷ܭϞσϦϯάͷจ຺ʹ͓͍ͯɺجૅͱͯ͠େ͖ͳ໾ׂΛՌͨ ͢࠷໬๏ʹ͍ͭͯ֬ೝ͍͖ͯ͠·͢ɻ
12. Copyright @ Liberal Arts Community. All Rights Reserved. ౷ܭϞσϦϯάͱ͸ ࠨਤ͸௨শ྘ຊͰʮ౷ܭϞσϦϯάʯͷೖ ໳ຊͱͯ͠༗໊Ͱ͢ɻ
    ʮ౷ܭϞσϦϯάʯ͸ԿΒ͔ͷݱ৅ʹ͍ͭ ͯͷ؍ଌ σʔλ Λݩʹɺ౷ܭతͳ஌ݟΛ ੜ͔ͯ͠ϞσϦϯά͢Δͱߟ͓͚͑ͯ͹ྑ ͍͔ͱࢥ͍·͢ɻ
13. Copyright @ Liberal Arts Community. All Rights Reserved. ౷ܭϞσϦϯάͱʮ֬཰෼෍ɺ࠷໬๏ʯ ϞσϦϯάʹ͓͚ΔϑΟοςΟϯάͷϓϩηε ޡࠩؔ਺ͷࣜ͸ɺ໬౓ͷ࠷େԽ ࠷໬๏ ͷ ܭࢉ͔Βಋग़͞ΕΔɻ
    ·ͨɺ໬౓ MJLFMJIPPE ͸֬཰෼෍Λݩʹ ͨ͠ಉ࣌֬཰ͷܭࢉ͔Βಋग़Ͱ͖Δɻ
    ͦͷͨΊɺʮ౷ܭϞσϦϯάʯΛཧղ͢Δ ্Ͱɺ֬཰෼෍ͱ࠷໬๏ͷཧղ͸ඇৗʹॏ ཁʹͳͬͯ͘Δɻ
14. Copyright @ Liberal Arts Community. All Rights Reserved. ໨࣍ʢୈճʣ ֬཰෼෍ͷ௚ײతཧղͱ਺ࣜఆٛ
    
    ֬཰෼෍ͷ௚ײతཧղΛߦ্ͬͨͰɺΑ͘༻͍ΒΕΔ֬཰෼ ෍ͷ਺ࣜʹ͍ͭͯ֬ೝ͍͖ͯ͠·͢ɻ
    ֬཰෼෍ͱ౷ܭϞσϦϯά
    
    ౷ܭϞσϦϯάʹ͓͚Δʮ֬཰෼෍ʯͷॏཁੑʹ͍ͭͯ؆୯ ʹ֬ೝ͠·͢ɻ
    ֬཰෼෍ͱ࠷໬๏
    
    ౷ܭϞσϦϯάͷจ຺ʹ͓͍ͯɺجૅͱͯ͠େ͖ͳ໾ׂΛՌͨ ͢࠷໬๏ʹ͍ͭͯ֬ೝ͍͖ͯ͠·͢ɻ
15. Copyright @ Liberal Arts Community. All Rights Reserved. ֬཰෼෍ͱύϥϝʔλ ɾਖ਼ن෼෍ͷ਺ࣜ ɾඪ४ਖ਼ن෼෍ͷ਺ࣜ Ж
    
    
    ฏۉ
    М?
    ෼ࢄ ্هʹ͓͍ͯɺඪ४ਖ਼ن෼෍Λߟ͑Δʹ͋ͨͬͯɺ ฏۉͷύϥϝʔλЖΛɺ෼ࢄͷύϥϝʔλМ? Λͱ͓͍͍ͯ·͢ɻ
    ͜ͷύϥϝʔλͷ஋͕มΘΔͱάϥϑͷܗ͕มΘ Γ·͢ɻЖ͕มΘΔͱάϥϑ͕ࠨӈʹฏߦҠಈ ͠ɺМ͕มΘΔͱάϥϑͷઑΓ۩߹͕มΘΓ·͢ɻ
16. Copyright @ Liberal Arts Community. All Rights Reserved. ֬཰෼෍ͷར఺ ɾਖ਼ن෼෍ͷ਺ࣜ ଟ͘ͷσʔλ͕؍ଌ͞Εͨͱͯ͠΋ɺཪଆʹਖ਼ن ෼෍ΛԾఆ͢Δ͚ͩͰɺЖ ฏۉ ͱМ? ෼ࢄ ͷ Θ͔ͣͭͷύϥϝʔλ͚ͩͰσʔλͷੑ࣭ʹؔ ΘΔॏཁͳ৘ใΛཁ໿͢Δ͜ͱ͕Ͱ͖·͢ɻ
    ͨͱ͑͹ ໊෼ͷςετ΋ਖ਼ن෼෍ΛԾఆ͢ Δ͜ͱͰɺฏۉͱ෼ࢄ͕Θ͔Ε͹σʔλͷཁ໿͕ ՄೳͰ͢ɻ
    ౷ܭϞσϦϯάʹ͓͍ͯ͜ͷΑ͏ʹগ਺ͷύϥϝʔ λͰදݱ͢ΔϞσϦϯάΛɺʮύϥϝτϦοΫϞ σϧʯͱݺΜͰ͍·͢ɻ
17. Copyright @ Liberal Arts Community. All Rights Reserved. ಉ࣌֬཰ͱ໬౓ ਖ਼ن෼෍ʹ͓͚Δ࠷໬๏ ֬཰෼෍ σʔλ ᶅ؍ଌ͞Εͨσʔλʹ
    ରͯ͠ɺಉ࣌֬཰Λ
    ܭࢉ͢Δɻ ᶄ֬཰෼෍ʹैͬͯ
    खݩͷσʔλ͕؍ଌ
    ͞Εͨͱߟ͑Δɻ ᶃ֬཰෼෍ΛԾఆ͠ɺ
    ύϥϝʔλͷ஋Λ
    Ծஔ͖͢Δɻ ᶆσʔλʹ͍ͭͯͷ
    ಉ࣌֬཰Λύϥϝʔλ
    ʹ͍ͭͯߟ͑Δͱ
    ໬΋Β͠͞ʢ໬౓ʣɻ ᶇ໬౓Λ࠷େʹ͢Δ
    ύϥϝʔλͷ஋Λ
    ٻΊΔʢ࠷໬๏ʣɻ ˞
    ؆қԽͷͨΊɺ
    М͸ʹݻఆɻ ˞
    σʔλͷಠཱੑΛ
    Ծఆ͢ΔͨΊɺੵ
    Ͱܭࢉͯ͠ྑ͍ɻ ˞
    ࠷େ஋ΛٻΊΔࡍʹ͸
    ର਺Λ༻͍ͯ໬౓ؔ਺Λ
    ม׵͢Δͱܭࢉ͠΍͍͢ɻ
18. Copyright @ Liberal Arts Community. All Rights Reserved. ࠷໬๏ʹؔ͢Δ໰୊ԋश Լهʹ͓͍ͯ໬౓ͷ- В Λ࠷େʹ͢ΔВΛٻΊΑɻ ্ه͸ɺͦΕͧΕ  ͕ϕϧψʔΠ෼෍ɺ  ͕ϙΞιϯ෼෍
    ͔Βಋग़͞Ε͍ͯΔɻ
19. Copyright @ Liberal Arts Community. All Rights Reserved.  ͷղ౴
20. Copyright @ Liberal Arts Community. All Rights Reserved.  ͷղ౴