ベータ・ベルヌーイ分布（ゼミ資料）

Transcript

1. ͸͡Ίʹ ໨ඪ ໨ඪ ࠓճग़͞Εͨ՝୊͸࣍ͷΑ͏ͳ΋ͷͰͨ͠. ֬཰Ϟσϧͱͯ͠ϕϧψʔΠ෼෍, ࣄલ෼෍ͱͯ͠ϕʔλ෼෍Λߟ͑ͨ ͱ͖ͷ, ࣄޙ༧ଌ෼෍ΛܭࢉͤΑ. 1 / 26
2. ͸͡Ίʹ ஫ҙ 4 ͭͷ෼෍͕ग़ͯདྷΔͷͰͦΕΒΛ۠ผ͢Δ͜ͱ͕ඞཁͰ͢. • π(θ) : ࣄલ෼෍ʢprior distributionʣ. σʔλͷ৘ใΛೖΕΔલͷύ ϥϝʔλͷ෼෍. • f(x|θ) : ֬཰ϞσϧʢʁʣͱݺͿ͜ͱʹ͠Α͏. ύϥϝʔλΛ༩͑ͨ ͱ͖ͷσʔλͷ෼෍. • f(θ|x) : ࣄޙ෼෍ʢposterior distributionʣ. σʔλͷ৘ใ͕ೖͬͨ ύϥϝʔλͷ෼෍. • f(˜ x|x) : ࣄޙ༧ଌ෼෍ʢposterior predicive distributionʣ. σʔλͷ ৘ใ͕ೖͬͨσʔλͷ෼෍. check: ৚݅෇͖֬཰ͷఆٛ͸େৎ෉ʁ 2 / 26
3. ͸͡Ίʹ ஫ҙ ύϥϝʔλͷ෼෍ͬͯͲ͏͍͏͜ͱʁ σʔλͷ෼෍͸ͱ΋͔͘, ύϥϝʔλͷ෼෍ͱ͸Ͳ͏͍͏͜ͱͩͱࢥ͍ ·͔͢. ౷ܭֶͷॏཁͳ໨తͷҰͭ͸ύϥϝʔλΛਪఆ͢Δ͜ͱͰ͢. Έͳ͞Μ͕͜Ε·Ͱʹश͖ͬͯͨ;ͭ͏ͷ౷ܭֶʢස౓࿦ʣͰ͸, ύϥ ϝʔλ͸ະ஌͕ͩఆ਺Ͱ͋Δͱߟ͑·͢. ࢲ͸ύϥϝʔλΛਪఆ͢Δ͜ͱ͕ͦ͜౷ܭֶͩͱࢥ͍ͬͯͨͷͰ, ͸͡ ΊͯʮϕΠζ౷ܭͰ͸ύϥϝʔλ΋෼෍͢Δʯͱฉ͍ͨͱ͖͸, ʮͦΜͳ ߟ͑ํΛ͢Δҙຯ͋Δͷʁʯͱࢥ͍·ͨ͠. ͔͠͠ҙຯ͸͋ͱճ͠ʹͯ͠, ·ͣ͸۩ମྫͰࣄޙ෼෍Λܭࢉ͢Δ͜ͱ ʹ͠·͢. 3 / 26
4. ࣄޙ෼෍ ࣄޙ෼෍ͷ࣮ݱ ࠓճ͸֬཰Ϟσϧͱͯ͠ϕϧψʔΠ෼෍Λߟ͑·͢. f(x|θ) = θx(1 − θ)1−x. ͜͜Ͱ 0 ≤ θ ≤ 1. x ∈ {0, 1}. ࣄલ෼෍ͱͯ͠ϕʔλ෼෍Λߟ͑·͢. π(θ) = 1 B(α, β) θα−1(1 − θ)β−1. ͜͜Ͱ B(α, β) ͸ϕʔλؔ਺. α > 0, β > 0. ࣄલ෼෍ͷύϥϝʔλ α, β ͸ϋΠύʔύϥϝʔλͱݺ͹Ε·͢. 4 / 26
5. ࣄޙ෼෍ ࣄޙ෼෍ͷ࣮ݱ ϕΠζͷఆཧ ࣄޙ෼෍͸໬౓ͱࣄલ෼෍ͷੵʹൺྫ͢Δ͜ͱ͸͢Ͱʹश͍·ͨ͠. f(θ|x) ࣄޙ෼෍ = 1 ∫ ∞ −∞ f(x|θ)π(θ) dθ ͜ͷੵ෼͕໘౗ × f(x|θ) ໬౓ × π(θ) ࣄલ෼෍ (1) 5 / 26
6. ࣄޙ෼෍ ࣄޙ෼෍ͷ࣮ݱ (1) ࣜͷ෼฼ͷੵ෼Λܭࢉ͠·͢. ∫ ∞ −∞ f(x|θ)π(θ) dθ = ∫ 1 0 θx(1 − θ)1−x × 1 B(α, β) θα−1(1 − θ)β−1 dθ = 1 B(α, β) ∫ 1 0 θα+x−1(1 − θ)β+1−x−1 dθ (2) 6 / 26
7. ࣄޙ෼෍ ࣄޙ෼෍ͷ࣮ݱ ֬཰ີ౓ؔ਺͸શ۠ؒͰੵ෼ͨ͠Β 1 ʹͳΔͱ͍͏ੑ࣭Λ࢖͏ͷ͕ί πͰ͢. ∫ 1 0 1 B(α, β) θα−1(1 − θ)β−1 dθ = 1, ΑΓ, ∫ 1 0 θα−1(1 − θ)β−1 dθ = B(α, β). (3) 7 / 26
8. ࣄޙ෼෍ ࣄޙ෼෍ͷ࣮ݱ (3) ࣜΑΓ, (2) ࣜͷੵ෼͸ϕʔλؔ਺ʹͳΓ, ∫ ∞ −∞ f(x|θ)π(θ) dθ = B(α + x, β + 1 − x) B(α, β) . ݁Ռ, ࣄޙ෼෍͸ϕΠζͷఆཧ (1) ࣜΑΓ, f(θ|x) = 1 B(α + x, β + 1 − x) θα+x−1(1 − θ)β+1−x−1. ͜Ε͸ϕʔλ෼෍. 8 / 26
9. ࣄޙ෼෍ ࣄޙ෼෍ͷ࣮ݱ ͜͜·Ͱͷܭࢉ͸αϯϓϧαΠζ͕ 1 ͷͱ͖Λߟ͍͑ͯ·ͨ͠. ಉ͡ ϕϧψʔΠ෼෍ʹै͏ಠཱͳαϯϓϧ͕ n ͋ͬͨ৔߹, ಠཱͳαϯϓϧ ͷ࣮ݱ஋Λ x1, x2, . . . , xn ͱॻ͘ͱ, ໬౓͸, ಠཱੑͷԾఆΑΓ͔͚ࢉ͢ Ε͹͍͍ͷͰ, θ ∑ n i=1 xi (1 − θ)n− ∑ n i=1 xi , ͱͳΓ, ·ͬͨ͘ಉ༷ͷܭࢉ͔Βࣄޙ෼෍͸, f(θ|x) = 1 B(α + ∑ n i=1 xi, β + n − ∑ n i=1 xi) × θα+ ∑ n i=1 xi−1(1 − θ)β+n− ∑ n i=1 xi−1. (4) ΍͸Γϕʔλ෼෍. 9 / 26
10. ࣄޙ෼෍ ͜͜·Ͱͷ·ͱΊ ͜͜·Ͱͷ·ͱΊ ֬཰Ϟσϧͱͯ͠ϕϧψʔΠ෼෍, ࣄલ෼෍ͱͯ͠ϕʔλ෼෍Λߟ͑ͨ ͱ͖, ࣄޙ෼෍͸ϕʔλ෼෍ͱͳͬͨ. ͜ͷΑ͏ʹࣄલ෼෍ͱࣄޙ෼෍͕ಉ͡ϑΝϛϦʔʹͳΔࣄલ෼෍Λ, ڞ ໾ͳࣄલ෼෍ʢconjugate priorʣͱݺͼ·͢. 10 / 26
11. ࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ ࣄલ෼෍ͱͯ͠ α = 1, β = 1 ͷϕʔλ෼෍ΛԾఆ. 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 11 / 26
12. ࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ αϯϓϧ x = 0 ͕ಘΒΕͨͱ͖. 0 पลͷີ౓͕େ͖͘ 1 पลͷີ౓ ͕খ͍͞. 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 12 / 26
13. ࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ αϯϓϧ x = 0, 1 ͕ಘΒΕͨͱ͖. 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 13 / 26
14. ࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ αϯϓϧ x = 0, 1, 0 ͕ಘΒΕͨͱ͖. 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 14 / 26
15. ࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ αϯϓϧ x = 0, 1, 0, 0 ͕ಘΒΕͨͱ͖. 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 15 / 26
16. ࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ αϯϓϧ x = 0, 1, 0, 0, 1 ͕ಘΒΕͨͱ͖. 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 16 / 26
17. ࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ ໨ͰݟΔࣄޙ෼෍ αϯϓϧ x = 0, 1, 0, 0, 1, 1, 0, 0, 1, 1 ͕ಘΒΕͨͱ͖. 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 17 / 26
18. ࣄޙ༧ଌ෼෍ ࣄޙ༧ଌ෼෍ͷ࣮ݱ ࣄޙ༧ଌ෼෍ ͯ͞,ʠ 0 ʡͱ͍͏σʔλ͕ಘΒΕͨͱ͖, ࣍ʹ 1 ͕ग़Δ֬཰͸͍͘Β Ͱ͠ΐ͏͔. ͜Ε͸ύϥϝʔλͷ෼෍Ͱ͸ͳ͘, σʔλͷ෼෍Λߟ͑Δͱ͍͏͜ͱ Ͱ͢. 18 / 26
19. ࣄޙ༧ଌ෼෍ ࣄޙ༧ଌ෼෍ͷ࣮ݱ ࣄޙ༧ଌ෼෍͸ࣄޙ෼෍ʹΑͬͯ֬཰ϞσϧΛฏۉͨ͠΋ͷͰ͢. f(˜ x|x) = ∫ ∞ −∞ f(˜ x|θ)f(θ|x) dθ. ස౓࿦ʢ࠷໬ਪఆʣʹ͓͚Δ༧ଌ෼෍͸, ࠷໬ਪఆ஋Λ֬཰Ϟσϧʹͦ ͷ··୅ೖͨ͠΋ͷͰ͢. ϕΠζ౷ܭͰ͸ύϥϝʔλ͕෼෍͢Δͱߟ͑ΔͷͰ, ύϥϝʔλͷग़ํ ʹԠͯ͡ॏΈΛ෇͚͍ͯ·͢. check: ฏۉͷఆٛ͸େৎ෉ʁ 19 / 26
20. ࣄޙ༧ଌ෼෍ ࣄޙ༧ଌ෼෍ͷ࣮ݱ ࣄޙ෼෍͸ϕʔλ෼෍Ͱͨ͠. (4) ࣜͷ α + ∑ n i=1 xi Λ α∗, β + n − ∑ n i=1 xi Λ β∗ ͱ͋ΒͨΊͯஔ͘ͱ, f(˜ x|x) = ∫ ∞ −∞ f(˜ x|θ)f(θ|x) dθ = ∫ 1 0 1 B(α∗, β∗) θα∗+˜ x−1(1 − θ)β∗+1−˜ x−1 dθ = B(α∗ + ˜ x, β∗ + 1 − ˜ x) B(α∗, β∗) . ͜Ε͕ࣄޙ༧ଌ෼෍. 20 / 26
21. ࣄޙ༧ଌ෼෍ ໨ͰݟΔࣄޙ༧ଌ෼෍ ໨ͰݟΔࣄޙ༧ଌ෼෍ ࣄલ෼෍ʹ α = 1, β = 1 ͷϕϧψʔΠ෼෍ΛԾఆ͠αϯϓϧ x = 0 ͕ ಘΒΕͨͱ͖. ʠ 0 ʡͱ͍͏σʔλ͔͠ͳͯ͘΋, ࣍ʹ 1 ͕ग़Δ֬཰Λ 0 ͱ༧ଌ͠·ͤΜ. 0 1 0.0 0.2 0.4 0.6 0.8 1.0 21 / 26
22. ࣄޙ༧ଌ෼෍ ໨ͰݟΔࣄޙ༧ଌ෼෍ ໨ͰݟΔࣄޙ༧ଌ෼෍ αϯϓϧ x = 0, 0 ͕ಘΒΕͨͱ͖. 0 ͕Կݸ΋ଓ͘ͱ࣍ʹ 1 ͕ग़Δ֬ ཰ͷ༧ଌ஋͸Լ͕͍͖ͬͯ·͢. 0 1 0.0 0.2 0.4 0.6 0.8 1.0 22 / 26
23. ͓ΘΓʹ ͦΕͰ͸Έͳ͞Μ͕Μ͹ͬͯ, ࣮ࡍʹίΠϯ౤͛ͨ͠σʔλ͔Βࣄޙ༧ ଌ෼෍Λܭࢉͯ͠Έ͍ͯͩ͘͞. 23 / 26
24. ͓ΘΓʹ Q & A Q:ڞ໾ͳࣄલ෼෍Λ͏·͘Έ͚ͭΔ͜ͱ͕ϕΠζ౷ܭͷΩϞͳͷͰ ͠ΐ͏͔ʁ A:ͦ͏ͱ͸ݶΓ·ͤΜ. ڞ໾ͳࣄલ෼෍͸ܭࢉΛ͔ΜͨΜʹ͢ΔͨΊ ͷ޻෉ͷҰͭͰ͢. ֬཰ϞσϧʹΑͬͯ͸ڞ໾ͳࣄલ෼෍͕ଘࡏ͠ͳ͍͜ ͱ΋͋Γ·͢. ෼฼ͷੵ෼͕खܭࢉͰ͸೉͍͠ͱ͖ʹࣄޙ෼෍Λ࣮ݱ͢ Δํ๏͸, ਺஋ੵ෼, ϥϓϥεۙࣅ, MCMC, ม෼ϕΠζͳͲ༷ʑͰ͢. 24 / 26
25. ͓ΘΓʹ Q & A Q:ࣄલ෼෍ͱ͍͏΋ͷ͸෼ੳऀͷओ؍΍ܦݧΛ൓ө͍ͯ͠ΔͷͰ͠ΐ ͏͔ʁ A:ͦ͏ͱ͸ݶΓ·ͤΜ. ͨͱ͑͹ࣄલ෼෍ͱͯ͠Ұ༷෼෍ΛԾఆͨ͠ ৔߹, ʮύϥϝʔλ͕͜ͷ͋ͨΓʹ͋Γͦ͏ͩͧʯͱ͍͏৘ใ͸ͳ͘ϑ ϥοτͰ͢. 25 / 26
26. ͓ΘΓʹ Q & A Q:ࣄલ෼෍Λϑϥοτʹͨ͠Β, ͦ΋ͦ΋ࣄલ෼෍ͳΜͯ΋ͷΛߟ͑Δ ҙຯ͕ͳ͍ͷͰ͸ʁ A:ͦ͏ͱ͸ݶΓ·ͤΜ. ࣄલ෼෍ΛҰ༷෼෍ʹͨ͠৔߹, MAP ਪఆྔ ͸࠷໬ਪఆྔͱҰக͠·͕͢, ࣄޙظ଴஋͸ඞͣ͠΋࠷໬ਪఆྔͱҰக͠ ·ͤΜ. 26 / 26