ベイズ・EMアルゴリズムの紹介

ࠓ ि ͷ Θ ͔ Β Μ ઌ ੜ ϕΠζ౷ܭֶ
͕ Θ͔ΒΜ 1ZUIPO#FHJOOFSTԭೄΦʔΨφΠβʔ ΍͢΂͐

ࣗݾ঺հ :BTVCFJ ΍͢΂͐ ZBTVCFJUXJ ZBTVIBSVTV[VLJ IUUQTIVHLVODPN ΤϯδχΞͰ͢ɻ ࡳຈͰήʔϜ։ൃ೥ɹˠɹԭೄͰ։ൃ෼ੳͳͲΛ೥ )VHLVOͱ)VHLVO%BUBͱ͍͏ձࣾΛ΍͍ͬͯ·͢ɻ اۀ͞Μͱֶੜ͞ΜͱҰॹʹ࢓ࣄͯ͠8JO8JO8JOͳؔ܎Λங͘ͷ͕޷͖Ͱ͢ɻ
࠷ۙ͸ҿΈձͷ૿Ճʹ೰ΜͰ͓ΓɺςΩύΩؾ͕ར͘पΓͷਓͨͪͱൺֱͯ͠ɺ૬มΘΒͣؾ ͕ར͔ͳ͍ࣗ෼ʹࣦ๬͍ͯ͠Δɻ ؤுͬͯτʔΫΛ͢ΔΑ͏ʹ৺͕͚͍ͯΔ͕ɺͨͿΜۭؾ͸ಡΊ͍ͯͳ͍ͱࢥΘΕΔɻ ࠷ۙ޷͖ͳϚϯΨ͸౳෼ͷՖՇɺ੨ͷΦʔέετϥɺༀ԰ͷͻͱΓ͝ͱɻ

ΏΔ΅ )VHLVO גࣜձࣾ)VHLVO IUUQTIVHLVODPN ̓ϲ݄ͿΓʹืूதͰ͢ɻ ۀ຿Λ௨ͯ͡εΩϧΞοϓ͍ͨ͠ํɺ෼ੳ΍8&#ΞϓϦ։ൃʹڵຯ͕͋Δํ ͓଴͓ͪͯ͠Γ·͢ɻ དྷֶͨੜશһʹݴͬͯΔͷͰ༧Ίݴ͓͖ͬͯ·͕͢Ϩϕϧ͸ߴΊͰ͢ɻ ظؒݶఆͳͷͰڵຯͷ͋Δํ͸๨Εͣʹ͓ਃ͠ࠐΈ͍ͩ͘͞ʔɻ ɾТɾ
ϊγ ΍͢΂͐ !ZBTVCFJUXJ

"HFOEB ର৅ऀ σʔλαΠΤϯεͱ͸ʁ ͓͞Β͍ ϕΠζ౷ܭֶͬͯͳʹʁ ϕΠζ౷ܭֶɾࣄྫ঺հ &.ΞϧΰϦζϜ ʲ͓·͚ʳ1ZUIPO#FHJOOFSTԭೄऩࢧ

ର৅ऀ Θ ͔ Β Μ

ೖ໳ɹɹ#FHJOOFS ॳڃɹɹ&MFNFOUBSZ தڃɹɹ*OUFSNFEJBUF ४্ڃɹ6QQFS*OUFSNFEJBUF ্ڃɹɹ"EWBODFE ͨͿΜ͜ͷล 1ZUIPO͸গ͍͍ͬͯ͠͡Δํ͔Β ػցֶशͷ͜ͱΛগ͠ਂֶ͘ͼ͍ͨਓ·Ͱ ϕΠζ౷ܭֶ&.ΞϧΰϦζϜ ର৅ऀͷϨϕϧ

ϕΠζ౷ܭֶ&.ΞϧΰϦζϜ Ϩϕϧ͝ͱͷֶͼํ ೖ໳ɹɹ#FHJOOFS ॳڃɹɹ&MFNFOUBSZ தڃɹɹ*OUFSNFEJBUF ४্ڃɹ6QQFS*OUFSNFEJBUF ্ڃɹɹ"EWBODFE ΠϝʔδΛ௫Ή͚ͩͰ কདྷ໾ʹཱ͔ͭ΋ Ϩϕϧײʹֶ͋ͬͨͼΛಘͯ௖͚Δͱ޾͍Ͱ͢ɻ
׬શʹཧղ͠·͠ΐ͏ νϡʔτϦΞϧ ਺ࣜͷಋग़͸ѻ͍·ͤΜ ΍΍෺଍Γͳ͍͔΋

·ͣ͸ཧղͰ͖ͳͯ͘΋ Πϝʔδ͢Δ͜ͱ͕େࣄͰ͢

Ώͬ͘ΓσΟεΧογϣϯ͠ ͳ͕ΒਐΊ͍ͨͱࢥ͍ͬͯΔ ͷͰԕྀͳ࣭͘໰Լ͍͞

͋ͱɺϕΠζ౷ܭֶʹ͍ͭͯ͸ࢲࣗ਎΋ษڧத ͷͨΊؒҧ͍ͬͯΔ఺΋͋Δͱࢥ͍·͢ɻ ԕྀͳ͘ࢦఠ͍͚ͯͨͩ͠Δͱ޾͍Ͱ͢ɻ

σʔλαΠΤϯεͱ͸ʁʢ͓͞Β͍ʣ Θ ͔ Β Μ ※ ॳ৺ऀͷͨΊͷ͓͞Β͍ίʔφʔͰ͢ɻ ※ 2019/02/09(౔)
ʹߦΘΕͨPythonBeginnersԭೄ#20ͷॳ৺ऀ޲͚ͷ಺༰ͱॏෳ͠·͢ɻ

σʔλαΠΤϯεͱ͸ʁᶃ (wikipediaΑΓൈਮ) σʔλαΠΤϯεͱ͸ɺσʔλΛ༻͍ͯ৽ͨͳՊֶత͓Αͼࣾձʹ༗ӹ ͳ஌ݟΛҾ͖ग़ͦ͏ͱ͢ΔΞϓϩʔνͷ͜ͱͰ͋ΓɺͦͷதͰσʔλΛ ѻ͏ख๏Ͱ͋Δ৘ใՊֶɺ౷ܭֶɺΞϧΰϦζϜͳͲΛԣஅతʹѻ͏ɻ ৘ใՊֶ ౷ܭֶ Ξϧΰ ϦζϜ σʔλΛऩू
Պֶతʹ஌ݟΛҾ͖ग़͢ ࣾձʹ໾ཱͯΔ

σʔλαΠΤϯεͱ͸ʁᶄ (wikipediaΑΓൈਮ) σʔλαΠΤϯεΛɺ౷ܭతɺܭࢉతɺਓؒతࢹ఺͔Β၆ᛌ͢Δ͜ͱ͕Ͱ͖Α ͏ɻͦΕͧΕͷࢹ఺͕σʔλαΠΤϯεΛߏ੒͢Δຊ࣭తͳଆ໘Ͱ͋Δ͕ɺ͜Ε Βͷ̏ͭͷࢹ఺ͷ༗ػత݁߹͕ͦ͜σʔλαΠΤϯεͱ͍͏ֶ໰ͷਆ਷Ͱ͋Δɻ ʢ#MFJBOE4NZUI ʣ ౷ܭతɺܭࢉతɺਓؒతࢹ఺ͷ༗ػత݁߹ ౷ܭత ܭࢉత
ਓؒత

σʔλαΠΤϯεͱ͸ʁᶅ (wikipediaΑΓൈਮ) σʔλαΠΤϯε͸ɺ͸͖ͬΓͱͨ͠Ԡ༻ͷจ຺ DPOUFYUPGBQQMJDBUJPO Λ΋ͪɺ௒ྖҬੑ USBOTEJTDJQMJOBSZ ͷ༷૬Λఄ͍ͯͯ͠ɺ·ͨݚڀ੒Ռʹରͯ͠͸໌֬ͳࣾձతઆ໌੹೚ TPDJBM BDDPVOUBCJMJUZ ͕ٻΊΒΕɺ͞Βʹɺݚڀ੒Ռͷ࣭తอূͷͨΊʹ͸ैདྷͷ࠲ֶతج४Ҏ֎ʹ࣭ͷίϯ
τϩʔϧͷͨΊͷ௥Ճͷج४ OPWFMRVBMJUZDPOUSPMTPVSDF ͕ඞཁͱ͞ΕΔɻ σʔλαΠΤϯεͷ༗ޮͳਪਐͷͨΊʹ͸૊৫ͷҟछࠞ߹ੑ΋ॏཁͰ͋Δɻ ☓ ࣾձతઆ໌੹೚ɾج४ Ԡ༻ɾ௒ྖҬ ૊৫ͷҟछࠞ߹ੑ

ࣾձత੹೚ɾࣄྫ ಺ఆࣙୀ཰໰୊͚ͩͰ͸ͳ͍ʂʮϦΫφϏγϣοΫʯͰਓࡐۀքશମ͕਒্͕͑Δཧ༝ɹIUUQTBTDJJKQFMFN ϦΫϧʔτΩϟϦΞʮϦΫφϏब׆ࣄ݅ʯ͕ϓϥΠόγʔ໰୊ʹ౤͔͚͛ͨ΋ͷIUUQTOFXTZBIPPDPKQCZMJOFZBNBNPUPJDIJSP ࢀߟ63- ࢀߟɿ৬ۀ҆ఆ๏ ୈޒेҰ৚ɹ৬ۀ঺հࣄۀऀɺٻਓऀɺ࿑ಇऀͷืूΛߦ͏ऀɺืूडୗऀɺ࿑ಇऀڙڅࣄۀऀٴͼ࿑ಇऀڙڅΛड͚Α͏ͱ͢ΔऀʢҎԼ͜ͷ৚ʹ͓͍ͯʮ৬ۀ঺հࣄۀऀ౳ʯͱ͍͏ɻʣฒͼʹ͜ΕΒͷ୅ཧਓɺ࢖༻ਓͦͷଞͷैۀऀ͸ɺਖ਼౰ͳཧ ༝ͳ͘ɺͦͷۀ຿্औΓѻͭͨ͜ͱʹ͍ͭͯ஌ΓಘͨਓͷൿີΛ࿙Βͯ͠͸ͳΒͳ͍ɻ৬ۀ঺հࣄۀऀ౳ٴͼ͜ΕΒͷ୅ཧਓɺ࢖༻ਓͦͷଞͷैۀऀͰͳ͘ͳͭͨޙʹ͓͍ͯ΋ɺಉ༷ͱ͢Δɻ ˓̎ɹ৬ۀ঺հࣄۀऀ౳ٴͼ͜ΕΒͷ୅ཧਓɺ࢖༻ਓͦͷଞͷैۀऀ͸ɺલ߲ͷൿີͷ΄͔ɺͦͷۀ຿ʹؔͯ͠஌Γಘͨݸਓ৘ใͦͷଞްੜ࿑ಇলྩͰఆΊΔऀʹؔ͢Δ৘ใΛɺΈͩΓʹଞਓʹ஌Βͤͯ͸ͳΒͳ͍ɻ৬ۀ঺հࣄۀऀ౳ٴͼ͜ΕΒͷ ୅ཧਓɺ࢖༻ਓͦͷଞͷैۀऀͰͳ͘ͳͭͨޙʹ͓͍ͯ΋ɺಉ༷ͱ͢Δɻ ɾब৬αΠτʮϦΫφϏʯͷར༻ཤྺΛ%.1ϑΥϩʔͱ͍͏ผαʔϏεͰར༻ɻ಺ఆࣙୀ཰
Λఏڙ͓ͯ͠Γɺब׆ੜͷ஌Βͳ͍ͱ͜ΖͰब৬׆ಈ͕ෆརʹͳΔՄೳੑ͕͋ͬͨɻ ʢސ٬֤ࣾ͸࠾༻ɾෆ࠾༻ͷ൑அʹӨڹͨ͠ࣄ࣮Λ൱ఆ͍ͯ͠Δʣ ɾ৬ۀ҆ఆ๏ҧ൓ୈ৚߲ʹҧ൓ Լهࢀߟ ɻް࿑ল͔Βߦ੓ࢦಋɻ ɾຊਓಉҙ͕͋ͬͯ΋Ξ΢τʢ΄΅Չ઎ঢ়ଶͷͨΊʣ ɾϚΠφϏͷྨࣅαʔϏεʮ13BJ0ʯ΋಺ఆࣙୀ཰Λࢉग़͍ͯ͠Δ͕ɺೖྗιʔε͕Τϯτ ϦʔγʔτͷͨΊ໰୊ʹͳͬͯ͸͍ͳ͍ɻʢͱ͸ֶ͍͑ੜ͕ϚΠφϏʹొ࿥ͨ͠σʔλΛ໨ త֎Ͱ࢖༻͍ͯ͠ΔՄೳੑ͕͋ΓɺάϨʔͰ͸͋Δʣ ɾʮࣗ෼ͷݸਓ৘ใ͸͋Δఔ౓औΒΕͯ΋ྑ͍ʯͱߟ͑Δਓ͕͍Δ͕ɺָ؍తʹߟ͑͗͢Δ ͷ͸/(Ͱ͋Δɻ ϦΫφϏʮ಺ఆࣙୀ཰ʯఏڙ໰୊

σʔλαΠΤϯεͷ࢓ࣄͷछྨ ҎԼͷΑ͏ͳछྨ͕͋Γ·͢ ※্ه͸ศ্ٓΘ͔Γ΍͘͢෼͚ͨ΋ͷͰ͢(ݸਓͷओ؍) ※࣮ࡍʹ͸͞Βʹ࢖༻͢Δٕज़ʹΑͬͯ΋େ͖͘ҟͳ͖ͬͯ·͢ ɾधཁ༧ଌ(ച্༧ଌ) ɾҟৗݕ஌ ɾࣗવݴޠॲཧ ɾ࣌ܥྻ෼ੳ ɾը૾ೝࣝ ɾୀձ༧ଌ
ɾԻ੠ೝࣝ ͳͲͳͲ

σʔλαΠΤϯεͷ࢓ࣄͷछྨᶃ धཁ༧ଌʢച্༧ଌʣ σʔλ͔ΒকདྷͷधཁΛ༧ଌ͢Δ ྫɿαοΧʔ৔ͷ؍٬ಈһ਺ɺاۀͷച্༧ଌͳͲ

σʔλαΠΤϯεͷ࢓ࣄͷछྨᶄ ը૾ೝࣝ ը૾͔Β͋Δಛ௃Λݕग़ʗτϥοΩϯά͢Δ౳ ྫɿإೝࣝɺਓ෺ݕग़ɺ෺ମݕग़ɺจࣈೝࣝ౳

σʔλαΠΤϯεͷ࢓ࣄͷछྨᶅ ҟৗݕ஌ σʔλ͔Βҟৗͳ஋Λݕग़͢Δ ྫɿ޻৔ͷػثͷނোݕ஌ɺגՁ΍௨՟ͷຊ࣭తมಈݕ஌ͳͲ

σʔλαΠΤϯεͷ࢓ࣄͷछྨᶆ ୀձ༧ଌ ར༻ऀσʔλ͔Βୀձʹܨ͕ΔཁૉΛݕग़͢Δ ྫɿαʔϏεͷୀձऀ༧ଌͳͲ

σʔλαΠΤϯεͷ࢓ࣄͷछྨᶇ Ի੠ೝࣝ Ի੠͔Βಛ௃Λൈ͖ग़͠෼ੳ͢Δ ྫɿײ৘෼ੳɺ࿩ऀࣝผɺٞࣄ࿥࡞੒ͳͲ

σʔλαΠΤϯεͷ࢓ࣄͷछྨᶈ ࣗવݴޠॲཧ ਓ͕࢖͍ͬͯΔݴޠΛίϯϐϡʔλʹॲཧͤ͞ΔҰ࿈ͷٕज़ ྫɿ୯ޠ෼ׂɺߏจղੳɺωΨϙδ൑ఆɺࣗಈཁ໿ɺ࣭ٙԠ౴ͳͲ #&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH IUUQTBSYJWPSHQEGQEG ࢀߟ63-

σʔλαΠΤϯεͷ࢓ࣄͷྲྀΕ ※্ه͸ศ্ٓΘ͔Γ΍͘͢෼͚ͨ΋ͷͰ͢ ※࣮ࡍʹ͸͞Βʹࡉ͔͍λεΫʹผΕ͓ͯΓɺϏδωεϞσϧʹΑͬͯ΋େ͖͘ҟͳ͖ͬͯ·͢ ɾϏδωε՝୊ઃఆ ɾσʔλͷೖखʗલॲཧ ɾϞσϦϯά ɾධՁʢKPIͷݕূ౳ʣ

σʔλαΠΤϯεͷ࢓ࣄͷྲྀΕᶃ Ϗδωε՝୊ઃఆ Ϗδωε্ͷ՝୊΍υϝΠϯ஌ࣝΛώΞϦϯά͠ͳ͕Βσ ԾઆཱҊ΍໨ඪઃఆ౳ΛେےͰߦ͍·͢ɻ ɾυϝΠϯ஌ࣝ ɾσʔλͷཧղ(֓ཁ) ɾԾઆཱҊ ɾ໨ඪઃఆ ɾεέδϡʔϧ

σʔλαΠΤϯεͷ࢓ࣄͷྲྀΕᶄ σʔλͷೖखʗલॲཧ ࣮σʔλΛೖख΋͘͠͸ٙࣅσʔλΛ࡞੒͠ લॲཧΛ࣮ࢪ͍͖ͯ͠·͢ɻ ɾܽଛ஋ ɾಛ௃ྔͷ࡞੒ ɾٙࣅσʔλ࡞੒ ɾՄࢹԽ ɾجૅूܭ

σʔλαΠΤϯεͷ࢓ࣄͷྲྀΕᶅ ϞσϦϯά ౷ܭֶ΍ػցֶशʢਂ૚ֶशؚΉʣΛۦ࢖ͯ͠ճؼɾ෼ྨ౳Λߦ͍ Ϗδωε՝୊ΛղܾͰ͖Δ͔ͷݕূɾࢼߦΛ܁Γฦ͠·͢ɻ ɾճؼ ɾ෼ྨ ɾΫϥελϦϯά ɾ౷ܭֶ ɾਂ૚ֶश ৘ใՊֶ
౷ܭֶ Ξϧΰ ϦζϜ

σʔλαΠΤϯεͷ࢓ࣄͷྲྀΕᶆ ධՁʢ,1*ͷݕূ౳ʣ ෼ੳ݁Ռ΍ϞσϦϯάͷ݁ՌΛ΋ͱʹࢿྉΛ࡞੒͠ KPIͷݕূ౳Λߦ͍͖ͬͯ·͢ɻ ɾࢿྉ࡞੒ ɾKPIͷ֬ೝʗೝࣝ߹Θͤ ɾ࣍ΞΫγϣϯͷఏҊ

ػցֶशϋϯζΦϯᶃ ࣮ࡍʹػցֶशΛߦͬͯΈ·͠ΐ͏ ͪ͜Βˣ͔ΒιʔείʔυΛμ΢ϯϩʔυ͍ͯͩ͘͠͞ git clone [email protected]:PythonBeginners/Meetup025_EM_Algorithm.git (SSH) git clone https://github.com/PythonBeginners/Meetup025_EM_Algorithm.git
(HTTPS) +VQZUFS/PUFCPPLͰҎԼͷϑΝΠϧΛ։͍͍ͯͩ͘͞ notebook/01_scikit_learn_tutorial.ipynb ४උ͕Ͱ͖ͨΒϋϯζΦϯΛ։࢝͠·͢ʂ

σʔλαΠΤϯεͱ͸ʁ ·ͱΊ ɾσʔλαΠΤϯεͱ͸ʁ ɹσʔλΛ৘ใՊֶɺ౷ܭֶɺΞϧΰϦζϜΛ༻͍ͯՊֶతʹΞϓϩʔνɻ ɹ౷ܭతɺܭࢉతɺਓؒతࢹ఺Λ༗ػతʹ݁߹͠ɺࣾձతʹ༗ӹͳ஌ݟΛҾ͖ग़͢ɻ ɹࣾձతઆ໌੹೚΋ඞཁɻ ɾσʔλαΠΤϯεͷ࢓ࣄͷछྨ ɹधཁ༧ଌɺը૾ೝࣝɺҟৗݕ஌ɺࣗવݴޠॲཧɺ࣌ܥྻ෼ੳͳͲଟذʹ౉Δɻ ɾσʔλαΠΤϯεͷ࢓ࣄͷྲྀΕ ɹ՝୊ઃఆɺσʔλͷೖखલॲཧɺϞσϦϯάɺධՁɻ
ɾػցֶशͷ࣮ߦ ɹϋϯζΦϯΛ࣮ࢪ͠·ͨ͠ɻ

ϕΠζ౷ܭֶͱ͸ʁ Θ ͔ Β Μ

஌Βͳ͍͔ͨڍख ɾТɾ ϊγ ϕΠζ౷ܭֶ

ϕΠζ౷ܭֶͱ͸ʁ هड़౷ܭֶͱਪܭ౷ܭֶͷҧ͍ɹIUUQTUPLFJOFUCBTJDJOEVDUJWFTUBUJTUJDT ϕΠζ౷ܭֶͱ͸ʁॳ৺ऀ޲͚ͷ΍͍͞͠ղઆɹIUUQTUPLFJOFUCBTJDCBZFTJBOTUBUJTUJDT ϕΠζ౷ܭͱ͸ʁී௨ͷ౷ܭͱԿ͕ҧ͏ʁపఈղઆʂɹIUUQTVEFNZCFOFTTFDPKQBJCBZFTJBOTUBUJTUJDTIUNM ࢀߟ63- छྨ ֓ཁ ྫ هड़౷ܭֶ σʔλͷಛ௃ΛΘ͔Γ΍͘͢දݱ͢Δֶ໰
தԝ஋ɾඪ४ภࠩ ՄࢹԽ ਪܭ౷ܭֶ ඪຊΛ෼ੳͯ͠฼ूஂʹ͍ͭͯਪଌ͢Δֶ໰ ̓ݕఆɾРೋ৐ݕఆɾ૬ؔ෼ੳ ճؼɾ෼ྨɾΫϥελϦϯά ϕΠζ౷ܭֶ ৘ใ͕ೖΔͨͼʹ֬཰Λมߋ͍͖ͯ͠ σʔλͷશମ૾Λ௫ΜͰֶ͍͘໰ ϕΠζͷఆཧ ࠷໬ਪఆɾ."1ਪఆɾϕΠζਪఆ ਖ਼ن෼෍ͷਪఆɾΧςΰϦΧϧ෼෍ͷਪఆ ࣝผϞσϧɾੜ੒Ϟσϧ (..ɾ̓෼෍ɾҼࢠ෼ੳɾ&.ΞϧΰϦζϜ Ψ΢εաఔɾ࠷ٸ߱Լ๏ɾϒʔεςΟϯά ϕΠδΞϯωοτϫʔΫɾϚϧίϑ࿈࠯ϞϯςΧϧϩ๏

ϕΠζ౷ܭֶͱ͸ʁ 1ZUIPO#FHJOOFSTެࣜTMBDLɹCFHJMBC@CBZFTɹ ࢀߟ ֬཰ɾ౷ܭ ߴߍେֶ ϕΠζ౷ܭ "*σʔλαΠΤϯε ස౓ओٛ ओ؍ओٛ ֬཰͸ܾఆࡁΈ
શମΛ෦෼͔Βਪଌ ʮநग़ʯ ֬཰͸ະܾఆ શମͰ͸ͳ͘ະདྷ ʮΞοϓσʔτʯ શମ฼ूஂ σʔλ͸੩త ෦෼ඪຊ ؍ଌऀΑΓશମ աڈʹࣄલ֬཰ σʔλ͸ಈతʹ؍ଌ ະདྷʹࣄޙ֬཰ શମΑΓ؍ଌऀ ౷ܭͷߟ͑ํΛࠜఈ͔Β ม͑Δඞཁ͋Γ

ϕΠζ౷ܭֶͱ͸ʁ 1ZUIPO#FHJOOFSTެࣜTMBDLɹCFHJMBC@CBZFTɹ ࢀߟ ֬཰౷ܭ ϕΠζ౷ܭ

ਓ޻஌ೳֶձ IUUQTXXXBJHBLLBJPSKQQEGBJNBQ"*.BQ@+1@CQEG ࢀߟ63- "*Ϛοϓ

ϕΠζͷఆཧ 8JLJQFEJBϕΠζͷఆཧΑΓ ࢀߟ P(B|A) = P(A|B)P(B) P(A) ࣄޙ֬཰ ໬౓ ࣄલ֬཰
P(B) = P(B|A) = P(A|B) = ࣄલ֬཰ ࣄޙ֬཰ ໬౓

ϕΠζͷఆཧ P(B|A) = P(A|B)P(B) P(A) ࣄޙ֬཰ ໬౓ ࣄલ֬཰ ϕΠζ౷ܭ͸ɺσʔλ͕ෆे෼Ͱ΋ɺ z͋Δࣄଶ͕ൃੜ͢Δ֬཰zʢʹࣄલ֬཰ʣΛ࠷ॳʹઃఆͨ͠ޙɺ
͞ΒͳΔ৘ใ͕ಘΒΕΔ౓ʹz͋Δࣄଶ͕ൃੜ͢Δ֬཰zʢʹࣄޙ֬཰ʣΛߋ৽͍͖ͯ͠ɺ ຊདྷى͜ΔͰ͋Ζ͏ࣄ৅ͷ֬཰ʢओ؍֬཰ʣΛಋ͖ग़͠·͢ɻ

ʮ̑౳෼ͷՖՇʯ஌Βͳ͍͔ͨڍख ɾТɾ ϊγ ྫΛ͋͛ͯݟ·͠ΐ͏

ͭࢠΫʔΠζʂ

౳෼ͷϕΠζ౷ܭֶ ౳෼ͷՖՇΛ ಡΜͩ͜ͱ͕ͳ͍ ຖिϚΨδϯͰ ಡΜͰΔ ίϛοΫεશרॴ࣋ Կ౓΋ϧʔϓ ࣄલ֬཰ ΄΅θϩʹ͍ۙ ҰՖγϣʔτ
ೋ೫େ͖ΊϦϘϯ ࡾۢϔουϑΥϯ ࢛༿͏͗͞ϦϘϯ ޒ݄੕ΞΫη ҰՖෲࠇˍϚΠϖʔε ೋ೫πϯσϨˍՈ଒ࢥ͍ ࡾۢେਓ͍͠ˍরΕ԰ ࢛༿ݩؾˍԕྀ͕ͪ ޒ݄ਅ໘໨ ໬౓ ΄΅θϩʹ͍ۙ ߴ͍ ඇৗʹߴ͍ ࣄޙ֬཰ θϩʹ͍ۙ͸ͣ ʢ·͙Ε΋͋Δʣ ͓ͦΒ͘ߴ͍ ͓ͦΒ͘ඇৗʹߴ͍ ʢޱบ΍࢓૲Ͱ༧ଌՄೳʣ

΋͏͍ͬͪΐ ɾТɾʆ

ਖ਼ղ͸ͪ͜Β

Ͱ͸ͪ͜Β Тʆ ݱࡏ ະདྷ աڈ

ਖ਼ղ ʆŋТŋ ʎ ݱࡏ ະདྷ աڈ
˞͜Ε͸ͪΐͬͱࣗ৴ͳ͍

શһม૷όʔδϣϯ

͜Μͳײ͡Ͱ͢ ɾТɾ

౳෼ͷϕΠζ౷ܭֶ ౳෼ͷՖՇΛ ಡΜͩ͜ͱ͕ͳ͍ ຖिϚΨδϯͰ ಡΜͰΔ ίϛοΫεશרॴ࣋ Կ౓΋ϧʔϓ ࣄલ֬཰ ΄΅θϩʹ͍ۙ ҰՖγϣʔτ
ೋ೫େ͖ΊϦϘϯ ࡾۢϔουϑΥϯ ࢛༿͏͗͞ϦϘϯ ޒ݄੕ΞΫη ҰՖෲࠇˍϚΠϖʔε ೋ೫πϯσϨˍՈ଒ࢥ͍ ࡾۢେਓ͍͠ˍরΕ԰ ࢛༿ݩؾˍԕྀ͕ͪ ޒ݄ਅ໘໨ ໬౓ ΄΅θϩʹ͍ۙ ߴ͍ ඇৗʹߴ͍ ࣄޙ֬཰ θϩʹ͍ۙ͸ͣ ʢ·͙Ε΋͋Δʣ ͓ͦΒ͘ߴ͍ ͓ͦΒ͘ඇৗʹߴ͍ ʢޱบ΍࢓૲Ͱ༧ଌՄೳʣ ࠓ౓͸ೋ೫͚ͩ౰ͯͯΈ·͠ΐ͏ ʆŋТŋ

ೋ೫Θ͔Γ·͢ʁ ɾТɾ

ਖ਼ղ͸ͪ͜Β

Ͱ͸ͪ͜Βͷೋ೫ Тʆ ݱࡏ ະདྷ աڈ

ਖ਼ղ ʆŋТŋ ʎ ݱࡏ ະདྷ աڈ ˞͜Ε͸ͪΐͬͱࣗ৴ͳ͍

શһม૷όʔδϣϯʢೋ೫Λ౰͍ͯͯͩ͘͞ʣ

͜Μͳײ͡Ͱ͢ πϯσϨ

ಥવͰ͕͢ ࠞ߹Ψ΢ε෼෍Ͱߟ͑ͯΈ·͠ΐ͏

8JLJQFEJBΑΓൈਮ Ψ΢ε෼෍ ਖ਼ن෼෍ ͱ͸ʁ Ψ΢ε෼෍ ਖ਼ن෼෍ ͱ͸ɺฏۉ஋ͷ෇ۙʹूੵ͢ΔΑ͏ͳσʔλͷ෼෍Λදͨ͠࿈ ଓతͳม਺ʹؔ͢Δ֬཰෼෍Ͱ͋Δɻ த৺ۃݶఆཧʹΑΓɺಠཱͳଟ਺ͷҼࢠͷ࿨ͱͯ͠ද͞ΕΔ֬཰ม਺͸ਖ਼ن෼෍ʹै͏ɻ
͜ͷ͜ͱʹΑΓਖ਼ن෼෍͸౷ܭֶ΍ࣗવՊֶɺࣾձՊֶͷ༷ʑͳ৔໘Ͱෳࡶͳݱ৅Λ؆୯ʹද͢Ϟσϧͱͯ͠༻͍ΒΕ͍ͯΔɻ ͨͱ͑͹࣮ݧʹ͓͚Δଌఆͷޡࠩ͸ਖ਼ن෼෍ʹैͬͯ෼෍͢ΔͱԾఆ͞Εɺෆ͔֬͞ͷධՁ͕ܭࢉ͞Ε͍ͯΔɻ ֬཰ີ౓ؔ਺ ඪ४ਖ਼ن෼෍͕࣋ͭ֬཰ີ౓ؔ਺ͷάϥϑ

ࠞ߹Ψ΢ε෼෍ͱ͸ʁ ࠞ߹Ψ΢ε෼෍ͱ͸ɺෳ਺ݸͷΨ΢ε෼෍ΛॏͶ߹Θͤͨ֬཰ີ౓ؔ਺Ͱ͢ɻ ֬཰ີ౓ؔ਺ ෳ਺ݸͷΨ΢ε෼෍ͷॏͶ߹Θͤ &.ΞϧΰϦζϜపఈղઆɹIUUQTRJJUBDPNLFONBUTVJUFNTFBFEGBEDFGC 6EFNZϕΠζਪఆͱάϥϑΟΧϧϞσϧࠞ߹ਖ਼ن෼෍IUUQTXXXVEFNZDPNDPVSTFDPNQVUFSWJTJPOMFBSOMFDUVSFPWFSWJFX ࢀߟ63-

ೋ೫ɾਖ਼ن෼෍ᶃ ࣄલ֬཰ͳ͠ ʢ΄΅ϥϯμϜʣ ຖिϚΨδϯಡΉਓ ίϛοΫεશר㱣ϧʔϓ ݰਓ΄Ͳ෼ࢄ͕গͳ͘ ฏۉ஋͕ೋ೫ʹूத

ೋ೫ɾਖ਼ن෼෍ᶄ ࣄલ֬཰ͳ͠ ຖिϚΨδϯಡΉਓ ίϛοΫεશר㱣ϧʔϓ ݰਓ΄Ͳ෼ࢄ͕গͳ͘ ฏۉ஋͕ೋ೫ʹूத

ʲ࠶ܝʳϕΠζ౷ܭֶͱ͸ʁ ֬཰ɾ౷ܭ ߴߍେֶ ϕΠζ౷ܭ "*σʔλαΠΤϯε ස౓ओٛ ओ؍ओٛ ֬཰͸ܾఆࡁΈ શମΛ෦෼͔Βਪଌ ʮநग़ʯ
֬཰͸ະܾఆ શମͰ͸ͳ͘ະདྷ ʮΞοϓσʔτʯ શମ฼ूஂ σʔλ͸੩త ෦෼ඪຊ ؍ଌऀΑΓશମ աڈʹࣄલ֬཰ σʔλ͸ಈతʹ؍ଌ ະདྷʹࣄޙ֬཰ શମΑΓ؍ଌऀ ฏۉ஋ͱू߹͕ऩଋ͞ΕΔ·Ͱ ଟ͘ͷσʔλ͕ඞཁ গͳ͍σʔλͰ΋ ਖ਼ن෼෍౳ʹԾఆͯ͠ஔ͖׵͑Δ͜ͱͰ ϞσϧΛߋ৽͍ͯ͘͜͠ͱ͕Մೳ

ϕΠζ౷ܭֶͱ͸ʁ ·ͱΊ ɾϕΠζ౷ܭֶͱ͸ʁ ɹ৘ใ͕ೖΔͨͼʹ֬཰Λมߋ͍͖ͯ͠σʔλͷશମ૾Λ௫ΜͰֶ͍͘໰ɻ ɹओ؍ओٛͰࣄલ஌ࣝΛ൓өͰ͖ɺϞσϧΛߋ৽͍ͯ͘͜͠ͱ͕Մೳ ɾࣄલ෼෍ɺ໬౓ɺࣄޙ෼෍ ɹϕΠζ౷ܭͷֶशͱɺਖ਼ن෼෍ͷΠϝʔδΛ௫ΜͰ͍͖ͨͩ·ͨ͠ɻ

ϕΠζ౷ܭֶɾࣄྫ঺հ Θ ͔ Β Μ

ख़࿅ͷݚڀऀͷʮצͱܦݧʯΛ୭Ͱ΋؆୯ʹ࠶ݱʙՊֶٕज़ৼڵػߏ IUUQTXXXKTUHPKQQSBOOPVODFJOEFYIUNM ࢀߟ63- ࣄྫᶃ ख़࿅ͷݚڀऀͷʮצͱܦݧʯΛ୭Ͱ΋؆୯ʹ࠶ݱ ໨తʢ΍Γ͍ͨ͜ͱʣ ୯݁থߏ଄ղੳͷߴਫ਼౓Խͱߴޮ཰Խ ՝୊ʢϘτϧωοΫʣ ద੾ͳࢼྉͷબผͱܭଌ৚݅ͷઃఆΛߦ͏ඞཁ͕͋Δ ˠɹݚڀऀͷʮצͱܦݧʯʹཔ͍ͬͯͨ
ˠɹਖ਼֬ͳࢉग़ʹ͸਺͔͔࣌ؒΔ ະܦݧͷ ݚڀऀ ख़࿅ͷ ݚڀऀ ຊݚڀάϧʔϓͷ։ൃͨ͠γεςϜ ࣄલ֬཰ θϩ צͱܦݧ ਺෼ͷ༧උܭଌͰಘΒΕΔ਺ඦఔ౓ͷσʔλ͔Β༧ଌ ໬౓ θϩ ߴ͍ ख़࿅ͷܦݧऀΑΓ΋͞Βʹߴ͍ ࣄޙ֬཰ θϩ ߴ͍ ख़࿅ͷܦݧऀΑΓ΋͞Βʹߴ͍

1Z$PO+1ػցֶशʹ͓͚ΔϋΠύʔύϥϝʔλ࠷దԽͷཧ࿦ͱ࣮ફ IUUQTTQFBLFSEFDLDPNONBTBIJSPKJKJFYVFYJOJPLFSVIBJIBIBSBNFUB[VJTIJIVBGBMTFMJMVOUPTIJKJBO ࢀߟ63- ࣄྫᶄ "VUP.-ͷϋΠύʔύϥϝʔλ࠷దԽ ໨తʢ΍Γ͍ͨ͜ͱʣ ϋΠύʔύϥϝʔλ࠷దԽ ՝୊ʢϘτϧωοΫʣ ద੾ͳύϥϝʔλΛઃఆ͢Δਓࡐ͕ݶΒΕΔ ύϥϝʔλΛߟ͑Δͷʹ΋͕͔͔࣌ؒΔ
ˠɹϕΠζ౷ܭֶ͕༷ʑͳΞϧΰϦζϜͰ࢖༻͞Ε͍ͯΔ ී௨ͷ ΤϯδχΞ ख़࿅ͷ ΤϯδχΞ "VUP.- ࣄલ֬཰ ϥϯμϜ ஌ࣝɾܦݧ (1&*ɾ51&ɾ#0)#ɾ.5#0ͳͲ֤छΞϧΰϦζϜ ໬౓ ௿͍ ߴ͍ ߴ͍ʢख़࿅ͷΤϯδχΞΑΓߴ͍͔Ͳ͏͔͸ෆ໌ʣ ࣄޙ֬཰ ௿͍ ߴ͍ ߴ͍ʢख़࿅ͷΤϯδχΞΑΓߴ͍͔Ͳ͏͔͸ෆ໌ʣ

1Z$PO+11ZUIPOͱ"VUP.- IUUQTXXXZPVUVCFDPNXBUDI W8ILXV%H#TU ࢀߟ63- ࣄྫᶄ "VUP.-ͷϋΠύʔύϥϝʔλ࠷దԽ ࢀߟ63- 1Z$PO+11ZUIPOͱ"VUP.-ɹIUUQTXXXZPVUVCFDPNXBUDI W8ILXV%H#TU 1Z$PO+1ػցֶशʹ͓͚ΔϋΠύʔύϥϝʔλ࠷దԽͷཧ࿦ͱ࣮ફɹIUUQTXXXZPVUVCFDPNXBUDI
W'((12MSB&U ʢΑΓৄ͘͠஌Γ͍ͨํ޲͚ʣϕΠζ࠷దԽͷ਺ֶɹIUUQTRJJUBDPNXBUBLBOEIJJUFNTDBCFGEBCDEBDF

ࣄྫᶅ ϏοΫσʔλͷ෼ੳ͸٬؍త͔Βओ؍త΁ Ϗοάσʔλͷ෼ੳ͸٬؍త͔Βओ؍త΁ɺϕΠζਪఆ͕஫໨͞ΕΔཧ༝ IUUQTEDSPTTJNQSFTTDPKQEPDTDPMVNODPMVNOIUNM

ϕΠζ౷ܭͷద༻෼໺ ֬཰ɾ౷ܭɾਂ૚ֶश ϕΠζҎ֎ͷख๏ ϕΠζ౷ܭ ਺ཧϞσϧ Ϋϥ΢υͰͷֶश ը૾ೝࣝɾࣗવݴޠॲཧ౳ʣ (16౳ͷϦονͳϦιʔε͕࢖༻Ͱ͖ΔͳΒ ਂ૚ֶशͰߴ͍ਫ਼౓Λग़͢͜ͱ͕Մೳ ਺ཧϞσϧͷͨΊઆ໌͠΍͍͢
ਫ਼౓Ͱ͸ྼΔ Τοδ"* ΤοδΞφϦςΟΫε ਂ૚ֶशʢਪ࿦ʣ͕࢖͑ΔͳΒߴ͍ਫ਼౓ ˞J1IPOFͳͲిྗʹ༨༟͕͋ΔσόΠεͰ࢖༻Մೳ গͳ͍Ϧιʔεɾগͳ͍σʔλͰ΋ ͋Δఔ౓ੑೳΛग़͢͜ͱ͕Մೳ "VUP.- ʢػցֶशͷࣗಈԽʣ গͳ͍&QPDIͰֶशͰ͖Δ͜ͱΛ ໨ࢦ͢ͷʹ͸গʑෆ޲͖ (1&*ɾ51&ɾ#0)#ɾ.5#0ͳͲ ༷ʑͳܗͰ༻͍ΒΕ͍ͯΔ গͳ͍ࢼߦճ਺Λޮ཰తʹར༻Մೳ ਂ૚ֶशΑΓઆ໌͠΍͍͢

ϕΠζ౷ܭֶͷࣄྫ ·ͱΊ ɾʮצͱܦݧʯͷஔ͖׵͑ˠਫ਼౓ͷ޲্ ɹ୯݁থߏ଄ղੳͷߴਫ਼౓Խͱߴޮ཰Խʹ͍ͭͯϕΠζ࠷దԽ͕ར༻͞Ε͍ͯΔࣄྫΛ ঺հ͍͖ͤͯͨͩ͞·ͨ͠ɻ ɾ"VUP.-ͷϋΠύʔύϥϝʔλ࠷దԽ ɹϋΠύʔύϥϝʔλ࠷దԽʹϕΠζ͕ར༻͞Ε͍ͯΔ͜ͱΛ঺հ͠·ͨ͠ɻ ɾϏοΫσʔλ෼ੳͷมԽʢ٬؍త͔Βओ؍త΁ʣ ɹ੩తͳશମ͔Βσʔλͷશ༰Λ௫Ήैདྷܕͷ౷ܭֶͰ͸ɺશମ͕ෆ҆ఆͳݱ࣮ͱ੔߹ ੑ͕͋Θͳ͘ͳ͖͍ͬͯͯΔɻओ؍తͳߟ͑Ͱ৚݅Λઃఆ͠ɺෆ҆ఆͳશମ͔Βநग़͠
ͨσʔλ܈ʹର͠ɺ৚݅Λ͚ͭͳ͕Β౴͑ΛٻΊ͍ͯ͘ϕΠζ౷ܭֶͷߟ͑ํ͕ݱ࣮ʹ Ϛον͍ͯ͠Δɻ ɹϏϧɾήΠπʰੈلͷ.JDSPTPGUͷઓྗ͸ϕΠζͷςΫϊϩδʔͩʱ

&.ΞϧΰϦζϜ Θ ͔ Β Μ

ਖ਼ن෼෍͸୯७ͳϞσϧ NJO IUUQTXXXVEFNZDPNDPVSTFDPNQVUFSWJTJPOMFBSOMFDUVSF ਖ਼ن෼෍ͷ̏ͭͷ֦ு NJO IUUQTXXXVEFNZDPNDPVSTFDPNQVUFSWJTJPOMFBSOMFDUVSF જࡏม਺ͱ&.ΞϧΰϦζϜ NJO
IUUQTXXXVEFNZDPNDPVSTFDPNQVUFSWJTJPOMFBSOMFDUVSF ࠞ߹ਖ਼ن෼෍ NJO IUUQTXXXVEFNZDPNDPVSTFDPNQVUFSWJTJPOMFBSOMFDUVSF 6EFNZϕΠζਪఆͱάϥϑΟΧϧϞσϧ ਖ਼ن෼෍͸୯७ͳϞσϧʙࠞ߹ਖ਼ن෼෍ 6EFNZϕΠζਪఆͱάϥϑΟΧϧϞσϧ

࣮ࡍʹ&.ΞϧΰϦζϜΛߦͬͯΈ·͠ΐ͏ ͪ͜Βˣ͔ΒιʔείʔυΛμ΢ϯϩʔυ͍ͯͩ͘͠͞ git clone [email protected]:PythonBeginners/Meetup025_EM_Algorithm.git (SSH) git clone https://github.com/PythonBeginners/Meetup025_EM_Algorithm.git (HTTPS)
+VQZUFS/PUFCPPLͰҎԼͷϑΝΠϧΛ։͍͍ͯͩ͘͞ notebook/02_k-means_demo-animation.ipynb ४උ͕Ͱ͖ͨΒղઆΛॳΊ·͢ʂ

ॳΊ͸೉͍͔͠΋͠Ε·ͤΜ͕ܧଓ͢Δͱ࣮֬ʹྗʹͳΓ·͢ɻ ؾܰʹࢀՃ͍ͯͩ͘͠͞ ʆŋТŋ ʎ #FHJ-BC ϕΠζษڧձ ΄΅ຖि։࠵͍ͯ͠·͢ʂ #FHJ-BCϕΠζษڧձͰ͸6EFNZͷແ ྉ഑৴Λ΋ͱʹϕΠζͷษڧձΛߦͬͯ ͍·͢ɻ
ؾʹͳΔਓ͸TMBDLͷCFHJMBC@CBZTF νϟϯωϧΛ೷͍ͯΈ͍ͯͩ͘͞ɻ ৘ใ޻Ͱ͸਎ʹ͖ͭʹ͍͘਺ࣜͷಋग़ͳ Ͳ΋ߦ͍ͬͯͯɺগʑߴ౓ͳ಺༰Ͱ͢ɻ

&.ΞϧΰϦζϜ ·ͱΊ ɾ୯७ͳਖ਼ن෼෍ͷݶքͱ̏ͭͷΞϓϩʔν ɹ୯७ͳਖ਼ن෼෍Ͱ͸ݶք͕͋Γɺղܾํ๏͸ͭͷΞϓϩʔν͕͋Δɻ ɾࠞ߹Ψ΢ε෼෍ (.. ͱ&.ΞϧΰϦζϜ ɹղܾํ๏ͷ̍ͭͰ͋Δࠞ߹Ψ΢ε෼෍͸ղ͘ͷ͕೉͘͠ɺղΛٻΊΔͨΊʹ&.Ξϧ ΰϦζϜΛ࢖͏ɻ ɾ&.ΞϧΰϦζϜͷ1ZUIPOίʔσΟϯά
ɹ࣮ࡍʹ1ZUIPOͰಈ͘ͱ͜ΖΛ+VQZUFS/PUFCPPL্Ͱମݧͯ͠௖͖·ͨ͠ɻ

ʲ͓·͚ʳ1ZUIPO#FHJOOFSTԭೄͷऩࢧ Θ ͔ Β Μ

1ZUIPO#FHJOOFSTԭೄɾऩࢧ ߲໨ ֹۚ ิ଍ ऩೖ = Ͱ༗ྉԽ͞Ε͔ͯΒͷੵཱۚʢճ෼ ߹ಉษڧձͰ͸ܦඅΛ1Z%BUB0LJOBXB͔Βෛ୲ͯ͠௖
͍ͨͨΊɺ1Z#FHJͰ͸௃ऩ͍ͯ͠·ͤΜɻ ࢧग़ = ·ͬͨ͘࢖͍ͬͯͳ͍ঢ়ଶͰ͢ɻ ࣍ճ1ZUIPO#FHJOOFSTͰొஃऀΛݝ֎͔ΒݺͿࡍ ͷ౉ߤඅʹ౰ͯΔ༧ఆͰ͢ɻ ऩࢧ = ͪΐͬͱཷ·͖ͬͯ·ͨ͠Ͷʔɻ

ベイズ・EMアルゴリズムの紹介

ベイズ・EMアルゴリズムの紹介

More Decks by yasubei

Other Decks in Science

Featured

Transcript