2021-07-10のPython機械学習勉強会 in 新潟 での発表資料です。 自然言語処理の基本というか、概要というかです。
ࣗવݴޠॲཧͷجຊ1ZUIPOػցֶशษڧձ JO৽ׁ4,"`T8FC1
View Slide
ࢿྉͷϦϯΫషΔϖʔδ2ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ
࣍ r ࣗવݴޠॲཧͷجຊ3ɾࣗવݴޠॲཧͱɾࣗવݴޠॲཧͷओͳλεΫɾλεΫΛղͨ͘Ίͷख๏ɾࣗવݴޠॲཧͰΘΕ͍ͯΔਂֶशɾਂֶशͷར
5XJUUFS࿈ܞ4#pyml_niigataͰͭͿ͘ͱʜʜɾ࣭ɾײ FYͲΜͲΜͭͿ͍ͯΈͯͶը૾ɿ5XJUUFSɼLPOHBSJOJLV ༷ɼΔ͔ ༷
ࣗݾհ5ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"
ࠂʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ6ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ
ࠂ7ԬՖՐόʔνϟϧؑձ ։࠵༧ఆ݄ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉਓ ˇ݄ʢՐʣɿ73$IBU੮ ಉnਓ ˇ
ࣗવݴޠॲཧͱ8ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠʢྫʣຊޠɼӳޠɼதࠃޠنଇ͕ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍ݴޠΛίϯϐϡʔλʔͰѻ͏ը૾ɿ͍Β͢ͱ
ࣗવݴޠॲཧͷجຊతͳλεΫ9ɾܗଶૉղੳɿ୯ޠʹׂͯ͠ࢺΛਪఆ໋ʢ໊ࢺʣʗ͢ʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗʢॿࢺʣʗِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣɾߏจղੳɿ֤୯ޠ PSจઅͷΓड͚ؔΛਪఆɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ Λநग़ɾ͔ͳࣈมը૾ɿ(J/;"
ࣗવݴޠॲཧͷԠ༻తͳλεΫ10ɾจॻྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎ϝʔϧϑΟϧλʔɺ͍߹ΘͤΛ֤෦ॺʹׂৼΔɾจষੜɿʢྫʣΓΜͳͪΌΜɺ(15ɾ༁ɿʢྫʣ%FFQ-ɾײੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾ɾߍਖ਼ɿʢྫʣ8PSEɾཁɾจॻݕࡧը૾ɿ5XJUUFSɺ:BIPP+"1"/
·ͣ୯ޠʹׂ͠ͳ͍ͱ࢝·Βͳ͍11ɾܗଶૉղੳɿ୳ࡧ ͢ʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣɾʮ֎ࠃਓࢀݖʯʮ֎ࠃʗਓࢀʗݖʯPSʮ֎ࠃʗਓʗࢀʗݖʯʁɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢ɾΒ͖݅֬͠͞࠶ؼχϡʔϥϧωοτϫʔΫͰֶशը૾ɿ+6."/
୯ޠΛͲ͏දݱ͢Δʁ12ɾ୯ޠʹׂͰ͖ͯจࣈίʔυͷ··Ͱҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍ɾࣗવݴޠϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ͏ɾҰൠతͳຊਓӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ্ୡ͠ͳ͍ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউརʢຒΊࠐΈʣ
౷ܭͱϕΫτϧͬͯؔ͋Δͷʁ13ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔɾྫ͑ɺ߹ܭֹۚͷܭࢉ໊ ୯Ձʢԁʣ ݸʢݸʣക͓ʹ͗Γ ࡪ͓ʹ͗Γ πφ͓ʹ͗Γ ߹ܭ ºʴ ºʴ º ݸ୯Ձ ߹ܭʹ୯Ձɾݸ
୯ޠΛͲ͏දݱ͢Δʁ14ɾ#BHPG8PSETɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ˞ग़ݱճͱ͢Δ߹͋ΔɾͪΐX࣍ݩXXXXɾྫจ"ʮࢲ.POUZ1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯɾྫจ#ʮ·ͭͱ͞Μ3VCZΛॻ͍͍ͯΔʯࢲ .POUZ 1ZUIPO ॻ͘ ·ͭͱ 3VCZྫจ" ྫจ#
୯ޠΛͲ͏දݱ͢Δʁ15ɾ8PSE7FDɾҰൠతͳจॻ͍ۙҐஔʹग़ͯ͘Δ୯ޠҙຯ͍ۙɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ͕֬ߴ͍͔ͰϕΫτϧԽʢࢄදݱʣɾӅΕͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠शࢲ .POUZ ॻ͘ ·ͭͱ 3VCZ1ZUIPO
ਂֶशͰ͖Μ͡ΌΜ16ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂࢲ .POUZ1ZUIPOΛ ݟ ͳ͕Β 1ZUIPOΛ ॻ͍ ͨ
ਂֶशͰ͖Μ͡ΌΜ17"ͷ֬aɼ#ͷ֬b
ਂֶशʹΑΔࣗવݴޠॲཧ18ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣɾ(36ʴ"UUFOUJPOɾ5SBOTGPSNFSɾ#&35ɾ5ɾ͜͜ΒΜৄ࣍͘͠ճҎ߱ʹ
ਂֶशʹΑΔࣗવݴޠॲཧ19ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣɾ(36ʴ"UUFOUJPOɾ5SBOTGPSNFSɾ#&35ɾ5ɾ͜͜ΒΜৄ࣍͘͠ճҎ߱ʹ
·ͱΊ20ɾࣗવݴޠॲཧίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱɾ·ͣจࣈྻΛ୯ޠʹׂ͢Δඞཁ͕͋Δɾ୯ޠϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶɾਂֶशΛ͏ϝϦοτͱ͔࣮·ΘΓʹ͍ͭͯ࣍ճҎ߱Ͱ