自然言語処理の基本 / Basic of Natural Language Processing

by SKA’s Web

Slide 1

Slide 1 text

ࣗવݴޠॲཧͷجຊ 1ZUIPOػցֶशษڧձ JO৽ׁ 4,"`T8FC 1

Slide 2

Slide 2 text

ࢿྉͷϦϯΫషΔϖʔδ 2 ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ

Slide 3

Slide 3 text

໨࣍ r ࣗવݴޠॲཧͷجຊ 3 ɾࣗવݴޠॲཧͱ͸ ɾࣗવݴޠॲཧͷओͳλεΫ ɾλεΫΛղͨ͘Ίͷख๏ ɾࣗવݴޠॲཧͰ࢖ΘΕ͍ͯΔਂ૚ֶश ɾਂ૚ֶशͷར఺

Slide 4

Slide 4 text

5XJUUFS࿈ܞ 4 #pyml_niigata ͰͭͿ΍͘ͱʜʜ ɾ࣭໰ ɾײ૝ FY ͲΜͲΜͭͿ΍͍ͯΈͯͶ ը૾ɿ5XJUUFSɼLPOHBSJOJLV ༷ɼ͸Δ͔ ༷

Slide 5

Slide 5 text

ࣗݾ঺հ 5 ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"

Slide 6

Slide 6 text

ࠂ஌ʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ 6 ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ

Slide 7

Slide 7 text

ࠂ஌ 7 ௕ԬՖՐόʔνϟϧؑ৆ձ ։࠵༧ఆ ݄೔ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉ઀ਓ ˇ ݄೔ʢՐʣɿ73$IBU੮ ಉ઀nਓ ˇ

Slide 8

Slide 8 text

ࣗવݴޠॲཧͱ͸ 8 ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ ʢྫʣ೔ຊޠɼӳޠɼதࠃޠ نଇ͕ ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍ ݴޠΛίϯϐϡʔλʔͰѻ͏ ը૾ɿ͍Β͢ͱ΍

Slide 9

Slide 9 text

ࣗવݴޠॲཧͷجຊతͳλεΫ 9 ɾܗଶૉղੳɿ୯ޠʹ෼ׂͯ͠඼ࢺΛਪఆ ໋୊ʢ໊ࢺʣʗ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗ͸ʢॿࢺʣʗ ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ ɾߏจղੳɿ֤୯ޠ PSจઅͷ܎Γड͚ؔ܎Λਪఆ ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ ౳Λநग़ ɾ͔ͳ׽ࣈม׵ ը૾ɿ(J/;"

Slide 10

Slide 10 text

ࣗવݴޠॲཧͷԠ༻తͳλεΫ 10 ɾจॻ෼ྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎࿭ϝʔϧϑΟϧλʔɺ໰͍߹ΘͤΛ֤෦ॺʹׂৼΔ ɾจষੜ੒ɿʢྫʣΓΜͳͪΌΜɺ(15 ɾ຋༁ɿʢྫʣ%FFQ- ɾײ৘෼ੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾ ɾߍਖ਼ɿʢྫʣ8PSE ɾཁ໿ ɾจॻݕࡧ ը૾ɿ5XJUUFSɺ:BIPP+"1"/

Slide 11

Slide 11 text

·ͣ͸୯ޠʹ෼ׂ͠ͳ͍ͱ࢝·Βͳ͍ 11 ɾܗଶૉղੳɿ୳ࡧ໰୊ ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ ɾʮ֎ࠃਓࢀ੓ݖʯ͸ʮ֎ࠃʗਓࢀʗ੓ݖʯPSʮ֎ࠃʗਓʗࢀ੓ʗݖʯʁ ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢ ɾ໬΋Β͠͞͸৚݅෇͖֬཰৔΍࠶ؼχϡʔϥϧωοτϫʔΫͰֶश ը૾ɿ+6."/

Slide 12

Slide 12 text

୯ޠΛͲ͏දݱ͢Δʁ 12 ɾ୯ޠʹ෼ׂͰ͖ͯ΋จࣈίʔυͷ··Ͱ͸ҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍ ɾࣗવݴޠ͸ϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ࢖͏ ɾҰൠతͳ೔ຊਓ΋ӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ͸্ୡ͠ͳ͍ ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར ʢຒΊࠐΈʣ

Slide 13

Slide 13 text

౷ܭͱϕΫτϧͬͯؔ܎͋Δͷʁ 13 ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ ɾྫ͑͹ɺ߹ܭֹۚͷܭࢉ ঎඼໊ ୯Ձʢԁʣ ݸ਺ʢݸʣ ക͓ʹ͗Γ ࡪ͓ʹ͗Γ πφ͓ʹ͗Γ ߹ܭ ºʴ ºʴ º ݸ਺ ୯Ձ ߹ܭʹ୯Ձɾݸ਺

Slide 14

Slide 14 text

୯ޠΛͲ͏දݱ͢Δʁ 14 ɾ#BHPG8PSET ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ ˞ग़ݱճ਺ͱ͢Δ৔߹΋͋Δ ɾͪΐX࣍ݩ਺XXXX ɾྫจ"ʮࢲ͸.POUZ1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ ɾྫจ#ʮ·ͭ΋ͱ͞Μ͸3VCZΛॻ͍͍ͯΔʯ ࢲ .POUZ 1ZUIPO ॻ͘ ·ͭ΋ͱ 3VCZ ྫจ" ྫจ#

Slide 15

Slide 15 text

୯ޠΛͲ͏දݱ͢Δʁ 15 ɾ8PSE7FD ɾҰൠతͳจॻ͸͍ۙҐஔʹग़ͯ͘Δ୯ޠ͸ҙຯ΋͍ۙ ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ֬཰͕ߴ͍͔ͰϕΫτϧԽʢ෼ࢄදݱʣ ɾӅΕ૚ͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श ࢲ .POUZ ॻ͘ ·ͭ΋ͱ 3VCZ 1ZUIPO

Slide 16

Slide 16 text

ਂ૚ֶशͰ͖Μ͡ΌΜ 16 ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ ࢲ ͸ .POUZ1ZUIPOΛ ݟ ͳ͕Β 1ZUIPOΛ ॻ͍ ͨ

Slide 17

Slide 17 text

ਂ૚ֶशͰ͖Μ͡ΌΜ 17 "ͷ֬཰aɼ#ͷ֬཰b

Slide 18

Slide 18 text

ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 18 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

Slide 19

Slide 19 text

ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 19 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

Slide 20

Slide 20 text

·ͱΊ 20 ɾࣗવݴޠॲཧ͸ίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ ɾ·ͣ͸จࣈྻΛ୯ޠʹ෼ׂ͢Δඞཁ͕͋Δ ɾ୯ޠ͸ϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ ɾਂ૚ֶशΛ࢖͏ϝϦοτͱ͔࣮૷·ΘΓʹ͍ͭͯ͸࣍ճҎ߱Ͱ