$30 off During Our Annual Pro Sale. View Details »

自然言語処理の基本 / Basic of Natural Language Processing

自然言語処理の基本 / Basic of Natural Language Processing

2021-07-10のPython機械学習勉強会 in 新潟 での発表資料です。
自然言語処理の基本というか、概要というかです。

SKA’s Web

July 10, 2021
Tweet

More Decks by SKA’s Web

Other Decks in Technology

Transcript

  1. ࣗવݴޠॲཧͷجຊ
    1ZUIPOػցֶशษڧձ JO৽ׁ
    4,"`T8FC
    1

    View Slide

  2. ࢿྉͷϦϯΫషΔϖʔδ
    2
    ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ

    View Slide

  3. ໨࣍ r ࣗવݴޠॲཧͷجຊ
    3
    ɾࣗવݴޠॲཧͱ͸
    ɾࣗવݴޠॲཧͷओͳλεΫ
    ɾλεΫΛղͨ͘Ίͷख๏
    ɾࣗવݴޠॲཧͰ࢖ΘΕ͍ͯΔਂ૚ֶश
    ɾਂ૚ֶशͷར఺

    View Slide

  4. 5XJUUFS࿈ܞ
    4
    #pyml_niigata
    ͰͭͿ΍͘ͱʜʜ
    ɾ࣭໰
    ɾײ૝ FY

    ͲΜͲΜͭͿ΍͍ͯΈͯͶ
    ը૾ɿ5XJUUFSɼLPOHBSJOJLV ༷ɼ͸Δ͔ ༷

    View Slide

  5. ࣗݾ঺հ
    5
    ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"

    View Slide

  6. ࠂ஌ʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ
    6
    ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ

    View Slide

  7. ࠂ஌
    7
    ௕ԬՖՐόʔνϟϧؑ৆ձ ։࠵༧ఆ
    ݄೔ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉ઀ਓ ˇ
    ݄೔ʢՐʣɿ73$IBU੮ ಉ઀nਓ ˇ

    View Slide

  8. ࣗવݴޠॲཧͱ͸
    8
    ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ
    ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ
    ʢྫʣ೔ຊޠɼӳޠɼதࠃޠ
    نଇ͕
    ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍
    ݴޠΛίϯϐϡʔλʔͰѻ͏
    ը૾ɿ͍Β͢ͱ΍

    View Slide

  9. ࣗવݴޠॲཧͷجຊతͳλεΫ
    9
    ɾܗଶૉղੳɿ୯ޠʹ෼ׂͯ͠඼ࢺΛਪఆ
    ໋୊ʢ໊ࢺʣʗ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗ͸ʢॿࢺʣʗ
    ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ
    ɾߏจղੳɿ֤୯ޠ PSจઅͷ܎Γड͚ؔ܎Λਪఆ
    ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ ౳Λநग़
    ɾ͔ͳ׽ࣈม׵
    ը૾ɿ(J/;"

    View Slide

  10. ࣗવݴޠॲཧͷԠ༻తͳλεΫ
    10
    ɾจॻ෼ྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎࿭ϝʔϧϑΟϧλʔɺ໰͍߹ΘͤΛ֤෦ॺʹׂৼΔ
    ɾจষੜ੒ɿʢྫʣΓΜͳͪΌΜɺ(15
    ɾ຋༁ɿʢྫʣ%FFQ-
    ɾײ৘෼ੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾
    ɾߍਖ਼ɿʢྫʣ8PSE
    ɾཁ໿
    ɾจॻݕࡧ
    ը૾ɿ5XJUUFSɺ:BIPP+"1"/

    View Slide

  11. ·ͣ͸୯ޠʹ෼ׂ͠ͳ͍ͱ࢝·Βͳ͍
    11
    ɾܗଶૉղੳɿ୳ࡧ໰୊ ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ
    ɾʮ֎ࠃਓࢀ੓ݖʯ͸ʮ֎ࠃʗਓࢀʗ੓ݖʯPSʮ֎ࠃʗਓʗࢀ੓ʗݖʯʁ
    ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢
    ɾ໬΋Β͠͞͸৚݅෇͖֬཰৔΍࠶ؼχϡʔϥϧωοτϫʔΫͰֶश
    ը૾ɿ+6."/

    View Slide

  12. ୯ޠΛͲ͏දݱ͢Δʁ
    12
    ɾ୯ޠʹ෼ׂͰ͖ͯ΋จࣈίʔυͷ··Ͱ͸ҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍
    ɾࣗવݴޠ͸ϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ࢖͏
    ɾҰൠతͳ೔ຊਓ΋ӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ͸্ୡ͠ͳ͍
    ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར
    ʢຒΊࠐΈʣ

    View Slide

  13. ౷ܭͱϕΫτϧͬͯؔ܎͋Δͷʁ
    13
    ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ
    ɾྫ͑͹ɺ߹ܭֹۚͷܭࢉ
    ঎඼໊ ୯Ձʢԁʣ ݸ਺ʢݸʣ
    ക͓ʹ͗Γ
    ࡪ͓ʹ͗Γ
    πφ͓ʹ͗Γ
    ߹ܭ ºʴ ºʴ º


    ݸ਺
    ୯Ձ


    ߹ܭʹ୯Ձɾݸ਺

    View Slide

  14. ୯ޠΛͲ͏දݱ͢Δʁ
    14
    ɾ#BHPG8PSET
    ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ
    ˞ग़ݱճ਺ͱ͢Δ৔߹΋͋Δ
    ɾͪΐX࣍ݩ਺XXXX
    ɾྫจ"ʮࢲ͸.POUZ1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ
    ɾྫจ#ʮ·ͭ΋ͱ͞Μ͸3VCZΛॻ͍͍ͯΔʯ
    ࢲ .POUZ 1ZUIPO ॻ͘ ·ͭ΋ͱ 3VCZ
    ྫจ"
    ྫจ#

    View Slide

  15. ୯ޠΛͲ͏දݱ͢Δʁ
    15
    ɾ8PSE7FD
    ɾҰൠతͳจॻ͸͍ۙҐஔʹग़ͯ͘Δ୯ޠ͸ҙຯ΋͍ۙ
    ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ
    ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ֬཰͕ߴ͍͔ͰϕΫτϧԽʢ෼ࢄදݱʣ
    ɾӅΕ૚ͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श
    ࢲ .POUZ ॻ͘ ·ͭ΋ͱ 3VCZ
    1ZUIPO

    View Slide

  16. ਂ૚ֶशͰ͖Μ͡ΌΜ
    16
    ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ
    ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ
    ࢲ ͸ .POUZ1ZUIPOΛ ݟ ͳ͕Β 1ZUIPOΛ ॻ͍ ͨ

    View Slide

  17. ਂ૚ֶशͰ͖Μ͡ΌΜ
    17
    "ͷ֬཰aɼ#ͷ֬཰b

    View Slide

  18. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ
    18
    ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ
    ɾ(36ʴ"UUFOUJPO
    ɾ5SBOTGPSNFS
    ɾ#&35
    ɾ5
    ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

    View Slide

  19. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ
    19
    ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ
    ɾ(36ʴ"UUFOUJPO
    ɾ5SBOTGPSNFS
    ɾ#&35
    ɾ5
    ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

    View Slide

  20. ·ͱΊ
    20
    ɾࣗવݴޠॲཧ͸ίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ
    ɾ·ͣ͸จࣈྻΛ୯ޠʹ෼ׂ͢Δඞཁ͕͋Δ
    ɾ୯ޠ͸ϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ
    ɾਂ૚ֶशΛ࢖͏ϝϦοτͱ͔࣮૷·ΘΓʹ͍ͭͯ͸࣍ճҎ߱Ͱ

    View Slide