Upgrade to Pro — share decks privately, control downloads, hide ads and more …

自然言語処理の基本 / Basic of Natural Language Processing

307839dcba61e984dcab7ae753990218?s=47 SKA’s Web
July 10, 2021
Technology
0
150

自然言語処理の基本 / Basic of Natural Language Processing

2021-07-10のPython機械学習勉強会 in 新潟 での発表資料です。
自然言語処理の基本というか、概要というかです。

307839dcba61e984dcab7ae753990218?s=128

SKA’s Web

July 10, 2021
Tweet

More Decks by SKA’s Web

See All by SKA’s Web
学習しやすいネットワークガチャ？ 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis
307839dcba61e984dcab7ae753990218?s=48 skasweb
1
77
宝くじ仮説の話を少し / LT Lottery Ticket Hypothesis
307839dcba61e984dcab7ae753990218?s=48 skasweb
0
140
AIとクラスター分析について自作アイテムを用いて解説してみた 【VRアカデミア3周年カウントダウン】 / Explaining AI and Cluster Analysis Using My Item
307839dcba61e984dcab7ae753990218?s=48 skasweb
0
97

Other Decks in Technology

See All in Technology
金融スタートアップの上場準備で大事にしたマインドセット / 2022-08-04-the-mindset-in-preparing-for-ipo
0251532f4fb413ea1a026efe6eb16b87?s=48 stajima
0
320
20220803投資先CXO候補者向け 会社紹介資料_合同会社BLUEPRINT
08b07f5e5f554c4f4a6a30ef1cca28ad?s=48 hik
0
330
EC／CRMの自社サービス開発をマネジメントするようになって1年でやってきたこととこれから / devio2022-takano-sho-road-to-good-development-team-management
Fee058832252e72722b8b03073ff6324?s=48 masaru_b_cl
0
430
サイバー攻撃を想定したクラウドネイティブセキュリティガイドラインとCNAPP及びSecurity Observabilityの未来
E7f82c6db76f340b8ccc175d4330405b?s=48 sakon310
4
460
Getting Started in Product Management
0ed10d1154c696886ca483fe827cb299?s=48 thatjeffsmith
0
110
Continuous Architecture Design for Modernization
9b63847a4c413a2604e1d64e5d595dab?s=48 humank
1
470
質の良い”カイゼン”の為の質の良い「振り返り」
Bf7fe621f4fe1615c228ef8a79b87282?s=48 shirayanagiryuji
0
130
EKS AnywhereとIAM Anywhereを組み合わせてみた
28dd434482959f605e535fb81f691326?s=48 regmarmcem
0
360
やってみたLT会 Fleet Managerのススメ
3282faa17a370dd254382f4bf2c7ba3a?s=48 yukiiiiikuma
PRO
0
400
Djangoで組織とユーザーの権限管理をやってみよう #devio2022
Fe8025d56f2bf17204e3aa7598a96fe2?s=48 seiichi1101
0
400
ECS Fargate+Mackerelにおける監視費用を削減するまでの話
3e77f9dbec6a87756d1dbdddab283aee?s=48 nulabinc
PRO
1
470
金融領域のマルチプロダクトを効率よく開発・運用するためのシステム基盤と組織設計について / 2022-07-28-multi-product-platform
0251532f4fb413ea1a026efe6eb16b87?s=48 stajima
0
150

Featured

See All Featured
The Invisible Customer
4262b9cfacfb6b2c77f23e1d0310cd3e?s=48 myddelton
110
11k
What’s in a name? Adding method to the madness
C0390e8b11079f8761c0cd3274ed61cb?s=48 productmarketing
11
1.6k
Faster Mobile Websites
C620790ae5bf5b50c245b2e0ef95f338?s=48 deanohume
294
28k
GraphQLの誤解/rethinking-graphql
3cb4e761dbdb7aebd1ffd85f752e1e3e?s=48 sonatard
31
6.8k
Designing for humans not robots
D36d2c1821af9249b69ff7f5ed60529b?s=48 tammielis
241
24k
Debugging Ruby Performance
D47656e20ff5e42f125fc5ea0fd636c6?s=48 tmm1
65
10k
Making the Leap to Tech Lead
32de0bd2ba869609d26fd052a4622778?s=48 cromwellryan
113
7.4k
Large-scale JavaScript Application Architecture
96270e4c3e5e9806cf7245475c00b275?s=48 addyosmani
499
110k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
651dcfe41723207fbb0aa044a4f7c07f?s=48 dotmariusz
100
6k
The Language of Interfaces
Fde6c3a50ca518a909ef35c22c0ee0e4?s=48 destraynor
148
21k
4 Signs Your Business is Dying
E4f5d494ebdc9e7cce1aecf3ce3e8bc1?s=48 shpigford
169
20k
Thoughts on Productivity
A16eb159db895e3b01d3dc95767ad595?s=48 jonyablonski
44
2.4k

Transcript

  1. ࣗવݴޠॲཧͷجຊ 1ZUIPOػցֶशษڧձ JO৽ׁ 4,"`T8FC 1

  2. ࢿྉͷϦϯΫషΔϖʔδ 2 ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ

  3. ໨࣍ r ࣗવݴޠॲཧͷجຊ 3 ɾࣗવݴޠॲཧͱ͸ ɾࣗવݴޠॲཧͷओͳλεΫ ɾλεΫΛղͨ͘Ίͷख๏ ɾࣗવݴޠॲཧͰ࢖ΘΕ͍ͯΔਂ૚ֶश ɾਂ૚ֶशͷར఺

  4. 5XJUUFS࿈ܞ 4 #pyml_niigata ͰͭͿ΍͘ͱʜʜ ɾ࣭໰ ɾײ૝ FY  ͲΜͲΜͭͿ΍͍ͯΈͯͶ ը૾ɿ5XJUUFSɼLPOHBSJOJLV

    ༷ɼ͸Δ͔ ༷

  5. ࣗݾ঺հ 5 ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"

  6. ࠂ஌ʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ 6 ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ

  7. ࠂ஌ 7 ௕ԬՖՐόʔνϟϧؑ৆ձ ։࠵༧ఆ ݄೔ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉ઀ਓ ˇ ݄೔ʢՐʣɿ73$IBU੮ ಉ઀nਓ ˇ

  8. ࣗવݴޠॲཧͱ͸ 8 ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ ʢྫʣ೔ຊޠɼӳޠɼதࠃޠ نଇ͕ ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍ ݴޠΛίϯϐϡʔλʔͰѻ͏ ը૾ɿ͍Β͢ͱ΍

  9. ࣗવݴޠॲཧͷجຊతͳλεΫ 9 ɾܗଶૉղੳɿ୯ޠʹ෼ׂͯ͠඼ࢺΛਪఆ ໋୊ʢ໊ࢺʣʗ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗ͸ʢॿࢺʣʗ ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ ɾߏจղੳɿ֤୯ޠ PSจઅͷ܎Γड͚ؔ܎Λਪఆ ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ ౳Λநग़ ɾ͔ͳ׽ࣈม׵

    ը૾ɿ(J/;"

  10. ࣗવݴޠॲཧͷԠ༻తͳλεΫ 10 ɾจॻ෼ྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎࿭ϝʔϧϑΟϧλʔɺ໰͍߹ΘͤΛ֤෦ॺʹׂৼΔ ɾจষੜ੒ɿʢྫʣΓΜͳͪΌΜɺ(15 ɾ຋༁ɿʢྫʣ%FFQ- ɾײ৘෼ੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾ ɾߍਖ਼ɿʢྫʣ8PSE ɾཁ໿ ɾจॻݕࡧ ը૾ɿ5XJUUFSɺ:BIPP+"1"/

  11. ·ͣ͸୯ޠʹ෼ׂ͠ͳ͍ͱ࢝·Βͳ͍ 11 ɾܗଶૉղੳɿ୳ࡧ໰୊ ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ ɾʮ֎ࠃਓࢀ੓ݖʯ͸ʮ֎ࠃʗਓࢀʗ੓ݖʯPSʮ֎ࠃʗਓʗࢀ੓ʗݖʯʁ ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢ ɾ໬΋Β͠͞͸৚݅෇͖֬཰৔΍࠶ؼχϡʔϥϧωοτϫʔΫͰֶश ը૾ɿ+6."/

  12. ୯ޠΛͲ͏දݱ͢Δʁ 12 ɾ୯ޠʹ෼ׂͰ͖ͯ΋จࣈίʔυͷ··Ͱ͸ҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍ ɾࣗવݴޠ͸ϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ࢖͏ ɾҰൠతͳ೔ຊਓ΋ӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ͸্ୡ͠ͳ͍ ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར ʢຒΊࠐΈʣ

  13. ౷ܭͱϕΫτϧͬͯؔ܎͋Δͷʁ 13 ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ ɾྫ͑͹ɺ߹ܭֹۚͷܭࢉ ঎඼໊ ୯Ձʢԁʣ ݸ਺ʢݸʣ ക͓ʹ͗Γ 

     ࡪ͓ʹ͗Γ   πφ͓ʹ͗Γ   ߹ܭ ºʴ ºʴ º    ݸ਺ ୯Ձ    ߹ܭʹ୯Ձɾݸ਺

  14. ୯ޠΛͲ͏දݱ͢Δʁ 14 ɾ#BHPG8PSET ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ ˞ग़ݱճ਺ͱ͢Δ৔߹΋͋Δ ɾͪΐX࣍ݩ਺XXXX ɾྫจ"ʮࢲ͸.POUZ1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ ɾྫจ#ʮ·ͭ΋ͱ͞Μ͸3VCZΛॻ͍͍ͯΔʯ ࢲ .POUZ

    1ZUIPO ॻ͘ ·ͭ΋ͱ 3VCZ ྫจ"       ྫจ#      

  15. ୯ޠΛͲ͏දݱ͢Δʁ 15 ɾ8PSE7FD ɾҰൠతͳจॻ͸͍ۙҐஔʹग़ͯ͘Δ୯ޠ͸ҙຯ΋͍ۙ ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ֬཰͕ߴ͍͔ͰϕΫτϧԽʢ෼ࢄදݱʣ ɾӅΕ૚ͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श ࢲ .POUZ ॻ͘

    ·ͭ΋ͱ 3VCZ 1ZUIPO     

  16. ਂ૚ֶशͰ͖Μ͡ΌΜ 16 ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ ࢲ ͸ .POUZ1ZUIPOΛ ݟ ͳ͕Β 1ZUIPOΛ

    ॻ͍ ͨ

  17. ਂ૚ֶशͰ͖Μ͡ΌΜ 17 "ͷ֬཰aɼ#ͷ֬཰b

  18. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 18 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

  19. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 19 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

  20. ·ͱΊ 20 ɾࣗવݴޠॲཧ͸ίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ ɾ·ͣ͸จࣈྻΛ୯ޠʹ෼ׂ͢Δඞཁ͕͋Δ ɾ୯ޠ͸ϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ ɾਂ૚ֶशΛ࢖͏ϝϦοτͱ͔࣮૷·ΘΓʹ͍ͭͯ͸࣍ճҎ߱Ͱ