Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自然言語処理の基本 / Basic of Natural Language Processing
Search
SKA’s Web
July 10, 2021
Technology
0
260
自然言語処理の基本 / Basic of Natural Language Processing
2021-07-10のPython機械学習勉強会 in 新潟 での発表資料です。
自然言語処理の基本というか、概要というかです。
SKA’s Web
July 10, 2021
Tweet
Share
More Decks by SKA’s Web
See All by SKA’s Web
学習しやすいネットワークガチャ? 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis
skasweb
1
350
宝くじ仮説の話を少し / LT Lottery Ticket Hypothesis
skasweb
0
290
AIとクラスター分析について自作アイテムを用いて解説してみた 【VRアカデミア3周年カウントダウン】 / Explaining AI and Cluster Analysis Using My Item
skasweb
0
220
Other Decks in Technology
See All in Technology
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
0
230
開発生産性向上サービスを作るFindyが自分たちで開発生産性を爆上げした組織づくりの歩み / Findy's path to boosting its own development productivity 2024-04-17
ma3tk
3
650
SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、PDCAサイクルを回してみた
coconala_engineer
0
280
Databricks における 『MLOps』
databricksjapan
2
170
自己改善からチームを動かす! 「セルフエンジニアリングマネージャー」のすゝめ
shoota
6
420
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
110
20分で完全に理解するGrafanaダッシュボード
hamadakoji
3
430
Vertex AI を中心に 生成AIのアップデートを共有します
kaz1437
0
300
VS CodeでAWSを操作しよう
smt7174
7
1.6k
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
2.1k
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
210
エンジニアのキャリアをちょっと楽しくする3本の軸/Three Pillars to Make an Engineer's Career More Enjoyable
kwappa
0
2.7k
Featured
See All Featured
Scaling GitHub
holman
457
140k
It's Worth the Effort
3n
180
27k
Clear Off the Table
cherdarchuk
84
310k
Building Better People: How to give real-time feedback that sticks.
wjessup
355
18k
KATA
mclloyd
15
12k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
Designing Experiences People Love
moore
136
23k
Music & Morning Musume
bryan
41
5.6k
Fireside Chat
paigeccino
21
2.6k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
6
1.5k
YesSQL, Process and Tooling at Scale
rocio
164
13k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
7
1k
Transcript
ࣗવݴޠॲཧͷجຊ 1ZUIPOػցֶशษڧձ JO৽ׁ 4,"`T8FC 1
ࢿྉͷϦϯΫషΔϖʔδ 2 ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ
࣍ r ࣗવݴޠॲཧͷجຊ 3 ɾࣗવݴޠॲཧͱ ɾࣗવݴޠॲཧͷओͳλεΫ ɾλεΫΛղͨ͘Ίͷख๏ ɾࣗવݴޠॲཧͰΘΕ͍ͯΔਂֶश ɾਂֶशͷར
5XJUUFS࿈ܞ 4 #pyml_niigata ͰͭͿ͘ͱʜʜ ɾ࣭ ɾײ FY ͲΜͲΜͭͿ͍ͯΈͯͶ ը૾ɿ5XJUUFSɼLPOHBSJOJLV
༷ɼΔ͔ ༷
ࣗݾհ 5 ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"
ࠂʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ 6 ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ
ࠂ 7 ԬՖՐόʔνϟϧؑձ ։࠵༧ఆ ݄ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉਓ ˇ ݄ʢՐʣɿ73$IBU੮ ಉnਓ ˇ
ࣗવݴޠॲཧͱ 8 ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ ʢྫʣຊޠɼӳޠɼதࠃޠ نଇ͕ ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍ ݴޠΛίϯϐϡʔλʔͰѻ͏ ը૾ɿ͍Β͢ͱ
ࣗવݴޠॲཧͷجຊతͳλεΫ 9 ɾܗଶૉղੳɿ୯ޠʹׂͯ͠ࢺΛਪఆ ໋ʢ໊ࢺʣʗ͢ʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗʢॿࢺʣʗ ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ ɾߏจղੳɿ֤୯ޠ PSจઅͷΓड͚ؔΛਪఆ ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ Λநग़ ɾ͔ͳࣈม
ը૾ɿ(J/;"
ࣗવݴޠॲཧͷԠ༻తͳλεΫ 10 ɾจॻྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎ϝʔϧϑΟϧλʔɺ͍߹ΘͤΛ֤෦ॺʹׂৼΔ ɾจষੜɿʢྫʣΓΜͳͪΌΜɺ(15 ɾ༁ɿʢྫʣ%FFQ- ɾײੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾ ɾߍਖ਼ɿʢྫʣ8PSE ɾཁ ɾจॻݕࡧ ը૾ɿ5XJUUFSɺ:BIPP+"1"/
·ͣ୯ޠʹׂ͠ͳ͍ͱ࢝·Βͳ͍ 11 ɾܗଶૉղੳɿ୳ࡧ ͢ʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ ɾʮ֎ࠃਓࢀݖʯʮ֎ࠃʗਓࢀʗݖʯPSʮ֎ࠃʗਓʗࢀʗݖʯʁ ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢ ɾΒ͖݅֬͠͞࠶ؼχϡʔϥϧωοτϫʔΫͰֶश ը૾ɿ+6."/
୯ޠΛͲ͏දݱ͢Δʁ 12 ɾ୯ޠʹׂͰ͖ͯจࣈίʔυͷ··Ͱҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍ ɾࣗવݴޠϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ͏ ɾҰൠతͳຊਓӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ্ୡ͠ͳ͍ ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར ʢຒΊࠐΈʣ
౷ܭͱϕΫτϧͬͯؔ͋Δͷʁ 13 ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ ɾྫ͑ɺ߹ܭֹۚͷܭࢉ ໊ ୯Ձʢԁʣ ݸʢݸʣ ക͓ʹ͗Γ
ࡪ͓ʹ͗Γ πφ͓ʹ͗Γ ߹ܭ ºʴ ºʴ º ݸ ୯Ձ ߹ܭʹ୯Ձɾݸ
୯ޠΛͲ͏දݱ͢Δʁ 14 ɾ#BHPG8PSET ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ ˞ग़ݱճͱ͢Δ߹͋Δ ɾͪΐX࣍ݩXXXX ɾྫจ"ʮࢲ.POUZ1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ ɾྫจ#ʮ·ͭͱ͞Μ3VCZΛॻ͍͍ͯΔʯ ࢲ .POUZ
1ZUIPO ॻ͘ ·ͭͱ 3VCZ ྫจ" ྫจ#
୯ޠΛͲ͏දݱ͢Δʁ 15 ɾ8PSE7FD ɾҰൠతͳจॻ͍ۙҐஔʹग़ͯ͘Δ୯ޠҙຯ͍ۙ ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ͕֬ߴ͍͔ͰϕΫτϧԽʢࢄදݱʣ ɾӅΕͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श ࢲ .POUZ ॻ͘
·ͭͱ 3VCZ 1ZUIPO
ਂֶशͰ͖Μ͡ΌΜ 16 ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ ࢲ .POUZ1ZUIPOΛ ݟ ͳ͕Β 1ZUIPOΛ
ॻ͍ ͨ
ਂֶशͰ͖Μ͡ΌΜ 17 "ͷ֬aɼ#ͷ֬b
ਂֶशʹΑΔࣗવݴޠॲཧ 18 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜ΒΜৄ࣍͘͠ճҎ߱ʹ
ਂֶशʹΑΔࣗવݴޠॲཧ 19 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜ΒΜৄ࣍͘͠ճҎ߱ʹ
·ͱΊ 20 ɾࣗવݴޠॲཧίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ ɾ·ͣจࣈྻΛ୯ޠʹׂ͢Δඞཁ͕͋Δ ɾ୯ޠϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ ɾਂֶशΛ͏ϝϦοτͱ͔࣮·ΘΓʹ͍ͭͯ࣍ճҎ߱Ͱ