Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 202...
Search
7pairs
December 17, 2020
Technology
0
480
テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter
Baseball Play Study 2020 冬 シーズン振返りスペシャル (BPStudy#160)
の資料です。
7pairs
December 17, 2020
Tweet
Share
More Decks by 7pairs
See All by 7pairs
Privacy Sandbox on Android / DroidKaigi 2024
7pairs
1
440
2020年の振り返りとBaseball Play Studyの振り返り / Jisyupy 29
7pairs
0
310
Because Python is there. / Jisyupy 27
7pairs
0
430
野球好きのための快適なプレゼンテーション環境の構築 / Baseball Play Study 2019 Winter
7pairs
0
1k
ちゃんと実装してちゃんとテストしよう / PyCon mini Hiroshima 2019
7pairs
2
870
Pie Meets Py / PyCon JP 2019
7pairs
3
5.3k
テキストマイニングによる新外国人選手の分析 / Baseball Play Study 2019 Spring
7pairs
0
2.7k
テキストマイニングによる応援歌の分析 / Baseball Play Study 2018 Winter
7pairs
0
2.2k
altJSとしてのPython / PyCon JP 2018
7pairs
2
2.6k
Other Decks in Technology
See All in Technology
軽いノリで"自動化"に取り組んではいけないという話
tetsuyaooooo
1
550
コード✕AIーソフトウェア開発者のための生成AI実践入門~
yuhattor
3
830
今こそ変化対応力を向上させるとき 〜ログラスが FAST に挑戦する理由〜 / Why Loglass is Talking on the Challenge of Agile Framework FAST
shioyang
0
110
Perlで始めるeBPF: 自作Loaderの作り方 / Getting started with eBPF in Perl_How to create your own Loader
takehaya
1
930
それでもやっぱり ExpressRoute が好き!
skmkzyk
0
330
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
230
UE5の雑多なテク
ryuichikawano
0
410
シェルとPerlの使い分け、 そういった思考の道具は、どこから来て、どこへゆくのか?v1.1.0
fmlorg
0
400
Vespaを利用したテクいベクトル検索
szdr
2
170
Efficient zero-copy networking using io_uring
ennael
PRO
0
370
業務ヒアリングと知識の呪い
tamai_63
0
290
Oracle Database 23ai 新機能#4 Application Continuity
oracle4engineer
PRO
0
120
Featured
See All Featured
How to Ace a Technical Interview
jacobian
275
23k
Side Projects
sachag
452
42k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Building Better People: How to give real-time feedback that sticks.
wjessup
362
19k
Web development in the modern age
philhawksworth
205
10k
BBQ
matthewcrist
85
9.2k
Done Done
chrislema
181
16k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.5k
Writing Fast Ruby
sferik
626
60k
KATA
mclloyd
27
13k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.5k
Transcript
ςΩετϚΠχϯάʹΑΔ ϓϩٿͷॱҐ༧ ୩ ५ / 2020-12-17 Baseball Play Study 2020ౙ
(BPStudy#160)
ͨΓোΓͷͳ͍ࣗݾհ • ୩ ५ (ͤ ͡ΎΜ) • Twitter / GitHubͰ
7pairs Ͱ׆ಈத • ࣗশAndroidΤϯδχΞ • Apple༷ͷؾ·͙ΕʹৼΓճ͞ΕͯࠓiOS͔͠৮͍ͬͯͳ͍ • ͖ͳϓϩάϥϛϯάݴޠ • PythonɼClojure • ৯ΔͨΊͷϓϩάϥϛϯάݴޠ • JavaɼObjective-CɼC#ɼJavaScript...
ͨΓোΓͷ͋Δࣗݾհ • ͖ͳٿ༻ޠ • FAݖΛߦͯ͠ཹɼੜ֔ϥΠΦϯζ • ͖ͩͬͨνϟϯς4 • ळࢁͷલ͔ΒྲྀΕΔΑ͏ʹҠߦ͢Δνϟϯς4 •
͖ͳελδΞϜάϧϝ • ࢰࢠϦΞϯϥΠεɼ3݄4݄10݄11݄ͷڱࢁ௮͚ɼ6݄7݄8݄ͷྫྷౚΈ͔Μ • ͖ͳ҉ࠇΫϦʔϯΞοϓτϦΦ • 3൪ϥΠτখؔɼ4൪ϑΝʔετླɼ5൪αʔυγΞϯϑϩοί (1999։ນઓ)
ຊͷΰʔϧ • ʮࣗԿ͔ͷੳΛ͍ͨ͠ʂʯͱ͍͏ؾ࣋ͪʹͳ͍ͬͯͨͩ͘ • ࡛ۄϥΠΦϯζͷެࣜΏΔΩϟϥͰ͋Δ Β͍ʹΐΜ͘Μͷ͔Θ͍͞Λཧղ͍ͯͨͩ͘͠
Β͍ʹΐΜ͘Μ͔Θ͍͍ʂ
ʹ΄Μ͠Γʔͣͬͯͳʹʁ
͘͞Β͖Ε͍ʔ
ΊΖΜͺʔΜ
͋ͬΔͺʔΜͪ
BPStudyͬΆ͍ٕज़ͷ
ςΩετϚΠχϯάͰॱҐΛ༧͢Δ • εϙʔπ৽ฉͷهࣄσʔλΛίʔύεͱ͠ɺword2vecͰ୯ޠΛϕΫτϧԽ • શࠃࢴࡿԼͷ4ࢴ͕ର (Ϧʔά༏উܾఆཌʹDT͕Ұ໘ʹདྷΔͷࢴ໘ͷެฏੑʹ͚ܽΔͨΊ) • αϯέΠεϙʔπ • εϙʔπχοϙϯ
• εϙʔπใ • ץεϙʔπ • 201910݄24 (ຊγϦʔζऴྃཌ) ͔Β20206݄18 (։ນલ) ͷهࣄ͕ର • νʔϜ໊Λ୯ޠͱͯ͠ͱΒ͑ɺʮ༏উʯͱͷྨࣅ͕ߴ͍ॱʹॱҐ͚
هࣄͷऩूํ๏ (20201݄͝Ζ·Ͱ) • εϙʔπ৽ฉͷαΠτΛఆظతʹΫϩʔϦϯά / εΫϨΠϐϯά • ScrapyΛར༻ • ݁ՌςΩετϑΝΠϧͱͯ͠Amazon
S3ʹอଘ • هࣄͷݕࡧͷͨΊʹElasticsearchʹσʔλΛొ • ੲͷهࣄ͕ඞཁʹͳͬͨ߹༗ྉαʔϏεͰߪೖ
2ճ͔͠ੳ͠ͳ͍ͷʹ ͓ۚΛ͔͚͗͢Ͱʁ
ίετݮʹ͚ͯ • ຊʹϦΞϧλΠϜͰ࣮ߦ͢Δඞཁ͕͋ΔͷΫϩʔϦϯά͚ͩ • ͕࣌ؒܦա͢ΔͱهࣄΛτοϓϖʔδ͔ΒḷΕͳ͘ͳΔͨΊ • εΫϨΠϐϯάҎ߱ੳͷલॲཧͱͯ͠खݩͰ࣮ࢪ͢Δ • ͜͜·ͰػೳΛߜΕαʔόʔϨεԽՄೳ •
Amazon S3Ҏ֎ແྉͰेߦ͚ͦ͏
هࣄͷऩूํ๏ (20202݄͝Ζ͔Β) • εϙʔπࢴͷαΠτΛఆظతʹΫϩʔϦϯά • AWS Lambda (Python) Λར༻ •
هࣄҰཡϖʔδΛղੳ͠ɺ֤هࣄϖʔδͷURLΛऔಘ • هࣄϖʔδੜHTMLͷ··S3ʹอଘ • ΫϩʔϦϯά࣮ࢪ࣌ͳͲɺཧ༻ͷใΛDynamoDBʹొ
ऩूج൫Λஔ͖͑ͨ݁Ռ͆͆͆͆͆
Ұ෦ͷσʔλΛ͏͔ͬΓ S3 GlacierʹҠಈ͍ͯͨͨ͠Ί Ή͠Ζ߹ܭίετ͕૿Ճ͠·ͨ͠
͓ͷΕGlacierΊ (ٯ࠘Έ)
άϥγΞϧ͡Όͳ͍Ͱ͢
݁Ռൃද
ηɾϦʔάॱҐ༧ / ݁Ռ ॱҐ ༧ ݁Ռ ಡച ಡച উഊ
ࡕਆ ࡕਆ উഊ ԣ%F/" த উഊ ౡ౦༸ ԣ%F/" উഊ த ౡ౦༸ উഊ ౦ژϠΫϧτ ౦ژϠΫϧτ উഊ
ύɾϦʔάॱҐ༧ / ݁Ռ ॱҐ ༧ ݁Ռ ԬιϑτόϯΫ ԬιϑτόϯΫ উഊ
౦ָఱ ઍ༿ϩος উഊ ઍ༿ϩος ࡛ۄ উഊ ւಓຊϋϜ ౦ָఱ উഊ ΦϦοΫε ւಓຊϋϜ উഊ ࡛ۄ ΦϦοΫε উഊ
(ΞΧϯ)
Ͱ͜ͷॱ൪ΛͲ͔͜ͰݟͨΑ͏ͳ
ผͷϥϯΩϯάͱൺֱͯ͠Έͨ
ηɾϦʔάಘࣦࠩ ॱҐ ॱҐ༧ ݁Ռ ಡച ಡച ࡕਆ
ԣ%F/" ԣ%F/" ࡕਆ ౡ౦༸ ౡ౦༸ த த ౦ژϠΫϧτ ౦ژϠΫϧτ
ύɾϦʔάಘࣦࠩ ॱҐ ॱҐ༧ ݁Ռ ԬιϑτόϯΫ ԬιϑτόϯΫ ౦ָఱ
౦ָఱ ઍ༿ϩος ઍ༿ϩος ւಓຊϋϜ ւಓຊϋϜ ΦϦοΫε ΦϦοΫε ࡛ۄ ࡛ۄ
ߦ͚ΔΜʂ (ͱͱॱҐ༧ͩͬͨͱ͍͏ࣄ࣮͔ΒΛͦΒ͠ͳ͕Β)
·ͱΊ
໌͔Βऩू / ੳΛ͢ΔͨΊʹ • Ճ౻ߞଠ (2019) PythonΫϩʔϦϯάˍεΫϨΠϐϯά [૿ิվగ൛] —
σʔλऩूɾղੳͷͨΊͷ࣮ફ։ൃΨΠυ ٕज़ධࣾ • ຊڮஐޫ (2018) લॲཧେશ — σʔλੳͷͨΊͷSQL/R/Python࣮ફςΫχοΫ ٕज़ධࣾ • ඌହ (2014) word2vecʹΑΔࣗવݴޠॲཧ ΦϥΠϦʔɾδϟύϯ
໌͔ΒσʔλͷऩूΛ࢝ΊΕ 1ޙʹ1ͷσʔλ͕ੵ͞Ε·͢
·ͱΊ • word2vecʹΑΔੳͰཌγʔζϯͷಘࣦࠩॱҐΛ ͋Δఔͷਫ਼ͰٻΊΔ͜ͱ͕Ͱ͖ͨ • Amazon S3ͷBucketͷઃఆʹࡉ৺ͷҙΛ͓͏ • কདྷͷࣗͷͨΊʹσʔλΛऩू͠Α͏
• Β͍ʹΐΜ͘Μ͔Θ͍͍ʂ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ དྷγʔζϯΑΖ͓͘͠ئ͍͠·͢