Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter
Search
7pairs
December 17, 2020
Technology
0
440
テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter
Baseball Play Study 2020 冬 シーズン振返りスペシャル (BPStudy#160)
の資料です。
7pairs
December 17, 2020
Tweet
Share
More Decks by 7pairs
See All by 7pairs
2020年の振り返りとBaseball Play Studyの振り返り / Jisyupy 29
7pairs
0
310
Because Python is there. / Jisyupy 27
7pairs
0
390
野球好きのための快適なプレゼンテーション環境の構築 / Baseball Play Study 2019 Winter
7pairs
0
990
ちゃんと実装してちゃんとテストしよう / PyCon mini Hiroshima 2019
7pairs
2
790
Pie Meets Py / PyCon JP 2019
7pairs
3
5.1k
テキストマイニングによる新外国人選手の分析 / Baseball Play Study 2019 Spring
7pairs
0
2.6k
テキストマイニングによる応援歌の分析 / Baseball Play Study 2018 Winter
7pairs
0
2.1k
altJSとしてのPython / PyCon JP 2018
7pairs
2
2.4k
テキストマイニングによるフリーエージェント有資格選手の分析 / Baseball Play Study 2018 Spring
7pairs
1
240
Other Decks in Technology
See All in Technology
反実仮想機械学習とは何か
usaito
PRO
11
4.7k
VS CodeでAWSを操作しよう
smt7174
8
1.7k
Databricks における 『MLOps』
databricksjapan
2
170
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
300
どうするコスト最適化のトレードオフ
tetsuyaooooo
1
530
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
130
「スニダン」開発組織の構造に込めた意図 ~組織作りはパッションや政治ではない!~
rinchsan
3
570
Google Cloud の AI を支える裏側のインフラを垣間見る!
maroon1st
0
360
Janus
bkuhlmann
1
490
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
0
350
KubeCon EU 2024 Recap “Kubernetes Policy Time Machine: Where to Next?”
ryysud
0
220
プラットフォームってつくることより計測することが重要なんじゃないかという話 / Platform Engineering Meetup #8
taishin
1
370
Featured
See All Featured
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
6
1.5k
The Pragmatic Product Professional
lauravandoore
25
5.8k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Writing Fast Ruby
sferik
621
60k
Docker and Python
trallard
34
2.7k
A designer walks into a library…
pauljervisheath
200
23k
Code Reviewing Like a Champion
maltzj
514
39k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
Happy Clients
brianwarren
92
6.4k
Learning to Love Humans: Emotional Interface Design
aarron
267
39k
The Invisible Customer
myddelton
114
12k
Transcript
ςΩετϚΠχϯάʹΑΔ ϓϩٿͷॱҐ༧ ୩ ५ / 2020-12-17 Baseball Play Study 2020ౙ
(BPStudy#160)
ͨΓোΓͷͳ͍ࣗݾհ • ୩ ५ (ͤ ͡ΎΜ) • Twitter / GitHubͰ
7pairs Ͱ׆ಈத • ࣗশAndroidΤϯδχΞ • Apple༷ͷؾ·͙ΕʹৼΓճ͞ΕͯࠓiOS͔͠৮͍ͬͯͳ͍ • ͖ͳϓϩάϥϛϯάݴޠ • PythonɼClojure • ৯ΔͨΊͷϓϩάϥϛϯάݴޠ • JavaɼObjective-CɼC#ɼJavaScript...
ͨΓোΓͷ͋Δࣗݾհ • ͖ͳٿ༻ޠ • FAݖΛߦͯ͠ཹɼੜ֔ϥΠΦϯζ • ͖ͩͬͨνϟϯς4 • ळࢁͷલ͔ΒྲྀΕΔΑ͏ʹҠߦ͢Δνϟϯς4 •
͖ͳελδΞϜάϧϝ • ࢰࢠϦΞϯϥΠεɼ3݄4݄10݄11݄ͷڱࢁ௮͚ɼ6݄7݄8݄ͷྫྷౚΈ͔Μ • ͖ͳ҉ࠇΫϦʔϯΞοϓτϦΦ • 3൪ϥΠτখؔɼ4൪ϑΝʔετླɼ5൪αʔυγΞϯϑϩοί (1999։ນઓ)
ຊͷΰʔϧ • ʮࣗԿ͔ͷੳΛ͍ͨ͠ʂʯͱ͍͏ؾ࣋ͪʹͳ͍ͬͯͨͩ͘ • ࡛ۄϥΠΦϯζͷެࣜΏΔΩϟϥͰ͋Δ Β͍ʹΐΜ͘Μͷ͔Θ͍͞Λཧղ͍ͯͨͩ͘͠
Β͍ʹΐΜ͘Μ͔Θ͍͍ʂ
ʹ΄Μ͠Γʔͣͬͯͳʹʁ
͘͞Β͖Ε͍ʔ
ΊΖΜͺʔΜ
͋ͬΔͺʔΜͪ
BPStudyͬΆ͍ٕज़ͷ
ςΩετϚΠχϯάͰॱҐΛ༧͢Δ • εϙʔπ৽ฉͷهࣄσʔλΛίʔύεͱ͠ɺword2vecͰ୯ޠΛϕΫτϧԽ • શࠃࢴࡿԼͷ4ࢴ͕ର (Ϧʔά༏উܾఆཌʹDT͕Ұ໘ʹདྷΔͷࢴ໘ͷެฏੑʹ͚ܽΔͨΊ) • αϯέΠεϙʔπ • εϙʔπχοϙϯ
• εϙʔπใ • ץεϙʔπ • 201910݄24 (ຊγϦʔζऴྃཌ) ͔Β20206݄18 (։ນલ) ͷهࣄ͕ର • νʔϜ໊Λ୯ޠͱͯ͠ͱΒ͑ɺʮ༏উʯͱͷྨࣅ͕ߴ͍ॱʹॱҐ͚
هࣄͷऩूํ๏ (20201݄͝Ζ·Ͱ) • εϙʔπ৽ฉͷαΠτΛఆظతʹΫϩʔϦϯά / εΫϨΠϐϯά • ScrapyΛར༻ • ݁ՌςΩετϑΝΠϧͱͯ͠Amazon
S3ʹอଘ • هࣄͷݕࡧͷͨΊʹElasticsearchʹσʔλΛొ • ੲͷهࣄ͕ඞཁʹͳͬͨ߹༗ྉαʔϏεͰߪೖ
2ճ͔͠ੳ͠ͳ͍ͷʹ ͓ۚΛ͔͚͗͢Ͱʁ
ίετݮʹ͚ͯ • ຊʹϦΞϧλΠϜͰ࣮ߦ͢Δඞཁ͕͋ΔͷΫϩʔϦϯά͚ͩ • ͕࣌ؒܦա͢ΔͱهࣄΛτοϓϖʔδ͔ΒḷΕͳ͘ͳΔͨΊ • εΫϨΠϐϯάҎ߱ੳͷલॲཧͱͯ͠खݩͰ࣮ࢪ͢Δ • ͜͜·ͰػೳΛߜΕαʔόʔϨεԽՄೳ •
Amazon S3Ҏ֎ແྉͰेߦ͚ͦ͏
هࣄͷऩूํ๏ (20202݄͝Ζ͔Β) • εϙʔπࢴͷαΠτΛఆظతʹΫϩʔϦϯά • AWS Lambda (Python) Λར༻ •
هࣄҰཡϖʔδΛղੳ͠ɺ֤هࣄϖʔδͷURLΛऔಘ • هࣄϖʔδੜHTMLͷ··S3ʹอଘ • ΫϩʔϦϯά࣮ࢪ࣌ͳͲɺཧ༻ͷใΛDynamoDBʹొ
ऩूج൫Λஔ͖͑ͨ݁Ռ͆͆͆͆͆
Ұ෦ͷσʔλΛ͏͔ͬΓ S3 GlacierʹҠಈ͍ͯͨͨ͠Ί Ή͠Ζ߹ܭίετ͕૿Ճ͠·ͨ͠
͓ͷΕGlacierΊ (ٯ࠘Έ)
άϥγΞϧ͡Όͳ͍Ͱ͢
݁Ռൃද
ηɾϦʔάॱҐ༧ / ݁Ռ ॱҐ ༧ ݁Ռ ಡച ಡച উഊ
ࡕਆ ࡕਆ উഊ ԣ%F/" த উഊ ౡ౦༸ ԣ%F/" উഊ த ౡ౦༸ উഊ ౦ژϠΫϧτ ౦ژϠΫϧτ উഊ
ύɾϦʔάॱҐ༧ / ݁Ռ ॱҐ ༧ ݁Ռ ԬιϑτόϯΫ ԬιϑτόϯΫ উഊ
౦ָఱ ઍ༿ϩος উഊ ઍ༿ϩος ࡛ۄ উഊ ւಓຊϋϜ ౦ָఱ উഊ ΦϦοΫε ւಓຊϋϜ উഊ ࡛ۄ ΦϦοΫε উഊ
(ΞΧϯ)
Ͱ͜ͷॱ൪ΛͲ͔͜ͰݟͨΑ͏ͳ
ผͷϥϯΩϯάͱൺֱͯ͠Έͨ
ηɾϦʔάಘࣦࠩ ॱҐ ॱҐ༧ ݁Ռ ಡച ಡച ࡕਆ
ԣ%F/" ԣ%F/" ࡕਆ ౡ౦༸ ౡ౦༸ த த ౦ژϠΫϧτ ౦ژϠΫϧτ
ύɾϦʔάಘࣦࠩ ॱҐ ॱҐ༧ ݁Ռ ԬιϑτόϯΫ ԬιϑτόϯΫ ౦ָఱ
౦ָఱ ઍ༿ϩος ઍ༿ϩος ւಓຊϋϜ ւಓຊϋϜ ΦϦοΫε ΦϦοΫε ࡛ۄ ࡛ۄ
ߦ͚ΔΜʂ (ͱͱॱҐ༧ͩͬͨͱ͍͏ࣄ࣮͔ΒΛͦΒ͠ͳ͕Β)
·ͱΊ
໌͔Βऩू / ੳΛ͢ΔͨΊʹ • Ճ౻ߞଠ (2019) PythonΫϩʔϦϯάˍεΫϨΠϐϯά [૿ิվగ൛] —
σʔλऩूɾղੳͷͨΊͷ࣮ફ։ൃΨΠυ ٕज़ධࣾ • ຊڮஐޫ (2018) લॲཧେશ — σʔλੳͷͨΊͷSQL/R/Python࣮ફςΫχοΫ ٕज़ධࣾ • ඌହ (2014) word2vecʹΑΔࣗવݴޠॲཧ ΦϥΠϦʔɾδϟύϯ
໌͔ΒσʔλͷऩूΛ࢝ΊΕ 1ޙʹ1ͷσʔλ͕ੵ͞Ε·͢
·ͱΊ • word2vecʹΑΔੳͰཌγʔζϯͷಘࣦࠩॱҐΛ ͋Δఔͷਫ਼ͰٻΊΔ͜ͱ͕Ͱ͖ͨ • Amazon S3ͷBucketͷઃఆʹࡉ৺ͷҙΛ͓͏ • কདྷͷࣗͷͨΊʹσʔλΛऩू͠Α͏
• Β͍ʹΐΜ͘Μ͔Θ͍͍ʂ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ དྷγʔζϯΑΖ͓͘͠ئ͍͠·͢