テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter

by 7pairs

Slide 1

Slide 1 text

ςΩετϚΠχϯάʹΑΔ ϓϩ໺ٿͷॱҐ༧૝ ௕୩৔ ५໵ / 2020-12-17 Baseball Play Study 2020ౙ (BPStudy#160)

Slide 2

Slide 2 text

౰ͨΓোΓͷͳ͍ࣗݾ঺հ • ௕୩৔ ५໵ (͸ͤ͹ ͡ΎΜ΍) • Twitter / GitHubͰ͸ 7pairs Ͱ׆ಈத • ࣗশAndroidΤϯδχΞ • Apple༷ͷؾ·͙ΕʹৼΓճ͞Εͯࠓ೥͸iOS͔͠৮͍ͬͯͳ͍ • ޷͖ͳϓϩάϥϛϯάݴޠ • PythonɼClojure • ৯΂ΔͨΊͷϓϩάϥϛϯάݴޠ • JavaɼObjective-CɼC#ɼJavaScript...

Slide 3

Slide 3 text

౰ͨΓোΓͷ͋Δࣗݾ঺հ • ޷͖ͳ໺ٿ༻ޠ • FAݖΛߦ࢖ͯ͠࢒ཹɼੜ֔ϥΠΦϯζ • ޷͖ͩͬͨνϟϯς4 • ळࢁͷલ૗͔ΒྲྀΕΔΑ͏ʹҠߦ͢Δνϟϯς4 • ޷͖ͳελδΞϜάϧϝ • ࢰࢠϦΞϯϥΠεɼ3݄4݄10݄11݄ͷڱࢁ஡௮͚ɼ6݄7݄8݄ͷྫྷౚΈ͔Μ • ޷͖ͳ҉ࠇΫϦʔϯΞοϓτϦΦ • 3൪ϥΠτখؔɼ4൪ϑΝʔετླ໦ɼ5൪αʔυγΞϯϑϩοί (1999೥։ນઓ)

Slide 4

Slide 4 text

ຊ೔ͷΰʔϧ • ʮࣗ෼΋Կ͔ͷ෼ੳΛ͍ͨ͠ʂʯͱ͍͏ؾ࣋ͪʹͳ͍ͬͯͨͩ͘ • ࡛ۄ੢෢ϥΠΦϯζͷެࣜΏΔΩϟϥͰ͋Δ   Β͍ʹΐΜ͘Μͷ͔Θ͍͞Λཧղ͍ͯͨͩ͘͠

Slide 5

Slide 5 text

Β͍ʹΐΜ͘Μ͸͔Θ͍͍ʂ

Slide 6

Slide 6 text

ʹ΄Μ͠Γʔͣͬͯͳʹʁ

Slide 7

Slide 7 text

͘͞Β͖Ε͍ʔ

Slide 8

Slide 8 text

ΊΖΜͺʔΜ

Slide 9

Slide 9 text

͋ͬ΀ΔͺʔΜͪ

Slide 10

Slide 10 text

BPStudyͬΆ͍ٕज़ͷ࿩

Slide 11

Slide 11 text

ςΩετϚΠχϯάͰॱҐΛ༧૝͢Δ • εϙʔπ৽ฉͷهࣄσʔλΛίʔύεͱ͠ɺword2vecͰ୯ޠΛϕΫτϧԽ • શࠃࢴࡿԼͷ4ࢴ͕ର৅ (Ϧʔά༏উܾఆཌ೔ʹD΍T͕Ұ໘ʹདྷΔͷ͸ࢴ໘ͷެฏੑʹ͚ܽΔͨΊ) • αϯέΠεϙʔπ • εϙʔπχοϙϯ • εϙʔπใ஌ • ೔ץεϙʔπ • 2019೥10݄24೔ (೔ຊγϦʔζऴྃཌ೔) ͔Β2020೥6݄18೔ (։ນલ೔) ͷهࣄ͕ର৅ • νʔϜ໊Λ୯ޠͱͯ͠ͱΒ͑ɺʮ༏উʯͱͷྨࣅ౓͕ߴ͍ॱʹॱҐ෇͚

Slide 12

Slide 12 text

هࣄͷऩूํ๏ (2020೥1݄͝Ζ·Ͱ) • εϙʔπ৽ฉͷαΠτΛఆظతʹΫϩʔϦϯά / εΫϨΠϐϯά • ScrapyΛར༻ • ݁Ռ͸ςΩετϑΝΠϧͱͯ͠Amazon S3ʹอଘ • هࣄͷݕࡧͷͨΊʹElasticsearchʹ΋σʔλΛొ࿥ • ੲͷهࣄ͕ඞཁʹͳͬͨ৔߹͸༗ྉαʔϏεͰߪೖ

Slide 13

Slide 13 text

೥2ճ͔͠෼ੳ͠ͳ͍ͷʹ ͓ۚΛ͔͚͗͢Ͱ͸ʁ

Slide 14

Slide 14 text

ίετ࡟ݮʹ޲͚ͯ • ຊ౰ʹϦΞϧλΠϜͰ࣮ߦ͢Δඞཁ͕͋Δͷ͸ΫϩʔϦϯά͚ͩ • ͕࣌ؒܦա͢ΔͱهࣄΛτοϓϖʔδ͔ΒḷΕͳ͘ͳΔͨΊ • εΫϨΠϐϯάҎ߱͸෼ੳͷલॲཧͱͯ͠खݩͰ࣮ࢪ͢Δ • ͜͜·ͰػೳΛߜΕ͹αʔόʔϨεԽ΋Մೳ • Amazon S3Ҏ֎͸ແྉ࿮Ͱे෼ߦ͚ͦ͏

Slide 15

Slide 15 text

هࣄͷऩूํ๏ (2020೥2݄͝Ζ͔Β) • εϙʔπࢴͷαΠτΛఆظతʹΫϩʔϦϯά • AWS Lambda (Python) Λར༻ • هࣄҰཡϖʔδΛղੳ͠ɺ֤هࣄϖʔδͷURLΛऔಘ • هࣄϖʔδ͸ੜHTMLͷ··S3ʹอଘ • ΫϩʔϦϯά࣮ࢪ೔࣌ͳͲɺ؅ཧ༻ͷ৘ใΛDynamoDBʹొ࿥

Slide 16

Slide 16 text

ऩूج൫Λஔ͖׵͑ͨ݁Ռ͆͆͆͆͆

Slide 17

Slide 17 text

Ұ෦ͷσʔλΛ͏͔ͬΓ S3 GlacierʹҠಈ͍ͯͨͨ͠Ί Ή͠Ζ߹ܭίετ͕૿Ճ͠·ͨ͠

Slide 18

Slide 18 text

͓ͷΕGlacierΊ (ٯ࠘Έ)

Slide 19

Slide 19 text

άϥγΞϧ͡Όͳ͍Ͱ͢

Slide 20

Slide 20 text

݁Ռൃද

Slide 21

Slide 21 text

ηɾϦʔάॱҐ༧૝ / ݁Ռ ॱҐ ༧૝ ݁Ռ ಡച ಡച উഊ෼ ࡕਆ ࡕਆ উഊ෼ ԣ඿%F/" த೔ উഊ෼ ޿ౡ౦༸ ԣ඿%F/" উഊ෼ த೔ ޿ౡ౦༸ উഊ෼ ౦ژϠΫϧτ ౦ژϠΫϧτ উഊ෼

Slide 22

Slide 22 text

ύɾϦʔάॱҐ༧૝ / ݁Ռ ॱҐ ༧૝ ݁Ռ ෱ԬιϑτόϯΫ ෱ԬιϑτόϯΫ উഊ෼ ౦๺ָఱ ઍ༿ϩος উഊ෼ ઍ༿ϩος ࡛ۄ੢෢ উഊ෼ ๺ւಓ೔ຊϋϜ ౦๺ָఱ উഊ෼ ΦϦοΫε ๺ւಓ೔ຊϋϜ উഊ෼ ࡛ۄ੢෢ ΦϦοΫε উഊ෼

Slide 23

Slide 23 text

(ΞΧϯ)

Slide 24

Slide 24 text

Ͱ΋͜ͷॱ൪ΛͲ͔͜ͰݟͨΑ͏ͳ

Slide 25

Slide 25 text

ผͷϥϯΩϯάͱൺֱͯ͠Έͨ

Slide 26

Slide 26 text

ηɾϦʔάಘࣦ఺ࠩ ॱҐ ॱҐ༧૝ ݁Ռ ಡച ಡച ࡕਆ ԣ඿%F/" ԣ඿%F/" ࡕਆ ޿ౡ౦༸ ޿ౡ౦༸ த೔ த೔ ౦ژϠΫϧτ ౦ژϠΫϧτ

Slide 27

Slide 27 text

ύɾϦʔάಘࣦ఺ࠩ ॱҐ ॱҐ༧૝ ݁Ռ ෱ԬιϑτόϯΫ ෱ԬιϑτόϯΫ ౦๺ָఱ ౦๺ָఱ ઍ༿ϩος ઍ༿ϩος ๺ւಓ೔ຊϋϜ ๺ւಓ೔ຊϋϜ ΦϦοΫε ΦϦοΫε ࡛ۄ੢෢ ࡛ۄ੢෢

Slide 28

Slide 28 text

ߦ͚Δ΍Μʂ (΋ͱ΋ͱ͸ॱҐ༧૝ͩͬͨͱ͍͏ࣄ࣮͔Β໨ΛͦΒ͠ͳ͕Β)

Slide 29

Slide 29 text

·ͱΊ

Slide 30

Slide 30 text

໌೔͔Βऩू / ෼ੳΛ͢ΔͨΊʹ • Ճ౻ߞଠ (2019)   PythonΫϩʔϦϯάˍεΫϨΠϐϯά [૿ิվగ൛] — σʔλऩूɾղੳͷͨΊͷ࣮ફ։ൃΨΠυ   ٕज़ධ࿦ࣾ • ຊڮஐޫ (2018)   લॲཧେશ — σʔλ෼ੳͷͨΊͷSQL/R/Python࣮ફςΫχοΫ   ٕज़ධ࿦ࣾ • ੢ඌହ࿨ (2014)   word2vecʹΑΔࣗવݴޠॲཧ   ΦϥΠϦʔɾδϟύϯ

Slide 31

Slide 31 text

໌೔͔ΒσʔλͷऩूΛ࢝ΊΕ͹ 1೥ޙʹ͸1೥෼ͷσʔλ͕஝ੵ͞Ε·͢

Slide 32

Slide 32 text

·ͱΊ • word2vecʹΑΔ෼ੳͰཌγʔζϯͷಘࣦ఺ࠩॱҐΛ   ͋Δఔ౓ͷਫ਼౓ͰٻΊΔ͜ͱ͕Ͱ͖ͨ • Amazon S3ͷBucketͷઃఆʹ͸ࡉ৺ͷ஫ҙΛ෷͓͏ • কདྷͷࣗ෼ͷͨΊʹσʔλΛऩू͠Α͏ • Β͍ʹΐΜ͘Μ͸͔Θ͍͍ʂ

Slide 33

Slide 33 text

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ དྷγʔζϯ΋ΑΖ͓͘͠ئ͍͠·͢