テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter

Transcript

1. ςΩετϚΠχϯάʹΑΔ ϓϩ໺ٿͷॱҐ༧૝ ௕୩৔ ५໵ / 2020-12-17 Baseball Play Study 2020ౙ

   (BPStudy#160)

2. ౰ͨΓোΓͷͳ͍ࣗݾ঺հ • ௕୩৔ ५໵ (͸ͤ͹ ͡ΎΜ΍) • Twitter / GitHubͰ͸

   7pairs Ͱ׆ಈத • ࣗশAndroidΤϯδχΞ • Apple༷ͷؾ·͙ΕʹৼΓճ͞Εͯࠓ೥͸iOS͔͠৮͍ͬͯͳ͍ • ޷͖ͳϓϩάϥϛϯάݴޠ • PythonɼClojure • ৯΂ΔͨΊͷϓϩάϥϛϯάݴޠ • JavaɼObjective-CɼC#ɼJavaScript...

3. ౰ͨΓোΓͷ͋Δࣗݾ঺հ • ޷͖ͳ໺ٿ༻ޠ • FAݖΛߦ࢖ͯ͠࢒ཹɼੜ֔ϥΠΦϯζ • ޷͖ͩͬͨνϟϯς4 • ळࢁͷલ૗͔ΒྲྀΕΔΑ͏ʹҠߦ͢Δνϟϯς4 •

   ޷͖ͳελδΞϜάϧϝ • ࢰࢠϦΞϯϥΠεɼ3݄4݄10݄11݄ͷڱࢁ஡௮͚ɼ6݄7݄8݄ͷྫྷౚΈ͔Μ • ޷͖ͳ҉ࠇΫϦʔϯΞοϓτϦΦ • 3൪ϥΠτখؔɼ4൪ϑΝʔετླ໦ɼ5൪αʔυγΞϯϑϩοί (1999೥։ນઓ)

4. ຊ೔ͷΰʔϧ • ʮࣗ෼΋Կ͔ͷ෼ੳΛ͍ͨ͠ʂʯͱ͍͏ؾ࣋ͪʹͳ͍ͬͯͨͩ͘ • ࡛ۄ੢෢ϥΠΦϯζͷެࣜΏΔΩϟϥͰ͋Δ 
 Β͍ʹΐΜ͘Μͷ͔Θ͍͞Λཧղ͍ͯͨͩ͘͠

5. Β͍ʹΐΜ͘Μ͸͔Θ͍͍ʂ

6. ʹ΄Μ͠Γʔͣͬͯͳʹʁ

7. ͘͞Β͖Ε͍ʔ

8. ΊΖΜͺʔΜ

9. ͋ͬ΀ΔͺʔΜͪ

10. BPStudyͬΆ͍ٕज़ͷ࿩

11. ςΩετϚΠχϯάͰॱҐΛ༧૝͢Δ • εϙʔπ৽ฉͷهࣄσʔλΛίʔύεͱ͠ɺword2vecͰ୯ޠΛϕΫτϧԽ • શࠃࢴࡿԼͷ4ࢴ͕ର৅ (Ϧʔά༏উܾఆཌ೔ʹD΍T͕Ұ໘ʹདྷΔͷ͸ࢴ໘ͷެฏੑʹ͚ܽΔͨΊ) • αϯέΠεϙʔπ • εϙʔπχοϙϯ

    • εϙʔπใ஌ • ೔ץεϙʔπ • 2019೥10݄24೔ (೔ຊγϦʔζऴྃཌ೔) ͔Β2020೥6݄18೔ (։ນલ೔) ͷهࣄ͕ର৅ • νʔϜ໊Λ୯ޠͱͯ͠ͱΒ͑ɺʮ༏উʯͱͷྨࣅ౓͕ߴ͍ॱʹॱҐ෇͚

12. هࣄͷऩूํ๏ (2020೥1݄͝Ζ·Ͱ) • εϙʔπ৽ฉͷαΠτΛఆظతʹΫϩʔϦϯά / εΫϨΠϐϯά • ScrapyΛར༻ • ݁Ռ͸ςΩετϑΝΠϧͱͯ͠Amazon

    S3ʹอଘ • هࣄͷݕࡧͷͨΊʹElasticsearchʹ΋σʔλΛొ࿥ • ੲͷهࣄ͕ඞཁʹͳͬͨ৔߹͸༗ྉαʔϏεͰߪೖ

13. ೥2ճ͔͠෼ੳ͠ͳ͍ͷʹ ͓ۚΛ͔͚͗͢Ͱ͸ʁ

14. ίετ࡟ݮʹ޲͚ͯ • ຊ౰ʹϦΞϧλΠϜͰ࣮ߦ͢Δඞཁ͕͋Δͷ͸ΫϩʔϦϯά͚ͩ • ͕࣌ؒܦա͢ΔͱهࣄΛτοϓϖʔδ͔ΒḷΕͳ͘ͳΔͨΊ • εΫϨΠϐϯάҎ߱͸෼ੳͷલॲཧͱͯ͠खݩͰ࣮ࢪ͢Δ • ͜͜·ͰػೳΛߜΕ͹αʔόʔϨεԽ΋Մೳ •

    Amazon S3Ҏ֎͸ແྉ࿮Ͱे෼ߦ͚ͦ͏

15. هࣄͷऩूํ๏ (2020೥2݄͝Ζ͔Β) • εϙʔπࢴͷαΠτΛఆظతʹΫϩʔϦϯά • AWS Lambda (Python) Λར༻ •

    هࣄҰཡϖʔδΛղੳ͠ɺ֤هࣄϖʔδͷURLΛऔಘ • هࣄϖʔδ͸ੜHTMLͷ··S3ʹอଘ • ΫϩʔϦϯά࣮ࢪ೔࣌ͳͲɺ؅ཧ༻ͷ৘ใΛDynamoDBʹొ࿥

16. ऩूج൫Λஔ͖׵͑ͨ݁Ռ͆͆͆͆͆

17. Ұ෦ͷσʔλΛ͏͔ͬΓ S3 GlacierʹҠಈ͍ͯͨͨ͠Ί Ή͠Ζ߹ܭίετ͕૿Ճ͠·ͨ͠

18. ͓ͷΕGlacierΊ (ٯ࠘Έ)

19. άϥγΞϧ͡Όͳ͍Ͱ͢

20. ݁Ռൃද

21. ηɾϦʔάॱҐ༧૝ / ݁Ռ ॱҐ ༧૝ ݁Ռ  ಡച ಡച
    উഊ෼

     ࡕਆ ࡕਆ
    উഊ෼  ԣ඿%F/" த೔
    উഊ෼
     ޿ౡ౦༸ ԣ඿%F/"
    উഊ෼
     த೔ ޿ౡ౦༸
    উഊ෼  ౦ژϠΫϧτ ౦ژϠΫϧτ
    উഊ෼

22. ύɾϦʔάॱҐ༧૝ / ݁Ռ ॱҐ ༧૝ ݁Ռ  ෱ԬιϑτόϯΫ ෱ԬιϑτόϯΫ
    উഊ෼

     ౦๺ָఱ ઍ༿ϩος
    উഊ෼  ઍ༿ϩος ࡛ۄ੢෢
    উഊ෼
     ๺ւಓ೔ຊϋϜ ౦๺ָఱ
    উഊ෼
     ΦϦοΫε ๺ւಓ೔ຊϋϜ
    উഊ෼  ࡛ۄ੢෢ ΦϦοΫε
    উഊ෼

23. (ΞΧϯ)

24. Ͱ΋͜ͷॱ൪ΛͲ͔͜ͰݟͨΑ͏ͳ

25. ผͷϥϯΩϯάͱൺֱͯ͠Έͨ

26. ηɾϦʔάಘࣦ఺ࠩ ॱҐ ॱҐ༧૝ ݁Ռ  ಡച ಡച
      ࡕਆ

    ԣ඿%F/"
      ԣ඿%F/" ࡕਆ
      ޿ౡ౦༸ ޿ౡ౦༸
      த೔ த೔
      ౦ژϠΫϧτ ౦ژϠΫϧτ
    

27. ύɾϦʔάಘࣦ఺ࠩ ॱҐ ॱҐ༧૝ ݁Ռ  ෱ԬιϑτόϯΫ ෱ԬιϑτόϯΫ
      ౦๺ָఱ

    ౦๺ָఱ
      ઍ༿ϩος ઍ༿ϩος
    
     ๺ւಓ೔ຊϋϜ ๺ւಓ೔ຊϋϜ
    
     ΦϦοΫε ΦϦοΫε
      ࡛ۄ੢෢ ࡛ۄ੢෢
    

28. ߦ͚Δ΍Μʂ (΋ͱ΋ͱ͸ॱҐ༧૝ͩͬͨͱ͍͏ࣄ࣮͔Β໨ΛͦΒ͠ͳ͕Β)

29. ·ͱΊ

30. ໌೔͔Βऩू / ෼ੳΛ͢ΔͨΊʹ • Ճ౻ߞଠ (2019) 
 PythonΫϩʔϦϯάˍεΫϨΠϐϯά [૿ิվగ൛] —

    σʔλऩूɾղੳͷͨΊͷ࣮ફ։ൃΨΠυ 
 ٕज़ධ࿦ࣾ • ຊڮஐޫ (2018) 
 લॲཧେશ — σʔλ෼ੳͷͨΊͷSQL/R/Python࣮ફςΫχοΫ 
 ٕज़ධ࿦ࣾ • ੢ඌହ࿨ (2014) 
 word2vecʹΑΔࣗવݴޠॲཧ 
 ΦϥΠϦʔɾδϟύϯ

31. ໌೔͔ΒσʔλͷऩूΛ࢝ΊΕ͹ 1೥ޙʹ͸1೥෼ͷσʔλ͕஝ੵ͞Ε·͢

32. ·ͱΊ • word2vecʹΑΔ෼ੳͰཌγʔζϯͷಘࣦ఺ࠩॱҐΛ 
 ͋Δఔ౓ͷਫ਼౓ͰٻΊΔ͜ͱ͕Ͱ͖ͨ • Amazon S3ͷBucketͷઃఆʹ͸ࡉ৺ͷ஫ҙΛ෷͓͏ • কདྷͷࣗ෼ͷͨΊʹσʔλΛऩू͠Α͏

    • Β͍ʹΐΜ͘Μ͸͔Θ͍͍ʂ

33. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ དྷγʔζϯ΋ΑΖ͓͘͠ئ͍͠·͢