Upgrade to Pro — share decks privately, control downloads, hide ads and more …

テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter

6fa3836d10d691125749472297cf516a?s=47 7pairs
December 17, 2020

テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter

6fa3836d10d691125749472297cf516a?s=128

7pairs

December 17, 2020
Tweet

Transcript

  1. ςΩετϚΠχϯάʹΑΔ ϓϩ໺ٿͷॱҐ༧૝ ௕୩৔ ५໵ / 2020-12-17 Baseball Play Study 2020ౙ

    (BPStudy#160)
  2. ౰ͨΓোΓͷͳ͍ࣗݾ঺հ • ௕୩৔ ५໵ (͸ͤ͹ ͡ΎΜ΍) • Twitter / GitHubͰ͸

    7pairs Ͱ׆ಈத • ࣗশAndroidΤϯδχΞ • Apple༷ͷؾ·͙ΕʹৼΓճ͞Εͯࠓ೥͸iOS͔͠৮͍ͬͯͳ͍ • ޷͖ͳϓϩάϥϛϯάݴޠ • PythonɼClojure • ৯΂ΔͨΊͷϓϩάϥϛϯάݴޠ • JavaɼObjective-CɼC#ɼJavaScript...
  3. ౰ͨΓোΓͷ͋Δࣗݾ঺հ • ޷͖ͳ໺ٿ༻ޠ • FAݖΛߦ࢖ͯ͠࢒ཹɼੜ֔ϥΠΦϯζ • ޷͖ͩͬͨνϟϯς4 • ळࢁͷલ૗͔ΒྲྀΕΔΑ͏ʹҠߦ͢Δνϟϯς4 •

    ޷͖ͳελδΞϜάϧϝ • ࢰࢠϦΞϯϥΠεɼ3݄4݄10݄11݄ͷڱࢁ஡௮͚ɼ6݄7݄8݄ͷྫྷౚΈ͔Μ • ޷͖ͳ҉ࠇΫϦʔϯΞοϓτϦΦ • 3൪ϥΠτখؔɼ4൪ϑΝʔετླ໦ɼ5൪αʔυγΞϯϑϩοί (1999೥։ນઓ)
  4. ຊ೔ͷΰʔϧ • ʮࣗ෼΋Կ͔ͷ෼ੳΛ͍ͨ͠ʂʯͱ͍͏ؾ࣋ͪʹͳ͍ͬͯͨͩ͘ • ࡛ۄ੢෢ϥΠΦϯζͷެࣜΏΔΩϟϥͰ͋Δ 
 Β͍ʹΐΜ͘Μͷ͔Θ͍͞Λཧղ͍ͯͨͩ͘͠

  5. Β͍ʹΐΜ͘Μ͸͔Θ͍͍ʂ

  6. ʹ΄Μ͠Γʔͣͬͯͳʹʁ

  7. ͘͞Β͖Ε͍ʔ

  8. ΊΖΜͺʔΜ

  9. ͋ͬ΀ΔͺʔΜͪ

  10. BPStudyͬΆ͍ٕज़ͷ࿩

  11. ςΩετϚΠχϯάͰॱҐΛ༧૝͢Δ • εϙʔπ৽ฉͷهࣄσʔλΛίʔύεͱ͠ɺword2vecͰ୯ޠΛϕΫτϧԽ • શࠃࢴࡿԼͷ4ࢴ͕ର৅ (Ϧʔά༏উܾఆཌ೔ʹD΍T͕Ұ໘ʹདྷΔͷ͸ࢴ໘ͷެฏੑʹ͚ܽΔͨΊ) • αϯέΠεϙʔπ • εϙʔπχοϙϯ

    • εϙʔπใ஌ • ೔ץεϙʔπ • 2019೥10݄24೔ (೔ຊγϦʔζऴྃཌ೔) ͔Β2020೥6݄18೔ (։ນલ೔) ͷهࣄ͕ର৅ • νʔϜ໊Λ୯ޠͱͯ͠ͱΒ͑ɺʮ༏উʯͱͷྨࣅ౓͕ߴ͍ॱʹॱҐ෇͚
  12. هࣄͷऩूํ๏ (2020೥1݄͝Ζ·Ͱ) • εϙʔπ৽ฉͷαΠτΛఆظతʹΫϩʔϦϯά / εΫϨΠϐϯά • ScrapyΛར༻ • ݁Ռ͸ςΩετϑΝΠϧͱͯ͠Amazon

    S3ʹอଘ • هࣄͷݕࡧͷͨΊʹElasticsearchʹ΋σʔλΛొ࿥ • ੲͷهࣄ͕ඞཁʹͳͬͨ৔߹͸༗ྉαʔϏεͰߪೖ
  13. ೥2ճ͔͠෼ੳ͠ͳ͍ͷʹ ͓ۚΛ͔͚͗͢Ͱ͸ʁ

  14. ίετ࡟ݮʹ޲͚ͯ • ຊ౰ʹϦΞϧλΠϜͰ࣮ߦ͢Δඞཁ͕͋Δͷ͸ΫϩʔϦϯά͚ͩ • ͕࣌ؒܦա͢ΔͱهࣄΛτοϓϖʔδ͔ΒḷΕͳ͘ͳΔͨΊ • εΫϨΠϐϯάҎ߱͸෼ੳͷલॲཧͱͯ͠खݩͰ࣮ࢪ͢Δ • ͜͜·ͰػೳΛߜΕ͹αʔόʔϨεԽ΋Մೳ •

    Amazon S3Ҏ֎͸ແྉ࿮Ͱे෼ߦ͚ͦ͏
  15. هࣄͷऩूํ๏ (2020೥2݄͝Ζ͔Β) • εϙʔπࢴͷαΠτΛఆظతʹΫϩʔϦϯά • AWS Lambda (Python) Λར༻ •

    هࣄҰཡϖʔδΛղੳ͠ɺ֤هࣄϖʔδͷURLΛऔಘ • هࣄϖʔδ͸ੜHTMLͷ··S3ʹอଘ • ΫϩʔϦϯά࣮ࢪ೔࣌ͳͲɺ؅ཧ༻ͷ৘ใΛDynamoDBʹొ࿥
  16. ऩूج൫Λஔ͖׵͑ͨ݁Ռ͆͆͆͆͆

  17. Ұ෦ͷσʔλΛ͏͔ͬΓ S3 GlacierʹҠಈ͍ͯͨͨ͠Ί Ή͠Ζ߹ܭίετ͕૿Ճ͠·ͨ͠

  18. ͓ͷΕGlacierΊ (ٯ࠘Έ)

  19. άϥγΞϧ͡Όͳ͍Ͱ͢

  20. ݁Ռൃද

  21. ηɾϦʔάॱҐ༧૝ / ݁Ռ ॱҐ ༧૝ ݁Ռ  ಡച ಡച উഊ෼

     ࡕਆ ࡕਆ উഊ෼  ԣ඿%F/" த೔ উഊ෼  ޿ౡ౦༸ ԣ඿%F/" উഊ෼  த೔ ޿ౡ౦༸ উഊ෼  ౦ژϠΫϧτ ౦ژϠΫϧτ উഊ෼
  22. ύɾϦʔάॱҐ༧૝ / ݁Ռ ॱҐ ༧૝ ݁Ռ  ෱ԬιϑτόϯΫ ෱ԬιϑτόϯΫ উഊ෼

     ౦๺ָఱ ઍ༿ϩος উഊ෼  ઍ༿ϩος ࡛ۄ੢෢ উഊ෼  ๺ւಓ೔ຊϋϜ ౦๺ָఱ উഊ෼  ΦϦοΫε ๺ւಓ೔ຊϋϜ উഊ෼  ࡛ۄ੢෢ ΦϦοΫε উഊ෼
  23. (ΞΧϯ)

  24. Ͱ΋͜ͷॱ൪ΛͲ͔͜ͰݟͨΑ͏ͳ

  25. ผͷϥϯΩϯάͱൺֱͯ͠Έͨ

  26. ηɾϦʔάಘࣦ఺ࠩ ॱҐ ॱҐ༧૝ ݁Ռ  ಡച ಡച   ࡕਆ

    ԣ඿%F/"   ԣ඿%F/" ࡕਆ   ޿ౡ౦༸ ޿ౡ౦༸   த೔ த೔   ౦ژϠΫϧτ ౦ژϠΫϧτ 
  27. ύɾϦʔάಘࣦ఺ࠩ ॱҐ ॱҐ༧૝ ݁Ռ  ෱ԬιϑτόϯΫ ෱ԬιϑτόϯΫ   ౦๺ָఱ

    ౦๺ָఱ   ઍ༿ϩος ઍ༿ϩος   ๺ւಓ೔ຊϋϜ ๺ւಓ೔ຊϋϜ   ΦϦοΫε ΦϦοΫε   ࡛ۄ੢෢ ࡛ۄ੢෢ 
  28. ߦ͚Δ΍Μʂ (΋ͱ΋ͱ͸ॱҐ༧૝ͩͬͨͱ͍͏ࣄ࣮͔Β໨ΛͦΒ͠ͳ͕Β)

  29. ·ͱΊ

  30. ໌೔͔Βऩू / ෼ੳΛ͢ΔͨΊʹ • Ճ౻ߞଠ (2019) 
 PythonΫϩʔϦϯάˍεΫϨΠϐϯά [૿ิվగ൛] —

    σʔλऩूɾղੳͷͨΊͷ࣮ફ։ൃΨΠυ 
 ٕज़ධ࿦ࣾ • ຊڮஐޫ (2018) 
 લॲཧେશ — σʔλ෼ੳͷͨΊͷSQL/R/Python࣮ફςΫχοΫ 
 ٕज़ධ࿦ࣾ • ੢ඌହ࿨ (2014) 
 word2vecʹΑΔࣗવݴޠॲཧ 
 ΦϥΠϦʔɾδϟύϯ
  31. ໌೔͔ΒσʔλͷऩूΛ࢝ΊΕ͹ 1೥ޙʹ͸1೥෼ͷσʔλ͕஝ੵ͞Ε·͢

  32. ·ͱΊ • word2vecʹΑΔ෼ੳͰཌγʔζϯͷಘࣦ఺ࠩॱҐΛ 
 ͋Δఔ౓ͷਫ਼౓ͰٻΊΔ͜ͱ͕Ͱ͖ͨ • Amazon S3ͷBucketͷઃఆʹ͸ࡉ৺ͷ஫ҙΛ෷͓͏ • কདྷͷࣗ෼ͷͨΊʹσʔλΛऩू͠Α͏

    • Β͍ʹΐΜ͘Μ͸͔Θ͍͍ʂ
  33. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ དྷγʔζϯ΋ΑΖ͓͘͠ئ͍͠·͢