LT@PythonBeginners沖縄

ここでLTしてきた

https://python-beginners-okinawa.connpass.com/event/106466/

Transcript

1. Python Beginners ԭೄ ΞΠύʔୂ௕@ླྀٿେֶ
2. ຊ೔͓࿩͢Δ͜ͱ
3. ຊ೔͓࿩͢Δ͜ͱ • ஡൪ • σʔλΛ֬ೝ͢Δ͜ͱେࣄ • TF-IDF
4. ࣗݾ঺հ
5. ࣗݾ঺հ • ΞΠύʔୂ௕ • ͪΎΒσʔλגࣜձࣾ • PyData.OkinawaڞಉΦʔΨφΠβʔ • ࠷ۙͷΠϕϯτ ࢠڙ͕ੜ·Εͨ
6. ஡൪
7. ஡൪ • ࣍ͷεϥΠυͰ঺հ͢Δөըʹ͍ͭͯɺ
 ͦΕͧΕԿσϏϧϚϯ͔౴͑ͳ͍͞
8. σϏϧϚϯ(୯Ґ)ͱ͸ https://twitter.com/1gho/status/936593895453900800
9. ͊͞ɺ౴͍͑ͯͩ͘͞
10. ਖ਼ղʢҟ࿦͸ೝΊΔʣ -10σϏϧϚϯ 0.2σϏϧϚϯ
11. Կ͕ݴ͍͍ͨͷ͔ʢҰൠ޲͚ʣ • ύοέʔδࣅ͗͢ → ࠮ٗߴ౓ͳςΫχοΫͰ ஍ཕΛΧϞϑϥʔδϡ • ஍ཕΛ౿Ήͱ໿1࣌ؒ൒ͱ100ԁ͕ফ͑ͯͳ͘ ͳΔ → ΋͍ͬͨͳ͍ • ஍ཕΛࣄલʹճආ͢ΔͨΊͷ৘ใ͕΄͍͠
12. Կ͕ݴ͍͍ͨͷ͔ʢݰਓ޲͚ʣ • ஍ཕͱࢥ͚ͬͨͲ໘ന͍өըͩͬͨͱ͍͏ύλʔϯ͸Α͋͘Δ • ΈΜͳBڃөըͷϨϏϡʔதʑͯ͘͠Εͳ͍ • ·ͱΊͨϨϏϡʔΛ෼ੳͨ͠WebαΠτ࡞Ζ͏ • ͪͳΈʹͲͬͪ΋Έͨʢ͔ͤͬ͘ͳͷͰ͝঺հʣ • σΟηϯτ → ಎ۸ด͡ࠐΊΒΕεϦϥʔͱࢥ͍͖΍ಥવͷ஍ఈਓ • έΠϰϑΟΞʔ → ಎ۸γʔϯ͸̏෼ɻέΠϰͱ͸ɾɾɾʁ
13. ஡൪ऴΘΓ • ͱΓ͋͑ͣWebαΠτΛ࡞͍ͬͯ·͢ • BڃөըΛϨϏϡʔ͍ͯ͠ΔϒϩάهࣄΛΫϩʔϧ • ϨϏϡʔهࣄʹϥϕϧ෇ʢ໘ന͔ͬͨ or ͭ·Βͳ͔ͬͨʣ • σʔλ֬ೝ • લॲཧ • Ϟσϧߏங • Vue.jsͰαΠτΛߏங
14. ஡൪ऴΘΓ • ͱΓ͋͑ͣWebαΠτΛ࡞͍ͬͯ·͢ • BڃөըΛϨϏϡʔ͍ͯ͠ΔϒϩάهࣄΛΫϩʔϧ • ϨϏϡʔهࣄʹϥϕϧ෇ʢ໘ന͔ͬͨ or ͭ·Βͳ͔ͬͨʣ • σʔλ֬ೝ • લॲཧ • Ϟσϧߏங • Vue.jsͰαΠτΛߏங
15. ͦ͏͍͑͹ɺࠓ೔͸͜ͷձ৔ʹࣗવݴޠॲཧͷϓϩ͕͍Δͷ Ͱͳʹ͔ࠔͬͨ͜ͱ͋Δਓ͸ฉ͍ͯΈΔͱ͍͍͔΋͠·ͤΜ ※΅͘΋ϚαΧϦΛ໯͍ʹདྷ·ͨ͠ ʮϚαΧϦΛ଱͑Δ΅͘ʯͷ Πϝʔδਤʢ༧૝ʣ
16. ϨϏϡʔهࣄʹϥϕϧ෇ ʢ໘ന͔ͬͨ or ͭ·Βͳ͔ͬͨʣ
17. ϨϏϡʔهࣄʹϥϕϧ෇ • Ϋϩʔϥʔ࡞ͬͯूΊ͖ͯͨөըͷϨϏϡʔ σʔλʹϥϕϧ෇Λߦ͏ • ϥϕϧ෇ͱ͸ʁ → ྫ͑͹ը૾Λ֬ೝͨ͠ͱ͖ ʹೣ or ೣ͡Όͳ͍ͷ෇ᝦΛషΔΠϝʔδ • ػցֶश͢Δͱ͖ʹඞཁʹͳΔ
18. ͤͬͤͱϥϕϧΛ;Δ 0 → ໘ന͔ͬͨ 1 → ͭ·Βͳ͔ͬͨ
19. ʢ͜ͷ࡞ۀʣ ͭ·Βͳ͔ͬͨ
20. ͱΓ͋͑ͣΦϫλʢ࡞ۀ͕ʣ • 5αΠτ͔͠ऩू͍ͯ͠ͳ͍͕هࣄ͸શ෦Ͱ650݅ • ͏ͪ607݅ʹϥϕϧΛ͚ͭΔ͜ͱ͕Ͱ͖ͨ • ʮͭ·Βͳ͔ͬͨʯ374݅ʮ໘ന͔ͬͨʯ233݅ • ࢒Γ43݅͸өըͷϨϏϡʔهࣄͰ͸ͳ͔ͬͨ • ͍ۙ͏ͪʹ͜͏͍͏࡞ۀ΋ࣗಈͰ΍Γ͍ͨ
 ʢϥϕϧ෇ͱ͔ϨϏϡʔ͡Όͳ͍هࣄআ֎ͱ͔ʣ
21. Ͷ͘͢ͱ
22. Ͷ͘͢ͱ • ϨϏϡʔ෼ੳͷهࣄ͕ݟ͔ͭΒͳ͍ͷͰɺ
 ΍Γํ͕Θ͔Βͳ͍ • ࣗવݴޠॲཧͰ͙͙ͬͨΒʮ୯ޠग़ݱස౓ʯɺ ʮTF-IDFʯɺʮFastTextʯͰͳΜ͔΍͍ͬͯΔ هࣄ͕͋ͬͨ • FastTextਫ਼౓Αͦ͞͏
23. Α͠ʂ·ͣ͸ FastTextΛࢼͯ͠ΈΑ͏ʂ
24. ͦΜͳ࣌ظ͕ ΅͘ʹ΋͋Γ·ͨ͠
25. σʔλΛ֬ೝ͠Α͏ • ػցֶशઌߦͯ͠΍Γ͍ͨؾ࣋ͪ͸Θ͔Δ͕ɺσʔλ͸Ͳ͏ ͍͏ಛ௃Λ͍࣋ͬͯΔͷ͔౳ɺ֬ೝͤͣʹ΍Δͱ௧͍໨ʹ
 ʢಛʹ࢓ࣄͰ͸ʣ • զʑͷ໨త͸ϞσϧΛ࡞Δ͜ͱ͕໨తͰ͸ͳ͍ɺ
 ϞσϧΛ࢖ͬͯͳʹ͔Λղܾ͢Δ͜ͱ͕໨త • σʔλͷ֬ೝ࡞ۀ͸టष͍͕ɺ͜ͷۀքͰͷట༡ͼ͸ਖ਼ٛ
26. σʔλͷ֬ೝ
27. σʔλͷ֬ೝ • ͭ·Βͳ͍өըͷϨϏϡʔهࣄͬͯɺ
 ωΨςΟϒͳΩʔϫʔυ͕ଟ͍ͱࢥ͏ • ·ͣ͸ɺจষதʹωΨςΟϒͳΩʔϫʔυ͕ ଘࡏ͍ͯ͠Δ͔ɺϥϕϧຖʹूܭͯ͠ΈΔ
28. өըͷωΨςΟϒΩʔϫʔυ
 ʢ๻ͷ૝૾ʣ ͦ͘ɺΫιɺฅɺμϝɺBڃɺCڃɺZڃɺνʔ ϓɺ͍҆ɺ໘ന͘ͳ͍ɺͭ·Βͳ͍ɺস͑Δɺ ςϯϙ͕ѱ͍ɺύΫϦɺ࣌ؒͷແବɺۚฦͤɺ ຾͍ɺ৸མͪɺύοέʔδ࠮ٗɺύοέʔδͱ ҧ͏ɺ಄͓͔͍͠ɺ͍͍͚ͭͯͳ͍ɺԋٕ͕Լ खɺΦν͕ͳ͍ɺݟॴ͕ͳ͍
29. ूܭ݁Ռ • ༧૝௨ΓɺωΨςΟϒͬ Ά͍஋Ͱɺ෼ྨͰ͖ͦ͏ ͳงғؾ • લͷϖʔδʹ͋ͬͨͷʹ ӈਤʹͳ͍୯ޠ͸هࣄʹ ଘࡏ͠ͳ͍୯ޠ • ωΨςΟϒͳ୯ޠ͕ώο τͨ͠Βʮͭ·Βͳ͔ͬ ͨʯͱ༧ଌͯ͠ΈΔ
30. ωΨςΟϒͳϫʔυ͚ͩͰ༧ଌͯ͠ΈΔ • ୯ޠΛݕࡧ͢Δ͚ͩͰ
 ໿60%ͷਫ਼౓ • ͜ͷ݁ՌΛϕʔεϥΠϯ
 ͱͯ͠ਐΊΔ • ϋζϨͷσʔλΛ
 ֬ೝͯ͠ΈΔ
31. ϋζϨͷ֬ೝ • ʮͭ·Βͳ͔ͬͨʯͷʹʮͭ·Βͳ͔ͬͨʯͱ༧ଌͰ͖ͳ͍ͷ͸ɺ༻ҙͨ͠ωΨςΟ ϒͳ୯ޠʹϚον͠ͳ͔͔ͬͨΒ • ྫʣಀ͍ͯ͠Δύλʔϯʮຊ࡞͸ඇৗʹ࢒೦ͳࢠͰ͋Δʯɺʮ๙ΊΔͱ͜Ζ͕ͳ ͍ʯɺʮָ͘͠ͳ͍ʯ • ௥Ճ͢Ε͹ྑ͍ɻ͕ɺͦͷ౎౓௥Ճ͸ΊΜͲ͍͘͞… • ʮ໘ന͔ͬͨʯͷʹʮͭ·Βͳ͔ͬͨʯͱ༧ଌͯ͠͠·ͬͨͷ͸ɺ༻ҙͨ͠ωΨςΟ ϒͳ୯ޠʹϚονͯ͠͠·͔ͬͨΒ • ϨϏϡʔهࣄʹʮBڃʯͱॻ͍ͯ͠·͚ͬͨͩͰɺʮͭ·Βͳ͔ͬͨʯͱ෼ྨͯ͠ ͠·͏ͷ͸·ͣͦ͏ • ୯७ͳΩʔϫʔυϚονϯάͰ͸ճආ͢Δ͜ͱ͸೉͍͠ͱࢥ͏
32. ͪͳΈʹ
33. ʮ໘ന͔ͬͨʯͷʹʮͭ·Βͳ͔ͬͨʯͱ ༧ଌͨ͠ݪҼΛௐ΂Δ1ྫ
34. ʮ໘ന͔ͬͨʯͷʹʮͭ·Βͳ͔ͬͨʯͱ ༧ଌͨ͠ݪҼΛௐ΂Δ1ྫ http://rottentaste.blog.fc2.com/blog-entry-23.html#more
35. http://rottentaste.blog.fc2.com/blog-entry-23.html#more ʮ໘ന͔ͬͨʯͷʹʮͭ·Βͳ͔ͬͨʯͱ ༧ଌͨ͠ݪҼΛௐ΂Δ1ྫ
36. ͳΔ΄Ͳɾɾɾ ʢϥϕϧ෇͕ؒҧͬͯͨʣ
37. σʔλΛ֬ೝ͠Α͏ʢ࠶ܝʣ • ͜͏͍͏͜ͱ͕͋Δ • ͜ΕΛং൫Ͱؾͮ͘ͷ͔ɺ෼ੳத൫·ͨ͸
 ऴ൫Ͱؾͮ͘ͷ͔Ͱ͸ɺϦΧόϦͷେม͕͞ ҧ͏ • ͥͻɺػցֶश͢Δ·͑ʹσʔλͷ֬ೝΛ
38. ͪͳΈʮϩϘΫϩίʯ๻͸޷͖Ͱ͢ ޙ൒৸མ͔ͪͨ͠Β͋Μ·Γ֮͑ͯͳ͍
39. Ͷ͘͢ͱ͋͘͠ΐΜ
40. Ͷ͘͢ͱ͋͘͠ΐΜ • ωΨςΟϒͳϫʔυͰ෼ྨͰ͖ͦ͏ͳงғؾͳͷ͸Θ͔ͬͨ • ͔͠͠ɺΩʔϫʔυϚονϯά͚ͩͰ͸೉͍͜͠ͱ΋Θ͔ͬͨ • ୯ޠग़ݱස౓Λ֬ೝͯ͠ɺ্Ґ10Ґ·Ͱϥϕϧຖʹൺֱͨ͠Βɺ ͳʹ͔ಛ௃͕ݟ͑ͳ͍ͩΖ͏͔ • ଟ෼ʮαϝʯ͕༏উ͢Δͱ༧૝ • ୯ޠग़ݱස౓͸ͳΜͱͳ݁͘Ռ͕༧૝Ͱ͖ͯɺ͏·͍͔͘ͳͦ͞ ͏ͳͷͰɺॏΈ෇͚͢Δ͜ͱ͕Ͱ͖ΔTF-IDFͰ֬ೝͯ͠ΈΑ͏͔
41. ୯ޠग़ݱස౓ͷ֬ೝ
42. ୯ޠग़ݱස౓ͷ֬ೝ • ϨϏϡʔهࣄຖʹ୯ޠͷग़ݱස౓Λܭࢉ͢Δ • ͭ·Βͳ͍өը͸ͲΜͳ୯ޠ͕ଟ͍͔ͳʁ • scikit-learnͷCountVectorizerΛ࢖͏
43. ݁Ռ • ʮαϝʯʮΤΠϦΞϯʯʮκϯϏʯ্͕Ґ • ͏Μɺ஌ͬͯͨ • ωΨςΟϒͬΆ͍୯ޠ͸্Ґʹ͖ͯͳ͍ • ͲͪΒ΋ࣅͨΑ͏ͳ୯ޠ্͕ҐʹฒΜͰ͍Δ • ΫιөըΛ໘ന͍ͱ͍͍ͬͯΔਓ͕͍ΔͨΊ • ͦ΋ͦ΋ॳճΫϩʔϧ͍ͯ͠Δϒϩάͷ
 өըδϟϯϧʹภΓ͕… • ͜ͷ৘ใͰ͸ʮ໘ന͔ͬͨʯʮͭ·Βͳ͔ͬͨʯΛ෼͚Δͷ͸೉ͦ͠͏Ͱ͋Δ • ໘ന͘ͳ͍өը_wordͷ8Ґͷʮୂ௕ʯͬͯͳʹʁ → ๻ͷϒϩάͷ͍ͤͰ͢
44. TF-IDFͰ୯ޠॏΈ෇͚
45. TF-IDFͬͯͳʹʁ • จষதʹؚ·ΕΔ୯ޠͷॏཁ౓ΛධՁ͢Δख ๏ͷ̍ͭ • TF͸͋ΔυΩϡϝϯτdͷ୯ޠtͷग़ݱස౓ • IDF͸ଟ͘ͷυΩϡϝϯτʹଘࡏ͢Δ୯ޠt ͸ɺυΩϡϝϯτdͰ͸ॏཁ౓ΛԼ͛Δ
46. TF-IDFͬͯͳʹʁ http://datanerd.hateblo.jp/entry/2017/09/18/201907
47. ਺ࣜಡΊͳ͍ http://datanerd.hateblo.jp/entry/2017/09/18/201907 ͋ΔυΩϡϝϯτʹؚ·ΕΔ୯ޠͷ਺
    ×
    ͋ΔυΩϡϝϯτʹؚ·ΕΔ୯ޠͷ૯਺ υΩϡϝϯτͷ૯਺
    ×
    ͋Δ୯ޠؚ͕·Ε͍ͯΔυΩϡϝϯτͷ਺ w 5'
    
    ˠ
    5FSN
    'SFRVFODZɺ୯ޠͷग़ݱස౓
    w *%'
    ˠ
    
    *OWFSTF
    %PDVNFOU
    'SFRVFODZɺٯจॻස౓
48. *%' MPH 5' TF-IDFͬͯͳʹʁ(ྫ: ୯ޠ͕ʮϫχʯͷ৔߹) ΤΠϦΞϯ✕ ϫχ✕ αϝ✕ ϫχ✕ ×  ✕ ͋ΔυΩϡϝϯτ શυΩϡϝϯτ ϫχΛؚΉυΩϡϝϯτ✕ ×  શυΩϡϝϯτ 
49. TF-IDFΛ࢖͏
50. TF-IDFΛ࢖͏ʢ݁Ռʣ • өըͱͯ͠ͷಛ௃্͕Ґʹ͖ͯ ͍Δงғؾ • ͔͠͠ʮͭ·Βͳ͔ͬͨʯ
 ͱ͍͏ಛ௃ʹ͸ͳ͍ͬͯͳ͍ ͱࢥ͏ • ΋͏খखೖΕ͕ඞཁͦ͏ • ampͱ͔urlͳͲͷWebͷϝλޠ Έ͍ͨͳϫʔυ͸ετοϓϫʔ υʹ௥Ճ • ϒϩάͷओͷλΠτϧ໊ͱ͔ ϒϩάಛ༗ͷ໊ࢺ΋௥Ճͯ͠ ΋͍͍͔΋
51. TF-IDFΛ࢖ͬͯΈͯ • ಛ௃ͬΆ͍୯ޠΛ؆୯ʹूܭɺ֬ೝͰ͖ͯΑ͍ɻߟ࡯͕ḿΔ • TF-IDF஋͕ߴ͍΍͚ͭͩ͡Όͳͯ͘ɺதؒɺ௿͍஋ͰִؒΛ ༻ҙͯ͠୯ޠ֬ೝ͢Δͷ΋͍͍͔΋ • ΍ͬͯͯࢥ͕ͬͨɺҧ͏ϒϩάͷهࣄಉ࢜Λ·ͱΊͯTF-IDF͢ Δͬͯ݁ߏཚ๫ͳͷͰ͸ɾɾɾʁ • ͦΕͧΕจମ͕ҧ͏͔Βɺ͋ΔϒϩάͰ͸ϙδςΟϒͬΆ͍Ωʔ ϫʔυ΋ผϒϩάͰ͸ωΨςΟϒʹͳ͍ͬͯΔΜ͡Όͳ͍ͩΖ ͏͔ → ࣍ͷΞΫγϣϯͷࢀߟ
52. ࡶʢͳʣײʢ૝ʣ
53. ࡶײ • ஍ಓʹσʔλͱ޲͖߹͏͜ͱͰͳΜͱͳ͘
 ࣍ͷΞΫγϣϯ͕ݟ͖͑ͯͨ • ·ͩ·ͩࣗવݴޠॲཧྗ͕଍Γͳ͍ • BڃϥΠϑΛόϥ৭ʹ͢ΔͨΊʹҾ͖ଓ͖ؤுΔ