スクレイピングを（ちょっと）楽したい技術

スクレイピングを（ちょっと）楽したい技術

Transcript

1. εΫϨΠϐϯάΛ
   ʢͪΐͬͱʣָ͍ٕͨ͠ज़ 
   ࣾ಺-5
   ΞΠύʔୂ௕
2. ࿩͢͜ͱ
3. ࿩͢͜ͱ w Ϋϩʔϥʔ࡞ΔͷΊΜͲ͍͘͞ͷͰɺ͋Δఔ౓ࣗಈԽ͍ͨ͠
   w Ξϓϩʔν͕ϧʔϧϕʔεͱɺػցֶशͷख๏͕͋Δ
   w ࠓճ͸ϧʔϧϕʔεͷ঺հ
4. ࣗݾ঺հʢࠩ෼ʣ
5. ࣗݾ঺հʢࠩ෼ʣ w ࢠڙ͕ੜ·Εͨᵋ ɾ㱼ɾ ᵇϔΠ̇ϔΠ̇ᵃ ɾ㱼ɾ ᵏ
6. ஡൪
7. ஡൪ w ʁʁʁʣʮ΍͊ɻ˓˓˓ɻήʔϜΛ࢝ΊΑ͏͔ʯ
   w ʮϧʔϧ͸؆୯ͩɺ͜͜ʹ̏ͭͷөը͕͋Δɻ̎࣌ؒҎ಺ʹ͜ͷ த͔Β̍ͭөըΛؑ৆͢Ε͹͍͍ɻ΋͠ࢹௌ͠ͳ͔ͬͨΓɺөը ͷ్தʹ৸མͪͯ͠͠·ͬͨΒήʔϜΦʔόʔͩʯ
8. ͊͞ɻԿΛݟΔ͔બ΂
9. ਖ਼ղʢશ෦ݟͨ๻ͷϥϕϧ෇ʣ
10. Կ͕ݴ͍͍ͨͷ͔ w Ұൠͽʔ΀Δ͸஍ཕөըΛબผ͢ΔྗΛΈʹ͚͍ͭͨ
    w ࣌ؒͱগֹͷ͕ۚ΋͍ͬͨͳ͍
    
    ήʔϜΦʔόʔ
    w ϚχΞ͸஍ཕͰ΋౿ΜͰΈ͍ͨ
    w ઌఔͷӈଆͷөըͷΑ͏ʹɺ஍ཕΛ౿ΜͰΈ͚ͨͲരൃͲ͜Ζ͔ ݁ߏ໘ന͍өըͩͬͨΓ͢Δ
    w ͜ΕΛޮ཰Α͘ݟ͚͍͖͍ͭͯͨ
11. Կ͕ݴ͍͍ͨͷ͔ w Ұൠͽʔ΀Δ͸஍ཕөըΛબผ͢ΔྗΛΈʹ͚͍ͭͨ
    w ࣌ؒͱগֹͷ͕ۚ΋͍ͬͨͳ͍
    
    ήʔϜΦʔόʔ
    w ϚχΞ͸஍ཕͰ΋౿ΜͰΈ͍ͨ
    w ઌఔͷӈଆͷөըͷΑ͏ʹɺ஍ཕΛ౿ΜͰΈ͚ͨͲരൃͲ͜Ζ͔ ݁ߏ໘ന͍өըͩͬͨΓ͢Δ
    w ͜ΕΛޮ཰Α͘ݟ͚͍͖͍ͭͯͨ
    
    8FCαʔϏε࡞੒த
12. Կ͕ݴ͍͍ͨͷ͔ w Ұൠͽʔ΀Δ͸஍ཕөըΛબผ͢ΔྗΛΈʹ͚͍ͭͨ
    w ࣌ؒͱগֹͷ͕ۚ΋͍ͬͨͳ͍
    
    ήʔϜΦʔόʔ
    w ϚχΞ͸஍ཕͰ΋౿ΜͰΈ͍ͨ
    w ઌఔͷӈଆͷөըͷΑ͏ʹɺ஍ཕΛ౿ΜͰΈ͚ͨͲരൃͲ͜Ζ͔ ݁ߏ໘ന͍өըͩͬͨΓ͢Δ
    w ͜ΕΛޮ཰Α͘ݟ͚͍͖͍ͭͯͨ
    
    8FCαʔϏε࡞੒த
13. ஡൪ऴΘΓ w #ڃөըΛϨϏϡʔ͍ͯ͠ΔϒϩάهࣄΛΫϩʔϧ
    w ϨϏϡʔهࣄʹϥϕϧ෇ʢ໘ന͔ͬͨ
    PS
    ͭ·Βͳ͔ͬͨʣ
    w Ϟσϧߏங
    w 7VFKTͰαΠτΛߏங
14. ՝୊ w ΫϩʔϥʔΛఆظ࣮ߦ
    w εΫϨΠϐϯάͷ൒ࣗಈԽ
    w өըλΠτϧͷਖ਼نԽ
    w ϨϏϡʔ෼ੳͷਫ਼౓
    w αΠτσβΠϯ
15. ՝୊ w ΫϩʔϥʔΛఆظ࣮ߦ
    w εΫϨΠϐϯάͷ൒ࣗಈԽ
    w өըλΠτϧͷਖ਼نԽ
    w ϨϏϡʔ෼ੳͷਫ਼౓
    w αΠτσβΠϯ
16. εΫϨΠϐϯάͷ൒ࣗಈԽ
17. εΫϨΠϐϯάͱ͸ʢΠϝʔδʣ HTML HTML ᶃ ᶄ ᶅ
18. ΊΜͲ͍͘͜͞ͱ w αΠτຖʹύʔε͢Δߏ଄͕ҧ͏ͨΊɺ౎౓ରԠ͢ΔϓϩάϥϜ ͷ༻ҙ
    w هࣄ63-ͷநग़
    w هࣄͷநग़
19. ΊΜͲ͍͘͜͞ͱ w αΠτຖʹύʔε͢Δߏ଄͕ҧ͏ͨΊɺ౎౓ରԠ͢ΔϓϩάϥϜ ͷ༻ҙ
    w هࣄ63-ͷநग़
    w هࣄͷநग़
20. Ξϓϩʔν w ϖʔδ͔Βίϯςϯπ͚ͩΛൈ͖ग़ͨ͢ΊͷγϯϓϧͰ؆୯ͳํ ๏ɻ
    w <OFX>
    هࣄͷεΫϨΠϐϯάΛػցֶशͰࣗಈԽ
21. ϖʔδ͔Βίϯςϯπ͚ͩΛൈ͖ग़ͨ͢Ίͷγϯ ϓϧͰ؆୯ͳํ๏ɻ w ͬ͘͟Γͱ࿩͢Δͱ
    w େྔͷ8FCϖʔδͷεΫϨΠϐϯάॲཧΛλΠϓ͢Δͷ͸େม
    w ίϯςϯπ͚ͩΛൈ͖ग़ͤͳ͍͔
    w ࣗ࡞
    ؆қ൛ίϯςϯπநग़ϩδοΫΛ࡞ͬͨΑʢ+BWBʣ
22. ϩδοΫઆ໌ αΠτ͔Βൈਮ w )UNMλάΛͱ͠ɺλάߏ଄ͷҐஔΛਂ͞ͱͯ͠ɺ Eͱ͢Δ
    w λάͷ഑Լʹؚ·ΕΔςΩετྔΛMͱ͢Δ
    w λάͷ഑Լͷࢠλά਺ɻDͱ͢Δ S = l 4 3 d 2c
23. ίʔυ͕͋Δ
24. Ͱ΋+BWBͳΜͰ͢Α
25. ͱ͍͏Θ͚Ͱ
26. ࡞ΔϚϯɾɾɾɾɾɾɾ
27. Ͱ͖ͨϚΞΞΞΞΞΞΞΞΞΞΞΞΞΞΞΞΞϯ
28. 6TBHF 1 from trimmer_py.trimmer_py import search_max_score_tag 2 from urllib import request 3 4 if __name__ == '__main__': 5 url = 'http://teenssexandwarmode.hatenablog.com/entry/2018/10/10/042129' 6 with request.urlopen(url) as f: 7 html = f.read() 8 # return bs4 object. 9 t = search_max_score_tag(html) 10 print(t.text)
29. ݕূ݁Ռ w ద౰ʹर͖ͬͯͨϒϩάهࣄ̑αΠτ͙Β͍͸͏·͍ͬͨ͘
    w ࣗ࡞Ϋϩʔϥʔʹ૊ΈࠐΜͩΒλΠτϧ࿙Εͱ͔͚͋ͬͨͲɺ΄ ΅΄΅͏·͍ͬͨ͘ʢ̐αΠτɾɾɾɻαϯϓϧ͕গͳ͍ʣ
    w ·͊Αͦ͞͏
30. ݕূ݁Ռ
31. ࡶײ
    
32. ࡶײ w هࣄͷऔಘ͸ϧʔϧϕʔεͰ΋ࣗಈԽͰ͖ͨ
    w هࣄҰཡͷऔಘ΋ࣗಈԽ͍ͨ͠ͳɻߟ͑Δ
    w #ڃϥΠϑΛόϥ৭ʹ͢ΔͨΊʹࣗવݴޠॲཧͷษڧΛؤுΔ