Vacation Rentals of Hiroshima

Transcript

1. ޿ౡͷຽധσʔλ Λ෼ੳ͠Α͏ʂ 2016/11/12 ؔࠜ༟ل PyCon mini Hiroshima 2016

2. ࣗݾ঺հ • ؔࠜ༟لʢ͖ͤͶ ͻΖͷΓʣ • גࣜձࣾSQUEEZE • Twitter: @checkpoint

3. PythonͱͷؔΘΓʢ̍ʣ • PyCon JP 2014 ελοϑ • PyCon JP 2015

   ෭࠲௕ʢϓϩάϥϜʣ • PyCon jp 2016 ελοϑ • Python΋͘΋͘ձʢओ࠵ʣ

4. PythonͱͷؔΘΓʢ̎ʣ • LLDiver • PyCon JP 2014 • Phone Symposium

   Tokyo 2015 • PyCon mini Hiroshima 2015 • PyCon mini Hiroshima 2016 • PythonΤϯδχΞཆ੒ಡຊʢڞஶʣ

5. ۀ຿ͰͷPython • ຽധ෺݅Λ؅ཧɺӡ༻͢ΔͨΊͷαʔϏε
       

6. ۀ຿ͰͷPython • ຽധ෺݅Λ෼ੳ͢ΔͨΊͷαʔϏε     
    

    

7. ࢖༻ͯ͠Δٕज़

8. ΞδΣϯμ • ޿ౡݝͷຽധʹ͍ͭͯ • PythonͰͷσʔλऩू • PythonͰͷσʔλ෼ੳ

9. ຽധͱ͸ ҰൠͷຽՈʹ॓ധ͢Δ͜ͱʢ༷ʑͳܗଶʣ

10. ϓϥοτϑΥʔϜ COPYRIGHT (C) 2014-2016 SQUEEZE Inc. ALL RIGHTS RESERVED. 

     

11. ϓϥοτϑΥʔϜʢ೔ຊʣ

12. ޿ౡݝͷຽധ • தࠃɾ࢛ࠃ஍ํͰҰ൪େ͖ͳ౎ࢢʢ޿ౡࢢʣ • ੈքҨ࢈ΛؚΉ๛͔ͳ؍ޫࢿݯ • ΦόϚถେ౷ྖͷ๚໰ • ޿ౡΧʔϓͷηϦʔά༏উ •

    ຽധ΋੝Γ্͕͖͍ͬͯͯΔ͸ͣʂ

13. ຽധσʔλͷ෼ੳ • σʔλͷऩू • σʔλͷ෼ੳ • σʔλͷදࣔ

14. σʔλͷऩू • ΫϩʔϦϯά • εΫϨΠϐϯά • ౷ܭσʔλ • ૯຿ল౷ܭہ •

    σʔλΧλϩάαΠτ

15. ΫϩʔϦϯά • ӳޠͷҙຯ͸ɺ[͸͏ɺΏͬ͘ΓਐΉ] • WebϖʔδͷϦϯΫͷ಺༰ΛͨͲΔ • Webϖʔδͷ಺༰Λμ΢ϯϩʔυͯ͠ऩू • Web APIͷσʔλΛऔΔ৔߹΋͋Δ

16. εΫϨΠϐϯά • ӳޠͷҙຯ͸ɺ[ ࡟Δ͜ͱ ] • ϖʔδͷ಺༰͔Βඞཁͳ৘ใΛநग़

17. όοςϦʔ෇ଐݴޠ ʴ ڧྗͳαʔυύʔςΟϥΠϒϥϦ

18. ศརͳϥΠϒϥϦ • ඪ४ϥΠϒϥϦ • requests • BeautifulSoup • Scrapy •

    Selenium

19. ඪ४ϥΠϒϥϦ • Pythonͷඪ४ϥΠϒϥϦ͸ͱͯ΋ॆ࣮ • ωοτϫʔΫɺਖ਼نදݱɺetc • Pythonͷॲཧܥ͚ͩ͋Ε͹ྑ͍ • ؆୯ͳεΫϨΠϐϯάͰ͋Ε͹े෼࣮༻త

20. αϯϓϧ

21. Requests • Python੡ͷHTTP Client • ਓؒʹ༏͍͠ΠϯλʔϑΣʔε • ͱʹ͔͘Θ͔Γ΍͍͢ • γϯϓϧ͔ͭڧྗ

22. ެࣜαΠταϯϓϧ

23. αϯϓϧ(requests൛ʣ

24. Beautiful Soup • 2004೥Ґ͔Βଘࡏ͢ΔϥΠϒϥϦ • HTML΍XML͔ΒσʔλΛநग़ͯ͠औಘ • ࠷৽όʔγϣϯ͸Beautiful Soup 4ܥ

    • Python 2.7ɺPython 3.2ʹରԠ

25. αϯϓϧ

26. Scrapy Scarpy͸଎ͯ͘ɺϋΠϨϕϧͳεΫϨΠϐϯά ΫϩʔϥʔͷϑϨʔϜϫʔΫɻWebαΠτͷΫ ϩʔϧͱɺߏ଄Խ͞ΕͨσʔλΛऔΓग़͢ͷʹ ࢖༻͢Δɻ෯޿͍໨తʹ࢖༻Ͱ͖ΔɻσʔλϚ Πχϯά͔ΒɺϞχλϦϯάɺࣗಈςετͳͲ

27. Scrapyͷಛ௃ • ΫϩʔϦϯάɺεΫϨΠϐϯάϑϨʔϜϫʔΫ • DjangoʹӨڹ͞Ε͍ͯΔʢMiddlewareͳͲʣ • εΫϨΠϐϯάʹඞཁͳػೳ͕ͦΖ͍ͬͯΔ • υΩϡϝϯτ͕ॆ࣮͍ͯ͠Δ

28. Scrapyͷओͳػೳ • μ΢ϯϩʔυɺநग़ɺอଘ • μ΢ϯϩʔυͨ͠υΩϡϝϯτͷΩϟογϡ • ڧྗͳίϚϯυϥΠϯγΣϧ • Robots.txtͷύʔε •

    ඇಉظɺฒߦμ΢ϯϩʔυʢTwistedΛ࢖༻ʣ • υϝΠϯɺIPΞυϨε୯ҐͷΫϩʔϧִؒௐ੔ • Τϥʔ࣌ͷϦτϥΠ • ϩάग़ྗ

29. ։ൃखॱ • ScrapyϓϩδΣΫτͷ࡞੒ • SpiderΛ࡞੒ʢϦϯΫநग़ɺμ΢ϯϩʔυʣ • ItemύΠϓϥΠϯͰσʔλΛอଘ

30. ϓϩδΣΫτͷ࡞੒ $ scrapy startproject scrapy_sample

31. αϯϓϧ

32. Spider࡞੒ʢެࣜαΠτΑΓʣ

33. ࣮ߦ $ scrapy crawl dmoz_spider -o scraped_data.json

34. ৄࡉ • Scrapyೖ໳ʢ̍ʣ • Scrapyೖ໳ʢ̎ʣ

35. αϯϓϧʢ̍ʣ

36. αϯϓϧʢ̎ʣ

37. ࣮ࡍͷࣄྫͷ঺հ • ޿ౡݝͷຽധσʔλΛ෼ੳ • ෺݅৘ใ • Ձ֨৘ใ

38. ෺݅৘ใʢ๭αΠτʣ

39. ։ൃͷྲྀΕ • ෺݅ɺՁ֨৘ใऔಘ༻ͷεύΠμʔΛ࡞੒ • εύΠμʔ͕Ұ࣌σʔλΛอଘʢJSONʣ • όονॲཧʹͯ෺݅ɺՁ֨ΛอଘʢΫϨϯδϯάʣ • ूܭόονʹͯσʔλΛ෼ੳͯ͠DBʹอଘ •

    ूܭσʔλΛදࣔ

40. σϞ

41. ෺݅਺ 0 50 100 150 200 250 300 350 400

    450 500 2016/2/15 2016/2/22 2016/2/29 2016/3/7 2016/3/14 2016/3/21 2016/3/28 2016/4/4 2016/4/11 2016/4/18 2016/4/25 2016/5/2 2016/5/9 2016/5/16 2016/5/23 2016/5/30 2016/6/6 2016/6/13 2016/6/20 2016/6/27 2016/7/4 2016/7/11 2016/7/18 2016/7/25 2016/8/1 2016/8/8 2016/8/15 2016/8/22 2016/8/29 2016/9/5 2016/9/12 2016/9/19 2016/9/26 2016/10/3 2016/10… 2016/10… 2016/10… 2016/10… 2016/11/7 2016/11… 2016/11… 2016/11… 2016/12/5 2016/12… 2016/12… 2016/12… 
    

42. ෺݅਺ • ෺݅਺ 461݅ • 1೥Ͱ໿2ഒʢ240݅ => 461݅) • શࠃͰ10൪໨ʹଟ͍

    • ౦ژ౎, େࡕ෎, ژ౎෎, ԭೄ݅, ๺ւಓ, ෱Ԭ݅ɺ ਆಸ઒݅, ௕໺݅, Ѫ஌݅, ઍ༿ݝ, ޿ౡݝ

43. ฏۉՁ֨ 0 2000 4000 6000 8000 10000 12000 
    

44. ฏۉՁ֨ • ౙ৔͸ฏۉՁ͕֨௿͍ʢ5000ԁ୆ʣ • 8݄, 10݄, 11݄ͷि຤͕ߴ͍ʢ8000୆ʣ • ೥຤ɺ͓ਖ਼݄͕ϐʔΫʢ10000ԁ୆ʣ

45. Քಇ཰ 0 10 20 30 40 50 60 70 80

    90 100
    

46. Քಇ཰ • Նͷγʔζϯ͕ϐʔΫʢ80%ऑʣ • 10݄, 11݄ͷि຤͸ߴ͍ʢ70%Ҏ্ʣ • ౙͷγʔζϯ͸௿͍ʢ40%ҎԼʣ • 10/15ʢ౔),

    10/29ʢ౔ʣ͕ߴ͔ͬͨ

47. ·ͱΊ • PythonͰεΫϨΠϐϯάΛߦ͏৔߹ɺ৭ʑͳ Ξϓϩʔν͕͋Δɻ • Scrapy͸໘౗ͳॲཧΛߦͬͯ͘ΕΔͷͰΦε εϝ • ޿ౡͷຽധ͸͜Ε͔Β΋੝Γ্͕Δ͸ͣʂ

48. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠