F#でスクレイピングをしてみた！（F# SCRAPING）

2016/07/03開催のF#談話室(23)の発表資料です。

Transcript

1. F# SCRAPING F#ͰεΫϨΠϐϯάΛͯ͠Έͨʂ callmekohei 2016/07/03 Sun
2. Overview • ࣗݾ঺հ • εΫϨΠϐϯάͷ͖͔͚ͬ • HTMLͷ2ͭͷऔಘํ๏ • HTML͔ΒσʔλʔΛͱΓͩͯ͠ΈΔ
3. callmkohei VBA 3 years F# 9 months ๻ͷ໊લ͸ ϨΦɻ ΑΖ͘͠Ͷʂ
4. εΫϨΠϐϯάͷ͖͔͚ͬ
5. ͜Μͳײ͡Ͱ ϩτ̓ͷ༧ଌΛ ͍ͨ͠
6. ϩτ̓ͷ౰બ൪߸Λ ϗʔϜϖʔδΑΓ ೖख͍ͨ͠
8. ϗʔϜϖʔδ͸ HTMLιʔεͰ Ͱ͖͍ͯΔ
10. ϗʔϜϖʔδͷσʔλʔΛ औಘ͢Δʹ͸ HTMLιʔε͕ඞཁ
11. Ͳ͏΍ͬͯ HTMLιʔεΛ औಘ͢Δ͔
12. HTMLιʔεΛऔಘ͢Δ̎ͭͷํ๏
13. ͦͷ̍ System.NetΛ͔ͭ͏
14. ͦͷ̎ PhantomJS Λ͔ͭ͏
15. جຊతʹ͸ System.NetͷΈͰ େৎ෉ʢͩͱࢥ;ɻɻɻʣ ͜͜͸ ߟ͑Ͳ͜Ζ
16. Ͳ͏ͯ͠΋্ख͘ औಘͰ͖ͳ͍৔߹͸ PhantomJSΛ࢖ͬͯΈΔ
17. ͨͩ PhantomJS͸ ஗͍ͷͰ͢
18. αʔόʔ΁ͷ઀ଓൺֱ System.Net: 2s PhantomJS: 7s ࣮ߦ࣌ؒ͸ࢀߟ஋
19. ͜͜Ͱ ࣮ࡍʹαʔόʔʹ ͭͳ͛ͯΈΔ demo
20. HTMLιʔε͔Β σʔλʔΛ ͱΓͩͯ͠ΈΔ
21. ͜͜Ͱ ศརͳ ϥΠϒϥϦ FSharp.Data
22. FSharp Data ͱ͸ʁ The F# Data library implements everything you need to access data in your F# applications and scripts. CSV, HTML, JSON and XML ʹରͯ͠ͷศརϥΠϒϥϦ http://fsharp.github.io/FSharp.Data/
23. a tag
24. ͜͜Ͱ a tag Λ ͱΓͩͯ͠ΈΔ demo
25. table tag
26. ͜͜Ͱ table tag Λ ͱΓͩͯ͠ΈΔ demo
27. εΫϨΠϐϯά͢Δͱ͖ʹ ศརͩͱࢥ͏ؔ਺Λ ·ͱΊͯΈͨ
28. SCRAPINGfs https://github.com/callmekohei/SCRAPINGfs
29. ͞Βʹɺɺ
30. FSharp.Data HtmlDocument.Load ͍͚ͯͳ͍ͱࢥͬͯΔͱ͜Ζ
31. ϒϥ΢βʔ͡Όͳ͍ͱ͸͔͡ΕΔ จࣈίʔυ͕͏·͘ॲཧ͞Εͳ͍ Http Utilities Λ࢖͏͜ͱͰղܾʂ
32. Formॲཧ͕Ͱ͖ͳ͍
33. Formॲཧ͕Ͱ͖ͳ͍ Http Utilities Λ࢖͏͜ͱͰͪΐͬͱղܾʂ
34. Formॲཧ͕Ͱ͖ͳ͍ System.Net Λ࢖͏͜ͱͰղܾʂ
35. ؆୯ͳൺֱද
36. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠