Nokigiri Web

Nokigiri as a Ruby scrawler

Transcript

1. Nokogiri Web 解析 不是爬⾍虫
2. What Covers • 想法：从搜索到落地 • Demo: ⽰示例抓取演⽰示 • 解决⽅方案：异步⻚页⾯面的抓取 • 脑洞⼤大开：探索可以做的好玩事情 • 不包括：基础的代码语法
3. • 从指定⺴⽹网站提取数据，⽐比如电商⺴⽹网站的定价数据， ⾖豆瓣的电影书籍评分，美图⺴⽹网站的照⽚片，⼩小说⺴⽹网 站的最新章节 • 从本地或远程⽂文件中提取数据，获得分析结果 • 爬取别⼈人⺴⽹网站，需要先分析别⼈人⺴⽹网站的内容，从 ⽽而学习⼀一定的前端知识，有些⺴⽹网站的前端直接调 ⽤用的是裸接⼝口，通过分析前端⻚页⾯面，可以获得接 ⼝口地址，快速干净的批量获取到我们需要的数据 Why…
4. Then… • 抓取数据之后，可以导出成json或保存在数据库 中，如果数据有价值，可以做成⺴⽹网站⼩小范围分享， 或者⾃自⼰己私有的RSS, 常⻅见：公众号聚合，⼩小说下 载，图⽚片分享，电商推荐 • 监控⾃自有⺴⽹网站服务状态 • 监控对⼿手⺴⽹网站服务更新 • 为⾃自⼰己的⺴⽹网站加⼊入更多属性：评分，⽐比价...
5. 关键字
9. Nokogiri 只是⼀一个⺴⽹网⻚页解析组件，可以⽤用来实验， 不适合做爬⾍虫，可选择java或python更好 的解决⽅方案
10. “Nokogiri (鋸) is an HTML, XML, SAX, and Reader parser. Among Nokogiri's many features is the ability to search documents via XPath or CSS3 selectors.”
11. CSS Selector #product_list > div:nth-child(1) > a > img
12. XPath Selector //*[@id="product_list"]/div[1]/a/img
14. Examples
15. http://www.wowebook.pw/
16. http://www.thebeastshop.com/item/detail/S00301000013765.htm
17. 异步⻚页⾯面的抓取使⽤用 watir-webdriver https://paddle8.com/artworks/all:popular
18. 脑洞⼤大开 真实的抓取可能遇到 1.request ip limit 2.request cookie limit 3.request behaviour detect 4.user account authenticate