Introduction for Brownant

Transcript

1. (´ŋ_ŋ`)
2. 贴⼀一个 URL，得到数据 “抓”
3. 需要结构化的数据 • ⽤用统计学⽅方法猜测
 —— Readability、Pocket、搜索引擎 • ⽤用约定的协议（如 schema.org、OpenGraph）
 —— Facebook、Twitter Card、搜索引擎 • 抓取者定制规则
 —— ⾖豆瓣东⻄西
4. ⽐比较笨的实现 写⼀一个函数去匹配和分解 URL
5. ⽐比较笨的实现 ⼜又写⼀一个函数去抽取信息
6. 其实⼤大部分规则
 都是可以
 ⽤用配置⽂文件写出来的
7. 配置⽂文件就是这样 。。。。。。
8. 静态配置的问题 • 原来 title_pattern = `//*[@id=info]/h2/text()` • 后来这个⺴⽹网站改版了，需要请求另⼀一个 API 才能拿 到标题 • 我们就 。。。。。。
9. 如果需要能伸能缩
 
 DSL
10. 最好的例⼦子 DSL with Ruby
11. 既是语⾔言，也是配置
12. Brownant 基于 Python 的 descriptor 特性
13. Python 的 descriptor • 拦截 getattr、setattr、delattr • 能访问宿主对象 • “元属性”
15. Pipeline o.title o.etree o.text_response o.http_client o.url
16. Pipeline o.title o.etree o.text_response o.http_client o.ajax_response o.ajax_json o.price o.url o.ajax_url
17. 借助了其他开源库 • Werkzeug —— URL 分发 • lxml 和 requests —— 访问⺴⽹网络、解析 HTML • six —— 兼容 Python 2 / Python 3
18. 接下来希望解决的问题 • ⽂文档太简陋 • 内置 PipelineProperty 类型太少 • 不会画蚂蚁，所以没 Logo
19. github.com:douban/brownant Waiting your pull request
 tonight~❤️