Tornado Development Practice

Tornado is a Python web framework and asynchronous networking library. This is the official description. But I think it's not just for web, it can also support custom protocols, the core is IOLoop/IOStream.

Transcript

1. tornado开发实践 twitter: @bf4x github: @bufferx
2. 简介 • written in Python • non-blocking • event driven, base on epoll in linux • lightweight
3. 由来 • friendfeed[http://friendfeed.com/] • 多人在线实时服务 • facebook
4. 开源 • github[https://github.com/facebook/tornado] • main contributor[https://github.com/bdarnell] • latest stable version: 3.0.1 • 3years • 1000+ commits • issues, open:, close: 728 • pull requests, open: 25, close: 780
5. 应用场景 HTTPSERVER • Long Polling/COMET服务 • WebSockets • 接口服务
6. 应用场景 Async Client • 与存储服务的异步IO (Mongo/Redis/Memcached/...) • 基于HTTP的异步下载(HTTPCLIENT) • Long Lived Connection • 移动推送服务
7. 项目实践 • 10+关键路径服务 • 机票/酒店/度假/图片等
8. 项目实践 • 接口服务 • 与多种后端服务交互,如 memcached/mongodb/redis/httpserver
9. 技术特性 • 进程级缓存 • 与后端网络服务的异步交互 • 协程/装饰器
10. 环境搭建 • virtualenv • supervisord • nginx
11. IBE系统 Apache Benchmark(connection=20000) 单进程单实例 数据
12. 开源 • github[https://github.com/bufferx/twork] • 25 commits twork
13. • MVC风格 • 一个Tornado接口服务DEMO • 技术特性示例 • 通用库支持(已分拆) twork
14. Tornado源码 核心 • IOLoop • IOStream
15. Tornado源码 关键点 • Stack Context • Coroutine • Decorator • tornado.gen
16. Tornado二次开发 • 网络IO相关 • 基于IOLoop • 基于IOStream
17. Tornado二次开发 • asyncmongo[https://github.com/bitly/asyncmongo] • Motor[http://github.com/mongodb/motor/] • brukva(redis)[https://github.com/evilkost/brukva] • memcache[https://github.com/dpnova/tornado- memcache] • tornado-celery[https://github. com/mher/tornado-celery] • Spyder[http://retresco.github.com/Spyder/] • 其它
18. Tornado二次开发 • KPNS Base On KMPP
19. 调优 • 充分利用多核
20. 调优 • python语言级 ◦ 列表包含/生成器表达式/协程/闭包等 ◦ 使用装饰器 ◦ 使用__slots__ ◦ 避免使用(.)运算符 ◦ ...
21. 调优 • C扩展 ◦ Python C Extension ◦ Swig
22. 调优 • pypy • twice times
23. 不足 • GIL的原因, CPython多线程时不能充分利用 多核
24. 注意 • 单进程单线程, 切忌阻塞操作
25. who use • facebook • 10gen • bitly • quora • zhihu • admaster • sae • ...
26. Thanks