Node.js在淘宝的应用实践

各种兼容库，框架的出现和发展，使得前端技术已经不再是前端的瓶颈了。Node.js的出现，可以帮助前端工程师打破了与后端开发之间的壁垒，形成真正的大前端环境。主题将分享Node.js Web开发经验，发现并释放前端工程师已有价值。

Transcript

1. Node在淘宝的应用实践 这些年，我们一起开发过的Node.js By @朴灵 1
2. 关于我 • CNode社区 • 前端 at SAP for Mobile Web • 前端 at 淘宝数据产品部 连IE6都能 兼容的男 人 2
3. 议程 • 我为什么要做Node开发 • 准备工作与作品 • Node.js带来的新问题与如何逆袭 • 异步编程 • 缓存与内存 • Buffer • Node.js在淘宝产品中的一点实践 3
4. 长达半天的欢乐 4 前端屌丝的坎坷路 icons powered by morcha design
5. Node与前端的亲缘 5
6. Node与前端的亲缘 6
7. 左手HTML5右手 Node.js • 熟知的JavaScript执行原理/事件循环 • 熟悉的API、事件、单线程、回调 • Ajax/异步 • 相比HTML5，Node将开启更多的可能 性 7
8. 好奇心 & 满足感 • HTTP协议栈：深入后端，反哺前端 • Status code • Cookie & Session • Request & Response • Web Framework • 高性能JavaScript平台 • 拓宽视野 8
9. Go, go, go!!! 9 var http = require('http');http.createServer(function (req, res) { res.writeHead(200, {'Content-Type': 'text/plain'}); res.end('Hello World\n');}).listen(1337, '127.0.0.1');console.log('Server running at http://127.0.0.1:1337/'); % node example.jsServer running at http://127.0.0.1:1337/
10. 作品 10
11. 全JavaScript堆栈的产 品 WebGhos t Shoul d MongoSki n ITier Redis & MRedis Connect 11
12. 前端工程师到Web工程师 12 结果重了10斤 如何摆脱前端屌丝的身份 让女神青睐
13. $.get("template", function (template) { // something $.get("data", function (data) { // something $.get("l10n", function (l10n) { // something render(template, data); }); }); }); 问题：异步协作 • 嵌套还是并行？ 13 var proxy = new EventProxy(); proxy.all("template", "data", "l10n", render); $.get("template", function (template) { // something proxy.trigger("template", template); }); $.get("data", function (data) { // something proxy.trigger("data", data); }); $.get("l10n", function (l10n) { // something proxy.trigger("l10n", l10n); });
14. 问题：异步还是同步 • 复杂的异步编程 var proxy = new EventProxy(); var status = "ready"; var _getFile = function (callback) { proxy.once("template", callback); if (status === "ready") { fs.readFile("views/index.html", function (err, file) { status = "pending"; proxy.fire("template", err, file); }); } }; var _template; var getTemplate = function (callback) { if (_template) { callback(null, _template); } else { _getFile(function (err, file) { if (!err && !_template) { _template = file.toString(); } callback(null, _template); }); } }; 同步 + 缓存，妥妥滴 var view = fs.readFileSync("../views/index.html", "utf8"); 14
15. 问题：缓存的使用 var map = {}; var get = function (key) { return map[key]; }; var set = function (key, value) { map[key] = value; }; // 检查缓存 if (!get(key)) { // 从数据库或别的地方获取了对象后，放进缓存中 set(key, value); } var LimitableMap = require('limitablemap'); var map = new LimitableMap(1000); map.set("key1", "key1"); map.get("key1"); 15
16. 问题：Session • V8内存堆栈限制 • 分布式中，Session需要共享(Redis) • 重启应用不丢失session • 多点Redis，备份容灾 16
17. 问题：Buffer对象 var data = ""; res.on('data', function (chunk) { // chunk是一个Buffer对象 data += chunk;// 隐藏的toString（） }) .on("end", function () { //对data转码 }); 17 // 正确的方法 var chunks = []; var size = 0; res.on('data', function (chunk) { chunks.push(chunk); size += chunk.length; }); res.on('end', function () { var data = null; switch(chunks.length) { case 0: data = new Buffer(0); break; case 1: data = chunks[0]; break; default: data = new Buffer(size); for (var i = 0, pos = 0, l = chunks.length; i < l; i++) { var chunk = chunks[i]; chunk.copy(data, pos); pos += chunk.length; } break; } // 简单且正确的方法 var bufferHelper = new BufferHelper(); req.on("data", function (chunk) { bufferHelper.concat(chunk); }) .on('end', function () { var html = bufferHelper.toBuffer().toString(); });
18. 问题：String传输的性 能 • 7k大小的静态文件，需做替换 • String ➛ Buffer • 缓存Buffer，4倍性能提升 18
19. 问题：多核CPU的利 用 • 单线程与多核CPU • 单线程因为异常退出？ • 仿若熟悉的Web Worker: child_process • 进程与消息 var cluster = require('node-cluster'); var master = new cluster.Master(); master.register(8080, 'app.js'); master.dispatch(); var http = require('http'); var cluster = require('node-cluster'); var worker = new cluster.Worker(); var server = http.createServer(function (req, res) { // server }); worker.ready(function (socket) { server.emit('connection', socket); }); 19 负载均衡 多核利用 提升稳定
20. 小结 • 异步编程问题？EventProxy、 JScex等 • 内存限制问题？第三方存储Redis • CPU消耗问题？缓存中间结果 • 单线程CPU利用不足问题？多进程 • 单线程稳定性问题？Node-Cluster 20
21. 实践：运维 • 异常 • 日志 • 监控 • 部署 • 备份容灾 21 // 异步方法中try catch是不靠谱滴 // 异步方法的异常 async(function (err, data) { if (err) { logger.error(err); return; // TODO } // TODO }); 进程数量 CPU 内存 Load 磁盘IO 流量 双机房 双Redis MRedis模块 双MongoDB MongoSkin 数据源集群
22. 实践：测试 • 测试 • 单元测试 • 自动化测试 • 性能测试 • 持续集成 WebGhost Should.js 22
23. 实践：CommonJS & Node & NPM CommonJ S Node NPM 23
24. 实践：公司范围内共享代码 • 如何保护隐私代码 • 如何重用散乱代码 • 如何告别复制粘贴 24
25. 实践：公司范围内共享代码 25 本地NPM 官方NPM 项目 单向同步 私有模块 公有模块
26. 展望 • 深度发掘前端开发和用户体验 • 无需与开发沟通，节省成本 • 知晓细节，更易改进产品体验 • 感谢伟大的github • 感谢伟大的NPM促成的生态圈 • 感谢Node这件美妙的礼物 26
27. Q&A 屌丝のぎゃくしゅ う 27