JRuby @ OpenFeint

一次JRuby迁移成功的案例

Transcript

1. JRuby @ OpenFeint 黄志敏 http://huangzhimin.com/2012/11/14/jruby-at-openfeint-jruby-migration-success-story/
2. JRuby 给 OpenFeint 带来 了40%的性能提升
3. 关于OpenFeint • 最大的移动社交游戏平台 • 每分钟几十万的API调用 • 去年被GREE收购 • REE 1.8.7 + Rails 2.3.14
4. 关于我 • 黄志敏 Richard Huang (a.k.a flyerhzm) • 之前是OpenFeint资深工程师 现在是GREE咨询顾问 • 活跃于Ruby/JRuby的开源社区 • 个人主页 http://huangzhimin.com twitter, weibo, github: flyerhzm
5. 为什么要尝试JRuby？
6. 提高OpenFeint 服务器端的性能
7. Railsconf 2012
8. 大多数人在抱怨Ruby的GC
9. Not a Vendor Pitch: Real World Rails Apps at Massive Scale:: A Panel Discussion with New Relic, Groupon, Zendesk, Fanzter, and Uken http://railsconf2012.com/sessions/66
10. 2场介绍JRuby的话题
11. Up and to the right – how Spiceworks is scaling 200 million requests per month http://railsconf2012.com/sessions/62
12. Complex Made Simple: Sleep Better with TorqueBox http://railsconf2012.com/sessions/16
13. 快速性能测试
14. REE 1.8.7 2010.01 + passenger 331 ms JRuby 1.6.7.2 + torquebox 51.5 ms 禁用mysql sharding，background job和其它无法工作的部分 部署在qa服务器上，memcached, redis, rabbitmq和app server在同一台机器 ree没有优化gc
15. JRuby迁移策略
16. fetch_friend_status OpenFeint基础设施 Load Balancers Web / App Servers Mysql Memcached Redis Rabbitmq ......
17. fetch_friend_status OpenFeint基础设施 Load Balancers Web / App Servers Mysql Memcached Redis Rabbitmq ......
18. fetch_friend_status OpenFeint基础设施 App服务器按功能拆分到不同的池 Load Balancers负载把请求分发到不同的池
19. JRuby迁移策略 一个池一个池地进行迁移
20. JRuby迁移策略 （优点） 人力投入少 更早地享受JRuby带来的高速 更早地发现问题 更快地积累线上运维的经验
21. JRuby迁移策略 （缺点） 必须保证代码可同时在REE和JRuby下运行 增加了部署的复杂度
22. 替换不兼容的gem
23. yajl-ruby (x) hiredis (x) mysql => activerecord-jdbcmysql-adapter
24. typhoeus => net-http-persistent
25. memcached => jruby-memcached
26. 启用 threadsafe http://jrubytips.com/posts/3-enable-threadsafe-for-rails
27. 所有测试通过
28. JRuby往往需要更多的内存 JRUBY_OPTS=-J-Xmx2g jruby --client -S bundle exec rake test
29. 在开发和测试环境使用CRuby 在生产环境使用JRuby http://jrubytips.com/posts/2-mri-for-development-and-test-while-jruby-for- production
30. 选择JRuby服务器
31. Trinidad 基于 Tomcat Torquebox 基于 JBoss AS Mizuno 基于 Jetty Puma 新的ruby server
32. Trinidad 基于 Tomcat Torquebox 基于 JBoss AS Mizuno 基于 Jetty Puma 新的ruby server （rack 版本问题）
33. Trinidad 基于 Tomcat Torquebox 基于 JBoss AS （运行最快，团队维护） Mizuno 基于 Jetty Puma 新的ruby server （rack 版本问题）
34. torquebox-lite
35. 监控JVM
36. REE监控 NewRelic Scout
37. JRuby监控 NewRelic Scout + JMX Monitoring Plugin Zabbix （没上）
38. JRuby监控 http://jrubytips.com/posts/6-monitor-jvm 命令行工具 jstat, jstack, jmap 图形化工具 jconsole, visualvm
39. JVM 相关的问题
40. 内存泄漏
41. 内存无法回收
42. 内存无法回收 频繁执行Full GC 性能急剧下降
43. 线程安全问题
44. ActiveRecord 2.3.14 线程池 不安全！ https://gist.github.com/3882854
45. ActiveRecord 2.3线程池 不安全！ 线程死锁 吞吐量逐渐下降
46. 优化JVM Xms Xmx CodeCache http://jrubytips.com/posts/4-set-proper-value-for- codecache ......
47. 性能测试
48. read action write action REE 1.8.7 2010.01 + passenger 448 ms 44 ms Ruby 1.9.3 p194 + passenger 374 ms 42 ms JRuby 1.7.0.RC2 + torquebox-lite 187 ms 38 ms 在备机上进行测试 连接产品环境的mysql, memcached, redis, rabbitmq等等 REE使用Twitter提供的GC优化
49. 部署策略
50. 热部署 touch /opt/torquebox/current/jboss/standalone/deployments/openfeint_pla tform-knob.yml.dodeploy 30s 左右的宕机时间 non heap memory 每次都会增加
51. Rolling restart sudo /etc/init.d/jboss-as-standalone restart 1. 从LB中移除服务器A 2. 在服务器A上重启JBOSS 3. 把服务器A加回到LB中 4. 对每台服务器重复以上操作 零宕机 http://jrubytips.com/posts/5-zero-downtime-deployment
52. 上线之后效果如何？
53. 性能提升 ~ 40%
55. invokedynamic？
56. bug 18:29:03,515 ERROR [org.torquebox.core.runtime] (Thread-71) Error during execution: ENV['RAILS_ROOT']=RACK_ROOT ENV['RAILS_ENV']=RACK_ENV require %q(org/torquebox/web/rails/boot) : org.jruby.exceptions.RaiseException: (LoadError) load error: haml/buffer -- java.lang.NoClassDefFoundError: org/jruby/runtime/ThreadContext at org.jruby.RubyKernel.require(org/jruby/RubyKernel.java:1010) [jruby.jar:] at ActiveSupport::Dependencies::Loadable.require (/home/deploy/rails_apps/openfeint_platform/shared/bundle/jruby/1. 8/gems/activesupport-2.3.14/lib/active_support/dependencies.rb:182)
57. 期待invokedynamic带来 更多的性能优化
58. 感谢 JRuby team 感谢 Torquebox team
59. 谢谢 提问