JRuby @ OpenFeint - Speaker Deck

JRuby @ OpenFeint

Slide 1

Slide 1 text

JRuby @ OpenFeint 黄志敏 http://huangzhimin.com/2012/11/14/jruby-at-openfeint-jruby-migration-success-story/

Slide 2

Slide 2 text

JRuby 给 OpenFeint 带来了40%的性能提升

Slide 3

Slide 3 text

关于OpenFeint ● 最大的移动社交游戏平台 ● 每分钟几十万的API调用 ● 去年被GREE收购 ● REE 1.8.7 + Rails 2.3.14

Slide 4

Slide 4 text

关于我 ● 黄志敏 Richard Huang (a.k.a flyerhzm) ● 之前是OpenFeint资深工程师现在是GREE咨询顾问 ● 活跃于Ruby/JRuby的开源社区 ● 个人主页 http://huangzhimin.com twitter, weibo, github: flyerhzm

Slide 5

Slide 5 text

为什么要尝试JRuby？

Slide 6

Slide 6 text

提高OpenFeint 服务器端的性能

Slide 7

Slide 7 text

Railsconf 2012

Slide 8

Slide 8 text

大多数人在抱怨Ruby的GC

Slide 9

Slide 9 text

Not a Vendor Pitch: Real World Rails Apps at Massive Scale:: A Panel Discussion with New Relic, Groupon, Zendesk, Fanzter, and Uken http://railsconf2012.com/sessions/66

Slide 10

Slide 10 text

2场介绍JRuby的话题

Slide 11

Slide 11 text

Up and to the right – how Spiceworks is scaling 200 million requests per month http://railsconf2012.com/sessions/62

Slide 12

Slide 12 text

Complex Made Simple: Sleep Better with TorqueBox http://railsconf2012.com/sessions/16

Slide 13

Slide 13 text

快速性能测试

Slide 14

Slide 14 text

REE 1.8.7 2010.01 + passenger 331 ms JRuby 1.6.7.2 + torquebox 51.5 ms 禁用mysql sharding，background job和其它无法工作的部分部署在qa服务器上，memcached, redis, rabbitmq和app server在同一台机器 ree没有优化gc

Slide 15

Slide 15 text

JRuby迁移策略

Slide 16

Slide 16 text

fetch_friend_status OpenFeint基础设施 Load Balancers Web / App Servers Mysql Memcached Redis Rabbitmq ......

Slide 17

Slide 17 text

fetch_friend_status OpenFeint基础设施 Load Balancers Web / App Servers Mysql Memcached Redis Rabbitmq ......

Slide 18

Slide 18 text

fetch_friend_status OpenFeint基础设施 App服务器按功能拆分到不同的池 Load Balancers负载把请求分发到不同的池

Slide 19

Slide 19 text

JRuby迁移策略一个池一个池地进行迁移

Slide 20

Slide 20 text

JRuby迁移策略（优点）人力投入少更早地享受JRuby带来的高速更早地发现问题更快地积累线上运维的经验

Slide 21

Slide 21 text

JRuby迁移策略（缺点）必须保证代码可同时在REE和JRuby下运行增加了部署的复杂度

Slide 22

Slide 22 text

替换不兼容的gem

Slide 23

Slide 23 text

yajl-ruby (x) hiredis (x) mysql => activerecord-jdbcmysql-adapter

Slide 24

Slide 24 text

typhoeus => net-http-persistent

Slide 25

Slide 25 text

memcached => jruby-memcached

Slide 26

Slide 26 text

启用 threadsafe http://jrubytips.com/posts/3-enable-threadsafe-for-rails

Slide 27

Slide 27 text

所有测试通过

Slide 28

Slide 28 text

JRuby往往需要更多的内存 JRUBY_OPTS=-J-Xmx2g jruby --client -S bundle exec rake test

Slide 29

Slide 29 text

在开发和测试环境使用CRuby 在生产环境使用JRuby http://jrubytips.com/posts/2-mri-for-development-and-test-while-jruby-for- production

Slide 30

Slide 30 text

选择JRuby服务器

Slide 31

Slide 31 text

Trinidad 基于 Tomcat Torquebox 基于 JBoss AS Mizuno 基于 Jetty Puma 新的ruby server

Slide 32

Slide 32 text

Trinidad 基于 Tomcat Torquebox 基于 JBoss AS Mizuno 基于 Jetty Puma 新的ruby server （rack 版本问题）

Slide 33

Slide 33 text

Trinidad 基于 Tomcat Torquebox 基于 JBoss AS （运行最快，团队维护） Mizuno 基于 Jetty Puma 新的ruby server （rack 版本问题）

Slide 34

Slide 34 text

torquebox-lite

Slide 35

Slide 35 text

监控JVM

Slide 36

Slide 36 text

REE监控 NewRelic Scout

Slide 37

Slide 37 text

JRuby监控 NewRelic Scout + JMX Monitoring Plugin Zabbix （没上）

Slide 38

Slide 38 text

JRuby监控 http://jrubytips.com/posts/6-monitor-jvm 命令行工具 jstat, jstack, jmap 图形化工具 jconsole, visualvm

Slide 39

Slide 39 text

JVM 相关的问题

Slide 40

Slide 40 text

内存泄漏

Slide 41

Slide 41 text

内存无法回收

Slide 42

Slide 42 text

内存无法回收频繁执行Full GC 性能急剧下降

Slide 43

Slide 43 text

线程安全问题

Slide 44

Slide 44 text

ActiveRecord 2.3.14 线程池不安全！ https://gist.github.com/3882854

Slide 45

Slide 45 text

ActiveRecord 2.3线程池不安全！线程死锁吞吐量逐渐下降

Slide 46

Slide 46 text

优化JVM Xms Xmx CodeCache http://jrubytips.com/posts/4-set-proper-value-for- codecache ......

Slide 47

Slide 47 text

性能测试

Slide 48

Slide 48 text

read action write action REE 1.8.7 2010.01 + passenger 448 ms 44 ms Ruby 1.9.3 p194 + passenger 374 ms 42 ms JRuby 1.7.0.RC2 + torquebox-lite 187 ms 38 ms 在备机上进行测试连接产品环境的mysql, memcached, redis, rabbitmq等等 REE使用Twitter提供的GC优化

Slide 49

Slide 49 text

部署策略

Slide 50

Slide 50 text

热部署 touch /opt/torquebox/current/jboss/standalone/deployments/openfeint_pla tform-knob.yml.dodeploy 30s 左右的宕机时间 non heap memory 每次都会增加

Slide 51

Slide 51 text

Rolling restart sudo /etc/init.d/jboss-as-standalone restart 1. 从LB中移除服务器A 2. 在服务器A上重启JBOSS 3. 把服务器A加回到LB中 4. 对每台服务器重复以上操作零宕机 http://jrubytips.com/posts/5-zero-downtime-deployment

Slide 52

Slide 52 text

上线之后效果如何？

Slide 53

Slide 53 text

性能提升 ~ 40%

Slide 54

Slide 54 text

No content

Slide 55

Slide 55 text

invokedynamic？

Slide 56

Slide 56 text

bug 18:29:03,515 ERROR [org.torquebox.core.runtime] (Thread-71) Error during execution: ENV['RAILS_ROOT']=RACK_ROOT ENV['RAILS_ENV']=RACK_ENV require %q(org/torquebox/web/rails/boot) : org.jruby.exceptions.RaiseException: (LoadError) load error: haml/buffer -- java.lang.NoClassDefFoundError: org/jruby/runtime/ThreadContext at org.jruby.RubyKernel.require(org/jruby/RubyKernel.java:1010) [jruby.jar:] at ActiveSupport::Dependencies::Loadable.require (/home/deploy/rails_apps/openfeint_platform/shared/bundle/jruby/1. 8/gems/activesupport-2.3.14/lib/active_support/dependencies.rb:182)