Rails with Massive Data

Rails with Massive Data 10 things you should know 12年8月19日星期日

about • fb.com/xdite • twitter.com/xdite • rocodev.com 12年8月19日星期日

Agenda • Don’t use ActiveRecord • Don’t use ActiveRecord •

Don’t use ActiveRecord • Don’t use ActiveRecord • Don’t use ActiveRecord • ............ Unless you know what you’re doing 12年8月19日星期日

#1. Active Record is danger 12年8月19日星期日

typical usage posts = Post.where(:board_id => 5) post.each do |post|

post.board_id = 1 post.save end ~ 1000 data : cool ~ 1000000 data : hell 12年8月19日星期日

problems posts = Post.where(:board_id => 5) post.each do |post| post.board_id

= 1 post.save end load ~1000000 objects in memory trigger ~1000000 callbacks DB transaction update DB indexes 12年8月19日星期日

problems • memory bloat • too much callbacks • too

much DB transaction • slow query ( update db indexes) 12年8月19日星期日

#2. update_all 12年8月19日星期日

update_all posts = Post.where(:board_id => 5) post.each do |post| post.board_id

= 1 post.save end Post.update_all({:board_id => 1}, {:board_id => 5}) 12年8月19日星期日

#3. find_in_batches 12年8月19日星期日

find_in_batches Post.find_in_batches(:conditions => "board_id = 5", :batch_size => 1000) do

|posts| posts.each do |post| post.board_id = 1 post.save end end load only ~1000 objects in memory 12年8月19日星期日

#4. transaction 12年8月19日星期日

transaction (0.3ms) BEGIN (0.5ms) COMMIT ~1000000 DB transaction 12年8月19日星期日

transaction Post.find_in_batches(:conditions => "board_id = 5", :batch_size => 1000) do

| posts| Post.transaction do posts.each do |post| post.board_id = 1 post.save end end end ~ only 1000 transactions 12年8月19日星期日

#5. update_column 12年8月19日星期日

update_column posts = Post.where(:board_id => 5) post.each do |post| post.update_column(:board_id,

1 ) end ~ skip 1000000 * n callbacks 12年8月19日星期日

sneaky-save (gem) posts = Post.where(:board_id => 5) post.each do |post|

post.board_id = 1 post.sneaky_save end ~ skip 1000000 * n callbacks 12年8月19日星期日

any question? 12年8月19日星期日

#6. select only needed 12年8月19日星期日

select only needed posts = Post.where(“id < 10”) Post Load

(18.8ms) SELECT `posts`.* FROM `posts` WHERE (id < 10) “post.content” ~ 100k 10000 record ~ 1G Post.select("column 1, colum2").where 12年8月19日星期日

#7. delegate 12年8月19日星期日

move out big data class Post < ActiveRecord::Base has_one :meta

after_create :create_meta delegate :content, :to => :meta end # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post_data # # id :integer not null, primary key # post_id :integer # content :text # created_at :datetime not null # updated_at :datetime not null # 12年8月19日星期日

#8. indexes 12年8月19日星期日

add index on foreign key posts = Post.where(:board_id => 5)

add_index :posts, :board_id 12年8月19日星期日

integer & varchar # -*- encoding : utf-8 -*- #

== Schema Information # # Table name: post # # id :integer not null, primary key # board_id :integer # content :text # created_at :datetime not null # updated_at :datetime not null # # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post # # id :integer not null, primary key # board_id :string(255) # content :text # created_at :datetime not null # updated_at :datetime not null # ~100x slower 12年8月19日星期日

對 MySQL 的 VARCHAR 欄位使用 INDEX 時 可以增加效率的方法… http://bit.ly/QdEK19 12年8月19日星期日

MySQL Indexing Best Practices http://bit.ly/Spi6F8 12年8月19日星期日

#9. delete / destroy 12年8月19日星期日

delete / destroy • destroy is slow • destroy go

through callbacks 12年8月19日星期日

delete / destroy • delete is also slow..... • DELETE

update indexes 12年8月19日星期日

solution 1. acts_as_archive ( gem ) (soft_delete) 2. INSERT to

new table 12年8月19日星期日

#10. background job 12年8月19日星期日

background job 1. delayed_job ( not recommended) 2. resque 3.

sidekiq 12年8月19日星期日

any question? 12年8月19日星期日

Thanks for listening 12年8月19日星期日