Rails with Massive Data 10 things you should know 12年8月19日星期日 

about • fb.com/xdite • twitter.com/xdite • rocodev.com 12年8月19日星期日 

Agenda • Don’t use ActiveRecord • Don’t use ActiveRecord • Don’t use ActiveRecord • Don’t use ActiveRecord • Don’t use ActiveRecord • ............ Unless you know what you’re doing 12年8月19日星期日 

#1. Active Record is danger 12年8月19日星期日 

typical usage posts = Post.where(:board_id => 5) post.each do |post| post.board_id = 1 post.save end ~ 1000 data : cool ~ 1000000 data : hell 12年8月19日星期日 

problems posts = Post.where(:board_id => 5) post.each do |post| post.board_id = 1 post.save end load ~1000000 objects in memory trigger ~1000000 callbacks DB transaction update DB indexes 12年8月19日星期日 

problems • memory bloat • too much callbacks • too much DB transaction • slow query ( update db indexes) 12年8月19日星期日 

#2. update_all 12年8月19日星期日 

update_all posts = Post.where(:board_id => 5) post.each do |post| post.board_id = 1 post.save end Post.update_all({:board_id => 1}, {:board_id => 5}) 12年8月19日星期日 

#3. find_in_batches 12年8月19日星期日 

find_in_batches Post.find_in_batches(:conditions => "board_id = 5", :batch_size => 1000) do |posts| posts.each do |post| post.board_id = 1 post.save end end load only ~1000 objects in memory 12年8月19日星期日 

#4. transaction 12年8月19日星期日 

transaction (0.3ms) BEGIN (0.5ms) COMMIT ~1000000 DB transaction 12年8月19日星期日 

transaction Post.find_in_batches(:conditions => "board_id = 5", :batch_size => 1000) do | posts| Post.transaction do posts.each do |post| post.board_id = 1 post.save end end end ~ only 1000 transactions 12年8月19日星期日 

#5. update_column 12年8月19日星期日 

update_column posts = Post.where(:board_id => 5) post.each do |post| post.update_column(:board_id, 1 ) end ~ skip 1000000 * n callbacks 12年8月19日星期日 

sneaky-save (gem) posts = Post.where(:board_id => 5) post.each do |post| post.board_id = 1 post.sneaky_save end ~ skip 1000000 * n callbacks 12年8月19日星期日 

any question? 12年8月19日星期日 

#6. select only needed 12年8月19日星期日 

select only needed posts = Post.where(“id < 10”) Post Load (18.8ms) SELECT `posts`.* FROM `posts` WHERE (id < 10) “post.content” ~ 100k 10000 record ~ 1G Post.select("column 1, colum2").where 12年8月19日星期日 

#7. delegate 12年8月19日星期日 

move out big data class Post < ActiveRecord::Base has_one :meta after_create :create_meta delegate :content, :to => :meta end # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post_data # # id :integer not null, primary key # post_id :integer # content :text # created_at :datetime not null # updated_at :datetime not null # 12年8月19日星期日 

#8. indexes 12年8月19日星期日 

add index on foreign key posts = Post.where(:board_id => 5) add_index :posts, :board_id 12年8月19日星期日 

integer & varchar # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post # # id :integer not null, primary key # board_id :integer # content :text # created_at :datetime not null # updated_at :datetime not null # # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post # # id :integer not null, primary key # board_id :string(255) # content :text # created_at :datetime not null # updated_at :datetime not null # ~100x slower 12年8月19日星期日 

對 MySQL 的 VARCHAR 欄位使用 INDEX 時 可以增加效率的方法… http://bit.ly/QdEK19 12年8月19日星期日 

MySQL Indexing Best Practices http://bit.ly/Spi6F8 12年8月19日星期日 

#9. delete / destroy 12年8月19日星期日 

delete / destroy • destroy is slow • destroy go through callbacks 12年8月19日星期日 

delete / destroy • delete is also slow..... • DELETE update indexes 12年8月19日星期日 

solution 1. acts_as_archive ( gem ) (soft_delete) 2. INSERT to new table 12年8月19日星期日 

#10. background job 12年8月19日星期日 

background job 1. delayed_job ( not recommended) 2. resque 3. sidekiq 12年8月19日星期日 

any question? 12年8月19日星期日 

Thanks for listening 12年8月19日星期日