Rails with Massive Data

Ruby Tuesday #21 ( Taiwan )

Transcript

1. Rails with Massive Data 10 things you should know 12年8月19日星期日
2. about • fb.com/xdite • twitter.com/xdite • rocodev.com 12年8月19日星期日
3. Agenda • Don’t use ActiveRecord • Don’t use ActiveRecord • Don’t use ActiveRecord • Don’t use ActiveRecord • Don’t use ActiveRecord • ............ Unless you know what you’re doing 12年8月19日星期日
4. #1. Active Record is danger 12年8月19日星期日
5. typical usage posts = Post.where(:board_id => 5) post.each do |post| post.board_id = 1 post.save end ~ 1000 data : cool ~ 1000000 data : hell 12年8月19日星期日
6. problems posts = Post.where(:board_id => 5) post.each do |post| post.board_id = 1 post.save end load ~1000000 objects in memory trigger ~1000000 callbacks DB transaction update DB indexes 12年8月19日星期日
7. problems • memory bloat • too much callbacks • too much DB transaction • slow query ( update db indexes) 12年8月19日星期日
8. #2. update_all 12年8月19日星期日
9. update_all posts = Post.where(:board_id => 5) post.each do |post| post.board_id = 1 post.save end Post.update_all({:board_id => 1}, {:board_id => 5}) 12年8月19日星期日
10. #3. find_in_batches 12年8月19日星期日
11. find_in_batches Post.find_in_batches(:conditions => "board_id = 5", :batch_size => 1000) do |posts| posts.each do |post| post.board_id = 1 post.save end end load only ~1000 objects in memory 12年8月19日星期日
12. #4. transaction 12年8月19日星期日
13. transaction (0.3ms) BEGIN (0.5ms) COMMIT ~1000000 DB transaction 12年8月19日星期日
14. transaction Post.find_in_batches(:conditions => "board_id = 5", :batch_size => 1000) do | posts| Post.transaction do posts.each do |post| post.board_id = 1 post.save end end end ~ only 1000 transactions 12年8月19日星期日
15. #5. update_column 12年8月19日星期日
16. update_column posts = Post.where(:board_id => 5) post.each do |post| post.update_column(:board_id, 1 ) end ~ skip 1000000 * n callbacks 12年8月19日星期日
17. sneaky-save (gem) posts = Post.where(:board_id => 5) post.each do |post| post.board_id = 1 post.sneaky_save end ~ skip 1000000 * n callbacks 12年8月19日星期日
18. any question? 12年8月19日星期日
19. #6. select only needed 12年8月19日星期日
20. select only needed posts = Post.where(“id < 10”) Post Load (18.8ms) SELECT `posts`.* FROM `posts` WHERE (id < 10) “post.content” ~ 100k 10000 record ~ 1G Post.select("column 1, colum2").where 12年8月19日星期日
21. #7. delegate 12年8月19日星期日
22. move out big data class Post < ActiveRecord::Base has_one :meta after_create :create_meta delegate :content, :to => :meta end # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post_data # # id :integer not null, primary key # post_id :integer # content :text # created_at :datetime not null # updated_at :datetime not null # 12年8月19日星期日
23. #8. indexes 12年8月19日星期日
24. add index on foreign key posts = Post.where(:board_id => 5) add_index :posts, :board_id 12年8月19日星期日
25. integer & varchar # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post # # id :integer not null, primary key # board_id :integer # content :text # created_at :datetime not null # updated_at :datetime not null # # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post # # id :integer not null, primary key # board_id :string(255) # content :text # created_at :datetime not null # updated_at :datetime not null # ~100x slower 12年8月19日星期日
26. 對 MySQL 的 VARCHAR 欄位使用 INDEX 時 可以增加效率的方法… http://bit.ly/QdEK19 12年8月19日星期日
27. MySQL Indexing Best Practices http://bit.ly/Spi6F8 12年8月19日星期日
28. #9. delete / destroy 12年8月19日星期日
29. delete / destroy • destroy is slow • destroy go through callbacks 12年8月19日星期日
30. delete / destroy • delete is also slow..... • DELETE update indexes 12年8月19日星期日
31. solution 1. acts_as_archive ( gem ) (soft_delete) 2. INSERT to new table 12年8月19日星期日
32. #10. background job 12年8月19日星期日
33. background job 1. delayed_job ( not recommended) 2. resque 3. sidekiq 12年8月19日星期日
34. any question? 12年8月19日星期日
35. Thanks for listening 12年8月19日星期日