Rails with Massive Data

Transcript

1. Rails with Massive Data 10 things you should know 12年8月19日星期日

2. about • fb.com/xdite • twitter.com/xdite • rocodev.com 12年8月19日星期日

3. Agenda • Don’t use ActiveRecord • Don’t use ActiveRecord •

   Don’t use ActiveRecord • Don’t use ActiveRecord • Don’t use ActiveRecord • ............ Unless you know what you’re doing 12年8月19日星期日

4. #1. Active Record is danger 12年8月19日星期日

5. typical usage posts = Post.where(:board_id => 5) post.each do |post|

   post.board_id = 1 post.save end ~ 1000 data : cool ~ 1000000 data : hell 12年8月19日星期日

6. problems posts = Post.where(:board_id => 5) post.each do |post| post.board_id

   = 1 post.save end load ~1000000 objects in memory trigger ~1000000 callbacks DB transaction update DB indexes 12年8月19日星期日

7. problems • memory bloat • too much callbacks • too

   much DB transaction • slow query ( update db indexes) 12年8月19日星期日

8. #2. update_all 12年8月19日星期日

9. update_all posts = Post.where(:board_id => 5) post.each do |post| post.board_id

   = 1 post.save end Post.update_all({:board_id => 1}, {:board_id => 5}) 12年8月19日星期日

10. #3. find_in_batches 12年8月19日星期日

11. find_in_batches Post.find_in_batches(:conditions => "board_id = 5", :batch_size => 1000) do

    |posts| posts.each do |post| post.board_id = 1 post.save end end load only ~1000 objects in memory 12年8月19日星期日

12. #4. transaction 12年8月19日星期日

13. transaction (0.3ms) BEGIN (0.5ms) COMMIT ~1000000 DB transaction 12年8月19日星期日

14. transaction Post.find_in_batches(:conditions => "board_id = 5", :batch_size => 1000) do

    | posts| Post.transaction do posts.each do |post| post.board_id = 1 post.save end end end ~ only 1000 transactions 12年8月19日星期日

15. #5. update_column 12年8月19日星期日

16. update_column posts = Post.where(:board_id => 5) post.each do |post| post.update_column(:board_id,

    1 ) end ~ skip 1000000 * n callbacks 12年8月19日星期日

17. sneaky-save (gem) posts = Post.where(:board_id => 5) post.each do |post|

    post.board_id = 1 post.sneaky_save end ~ skip 1000000 * n callbacks 12年8月19日星期日

18. any question? 12年8月19日星期日

19. #6. select only needed 12年8月19日星期日

20. select only needed posts = Post.where(“id < 10”) Post Load

    (18.8ms) SELECT `posts`.* FROM `posts` WHERE (id < 10) “post.content” ~ 100k 10000 record ~ 1G Post.select("column 1, colum2").where 12年8月19日星期日

21. #7. delegate 12年8月19日星期日

22. move out big data class Post < ActiveRecord::Base has_one :meta

    after_create :create_meta delegate :content, :to => :meta end # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post_data # # id :integer not null, primary key # post_id :integer # content :text # created_at :datetime not null # updated_at :datetime not null # 12年8月19日星期日

23. #8. indexes 12年8月19日星期日

24. add index on foreign key posts = Post.where(:board_id => 5)

    add_index :posts, :board_id 12年8月19日星期日

25. integer & varchar # -*- encoding : utf-8 -*- #

    == Schema Information # # Table name: post # # id :integer not null, primary key # board_id :integer # content :text # created_at :datetime not null # updated_at :datetime not null # # -*- encoding : utf-8 -*- # == Schema Information # # Table name: post # # id :integer not null, primary key # board_id :string(255) # content :text # created_at :datetime not null # updated_at :datetime not null # ~100x slower 12年8月19日星期日

26. 對 MySQL 的 VARCHAR 欄位使用 INDEX 時 可以增加效率的方法… http://bit.ly/QdEK19 12年8月19日星期日

27. MySQL Indexing Best Practices http://bit.ly/Spi6F8 12年8月19日星期日

28. #9. delete / destroy 12年8月19日星期日

29. delete / destroy • destroy is slow • destroy go

    through callbacks 12年8月19日星期日

30. delete / destroy • delete is also slow..... • DELETE

    update indexes 12年8月19日星期日

31. solution 1. acts_as_archive ( gem ) (soft_delete) 2. INSERT to

    new table 12年8月19日星期日

32. #10. background job 12年8月19日星期日

33. background job 1. delayed_job ( not recommended) 2. resque 3.

    sidekiq 12年8月19日星期日

34. any question? 12年8月19日星期日

35. Thanks for listening 12年8月19日星期日