Projeto Octopus - Sete anos de história

A RubyGem Octopus (https://github.com/thiagopradi/octopus) é a biblioteca mais utilizada para adicionar suporte a Sharding e Replicação com o ActiveRecord. A biblioteca é um resultado de um trabalho efetuado durante o Ruby Summer of Code de 2010, e completa sete anos de existência em 2017. Nesta palestra, irei falar sobre como o projeto iniciou, como seu desenvolvimento foi efetuado e quais as lições aprendidas ao longo destes sete anos de trabalho. As lições vão desde funcionamento dos “internals” do ActiveRecord, melhores práticas de código, até mesmo detalhes de gerenciamento de um projeto open-source.

Transcript

1. Projeto Octopus Sete anos de história Thiago Pradi RubyConf Brazil 2017
2. Thiago Pradi • Líder técnico na JobScore • Desenvolvedor de Software desde 2008 • Bacharel em Ciência da Computação - FURB • Mestre em Informática - UFPR • Contribuidor do Grupo IMAGO de Pesquisas
4. Objetivo: contar a história do projeto incentivar contribuições Open Source
5. Tudo Começou em 2009…
6. Aplicação para o Google Summer of Code - 2009
7. Proposta para melhorar o finado e renascido (?!) RubySpec
10. Após um ano, em 2010…
12. Proposta: Biblioteca de Database Sharding / Replication para o ActiveRecord
15. Inicia assim, o Projeto Octopus!
16. Gem para replicação / sharing com ActiveRecord
17. Mentores
18. Mike Perham (Sidekiq) Amit Agarwal (??)
19. Agradecimento especial: Marcus Derencius (@derencius)
20. Inicia-se o Desenvolvimento!
21. Tarefa Inicial: Verificar as Gems “Similares”
22. Existentes na época: DataFabric
 Masochism DbCharmer MultiDb
23. Ideia: Resolver as limitações de cada uma das gems.
24. Arquitetura
25. Fonte: https://www.polyglotprogramminginc.com/charming- large-databases-with-octopuses/
26. Monkeypatch no método de #connection do ActiveRecord
27. octopus: environments: - development - production development: shard_one: host: localhost adapter: mysql database: app_development production: shard_one: host: localhost adapter: mysql database: app_production
28. class Octopus::Model alias_method :connection_without_octopus, :connection alias_method :connection, :connection_with_octopus def connection_with_octopus if should_use_normal_connection? connection_without_octopus else connection_proxy end end end
29. module Octopus class Proxy attr_accessor :current_shard def initialize() # Initialize the connections and other dependencies end def method_missing(*args) conn = select_connection conn.send(method, *args, &block) end private def select_connection safe_connection(shards[current_shard]) end def safe_connection #Safely select the connection end end end
30. Suite de teste extensa para evitar problemas
32. Primeiro commit
34. Features adicionadas
35. Sharding
36. # syntax 1 User .where(name: “Boba”) .using(:brazil) # syntax 2 Octopus.using(:canada) do User.create(:name => "Thiago") end
37. class ApplicationController around_filter :select_shard def select_shard(&block) Octopus.using(current_user.shard, &block) end end
38. # Find user user = User .where(name: “Boba”) .using(:canada) # Sends query to canada user.items.create!(name: “Pen”)
39. Monkeypatch em quase todos métodos do ActiveRecord
41. Replicação
42. octopus: replicated: true environments: - staging - production production: brazil: host: 194.32.45.61 adapter: mysql database: octopus_shard4 canada: host: 194.32.45.62 adapter: mysql database: octopus_shard5
43. # Sent to brazil User.where(name: “Joe”).first # Sent to canada User.where(name: “Bob”).all # Sent to master User.create(:name => "Joe")
44. Migrações
45. class CreateUsersOnMultiplesGroups < ActiveRecord::Migration using_group(:country_shards) def self.up User.create!(:name => "Sah") end def self.down User.delete_all end end
46. class CreateUsersOnBothShards < ActiveRecord::Migration using(:brazil, :canada) def self.up User.create!(:name => "Lee") end def self.down User.delete_all end end
47. Finalizando os três meses de RubySoc
48. Avaliação positiva = pagamento liberado
51. Bugs Resolvidos
53. 2011 - Novo trabalho
54. Porém, sem utilizar o Octopus :-(
55. Iniciando a segunda fase do projeto….
56. A MANUTENÇÃO
58. Novas Features adicionadas
63. Diversas Issues com reclamações!
65. Algumas bem “carinhosas”
67. Troca de prioridades na vida pessoal
68. 2014 - Mestrado
69. Ajuda de mantenedores!
70. Gabriel Sobrinho @sobrinho Nick Marden @nickmarden
71. 2013 / 2016 - New Rails Releases!
72. 2017 - 1 milhão de downloads!
74. Casos de Sucesso
75. Kenya Security Plataforma de Inteligência e Gestão de Vulnerabilidades Uso: particionar suas tabelas com mais de 1.8 bilhões de registros.
76. Cliente - Nick Marden Email Service Provider (ESP) Uso: 10 milhões de emails por dia processados, com diferentes bases por cliente.
77. Lições Aprendidas
78. Brigue com a complexidade.
80. Cuidado com Metaprogramação!
82. Sua biblioteca deve ser entediante.
84. Respeite seus usuários.
86. Prepara-se para mudanças não esperadas.
87. # syntax 1 User .where(name: “Boba”) .using(:brazil) # syntax 2 Octopus.using(:canada) do User.create(:name => "Thiago") end
88. Fonte: https://blog.codeship.com/ruby-refinements/
90. Divisão saudável de tempo
92. Concluindo…
93. Fonte: Desconhecido. Projetos de código livre são iguais a projetos comerciais: com a diferença que você não tem dinheiro, recursos ou tempo para trabalhar em projetos de código livre
94. Projetos de código aberto dão muito trabalho
95. Porém, valem os esforços.
96. e….
99. Futuro: Octopus 2.0.
100. Foco: redução da complexidade.
101. Gems separadas para replicação e sharding
102. Reescrita completa dos internals
103. Menos meta- programação.
104. Perguntas?
105. Obrigado! @thiagopradi www.jobscore.com