Metrux - Enviando métricas de sua app Ruby para o InfluxDB de forma simples e prática

Ricardo Tealdi, Desenvolvedor de software, mostra a facilidade e os benefícios em se coletar métricas de uma aplicação Ruby e enviá-las para o InfluxDB utilizando a gem metrux, feita na Locaweb.

Transcript

1. METRUX Enviando métricas de sua app Ruby para o InfluxDB de forma simples e prática RICARDO TEALDI
2. $ whoami RICARDO TEALDI T @ricardotealdi
3. $ whoami • Dev @ hosting team • Dev desde 2004 • desde 2007 ◦ Usabilidade / Site / Sistemas Centrais (antigo EA) / Revenda / Registro / Integração / alguns outros ◦ Criador do feed-processor / lw-auth-client / metrux • Em setembro estarei mudando para • Formado em Sistemas de Informação • Blog: blog.tealdi.com.br
4. • Por que medir minha app? • O que é metrux? • Como usar? • Como visualizar? AGENDA
5. POR QUE MEDIR MINHA APP?
6. • Entende de verdade a saúde de sua app ◦ Identificar gargalos ◦ Entender como está a alocação de recursos ◦ Evita desenvolvimento de melhorias que trazem pouco valor • Dá suporte ao négocio na tomada de decisões • Custo relativamente baixo de implementação CUSTO / BENEFÍCIO
7. O QUE É METRUX?
8. O QUE É METRUX? Metrux é uma gem, criada aqui na Locaweb, que facilita e abstrai a coleta de métricas de uma app Ruby e o envio delas para o InfluxDB. code.locaweb.com.br/locawebcommon/metrux
9. E POR QUE CRIARAM A GEM? • Precisávamos migrar nossas métricas de apps críticas do Leela => InfluxDB ◦ As apps usavam as gems metriks, metriks-leela e advisor ◦ As gems que existiam do InfluxDB não atendiam nosso propósito, pois teríamos que mexer muito no código das apps
10. NÃO!!! Usamos o client oficial do influx para mandar os dados - influxdb-ruby • Ele tem um bom tratamento de erros e funciona de forma assíncrona, evitando que sua app trave por algum problema no envio dos dados para o influx MAS VOCÊS CRIARAM OUTRO CLIENT PRO INFLUX?
11. BASEARAM-SE EM OUTRAS GEMS? SIM!!! • metriks (comandos) • newrelic_rpm e appsignal (configuração / extensibilidade)
12. SÓ QUE AINDA NÃO É OPEN-SOURCE :( • Ainda está no nosso gitlab e no gems.locaweb.com.br
13. MAS ESTÁ NO JEITO PARA SER :) Estamos aceitando colaboração!!!
14. E TEM ALGUÉM USANDO ISSO AÍ? Já está rodando em 6 apps críticas do time de hospedagem
15. E COMO USO O METRUX?
16. COMO ADICIONO NO PROJETO? # Gemfile source 'https://gems.locaweb.com.br' gem 'metrux'
17. E COMO CONFIGURO? # config/metrux.yml development: app_name: "<%= Rails.application.class.parent_name %>" active: true influx_host: "hostname" influx_port: 80 influx_database: "database" influx_username: "user" influx_password: "secret" code.locaweb.com.br/locawebcommon/metrux/blob/master/config/metrux.sample.yml
18. MAS EU SIGO O 12 FACTOR E USO ENV VARS! export METRUX_APP_NAME="Application name" export METRUX_ACTIVE=true export METRUX_INFLUX_HOST="host" export METRUX_INFLUX_PORT=80 export METRUX_INFLUX_DATABASE="database" export METRUX_INFLUX_USERNAME="username" export METRUX_INFLUX_PASSWORD="password"
19. “ Legal! Agora que consegui configurá-lo na minha app, quero começar a coletar as primeiras métricas.
20. “ Preciso medir quantas vezes os usuários fazem login na minha app
21. COMANDO: METER def log_in(login, password) # .. end
22. COMANDO: METER def log_in(login, password) # .. Metrux.meter('log_in', tags: { role: role }) end
23. COMANDO: METER def log_in(login, password) # .. Metrux.meter('log_in', tags: { role: role }) end Nome da métrica
24. COMANDO: METER def log_in(login, password) # .. Metrux.meter('log_in', tags: { role: role }) end Infos adicionais
25. > SELECT * FROM "application_name/meters/log_in" env hostname program_name role value production CPRO123 puma adm 1 production CPRO125 puma reglr 1 production CPRO124 puma reglr 1 COMANDO: METER
26. > SELECT * FROM "application_name/meters/log_in" env hostname program_name role value production CPRO123 puma adm 1 production CPRO125 puma reglr 1 production CPRO124 puma reglr 1 COMANDO: METER Nome da app que foi definida nas confs
27. > SELECT * FROM "application_name/meters/log_in" env hostname program_name role value production CPRO123 puma adm 1 production CPRO125 puma reglr 1 production CPRO124 puma reglr 1 COMANDO: METER Tipo da métrica
28. > SELECT * FROM "application_name/meters/log_in" env hostname program_name role value production CPRO123 puma adm 1 production CPRO125 puma reglr 1 production CPRO124 puma reglr 1 COMANDO: METER Nome da métrica
29. > SELECT * FROM "application_name/meters/log_in" env hostname program_name role value production CPRO123 puma adm 1 production CPRO125 puma reglr 1 production CPRO124 puma reglr 1 COMANDO: METER tags fields
30. > SELECT * FROM "application_name/meters/log_in" env hostname program_name role value production CPRO123 puma adm 1 production CPRO125 puma reglr 1 production CPRO124 puma reglr 1 COMANDO: METER O metrux adiciona essas tags em todas as escritas
31. > SELECT * FROM "application_name/meters/log_in" env hostname program_name role value production CPRO123 puma adm 1 production CPRO125 puma reglr 1 production CPRO124 puma reglr 1 COMANDO: METER Infos adicionais
32. > SELECT * FROM "application_name/meters/log_in" env hostname program_name role value production CPRO123 puma adm 1 production CPRO125 puma reglr 1 production CPRO124 puma reglr 1 COMANDO: METER Cada vez que fizerem um login, gerará uma linha no influx. Para obter o total basta somar todos os pontos
33. “ Preciso saber quanto tempo meu worker demora para executar
34. COMANDO: TIMER def perform(user_id) # .. end
35. COMANDO: TIMER def perform(user_id) Metrux.timer('worker', tags: { queue: queue }) do # .. end end
36. COMANDO: TIMER def perform(user_id) Metrux.timer('worker', tags: { queue: queue }) do # .. end end Nome da métrica
37. COMANDO: TIMER def perform(user_id) Metrux.timer('worker', tags: { queue: queue }) do # .. end end Infos adicionais
38. > SELECT * FROM "application_name/timers/worker" program_name queue value sidekiq high 342 sidekiq low 1042 sidekiq high 5404 COMANDO: TIMER
39. > SELECT * FROM "application_name/timers/worker" program_name queue value sidekiq high 342 sidekiq low 1042 sidekiq high 5404 COMANDO: TIMER Tipo da métrica
40. > SELECT * FROM "application_name/timers/worker" program_name queue value sidekiq high 342 sidekiq low 1042 sidekiq high 5404 COMANDO: TIMER Nome da métrica
41. > SELECT * FROM "application_name/timers/worker" program_name queue value sidekiq high 342 sidekiq low 1042 sidekiq high 5404 COMANDO: TIMER info adicionais
42. > SELECT * FROM "application_name/timers/worker" program_name queue value sidekiq high 342 sidekiq low 1042 sidekiq high 5404 COMANDO: TIMER Duração em milissegundos
43. “ Preciso saber a quantidade e tipos de erros que meu worker está gerando
44. COMANDO: NOTICE ERROR def perform(user_id) # .. rescue => exception # .. error handling end
45. COMANDO: NOTICE ERROR def perform(user_id) # .. rescue => exception Metrux.notice_error(exception, queue: queue) # .. error handling end
46. COMANDO: NOTICE ERROR def perform(user_id) # .. rescue => exception Metrux.notice_error(exception, queue: queue) # .. error handling end A própria instância do erro
47. COMANDO: NOTICE ERROR def perform(user_id) # .. rescue => exception Metrux.notice_error(exception, queue: queue) # .. error handling end Infos adicionais
48. > SELECT * FROM "application_name/meters/errors" error message queue value ArgumentError error message1 high 1 RecordNotFound error message2 low 1 ArgumentError error message3 low 1 COMANDO: NOTICE ERROR
49. > SELECT * FROM "application_name/meters/errors" error message queue value ArgumentError error message1 high 1 RecordNotFound error message2 low 1 ArgumentError error message3 low 1 COMANDO: NOTICE ERROR É um meter
50. > SELECT * FROM "application_name/meters/errors" error message queue value ArgumentError error message1 high 1 RecordNotFound error message2 low 1 ArgumentError error message3 low 1 COMANDO: NOTICE ERROR Nome da métrica será sempre esse
51. > SELECT * FROM "application_name/meters/errors" error message queue value ArgumentError error message1 high 1 RecordNotFound error message2 low 1 ArgumentError error message3 low 1 COMANDO: NOTICE ERROR Nome da classe da exception (como tag)
52. > SELECT * FROM "application_name/meters/errors" error message queue value ArgumentError error message1 high 1 RecordNotFound error message2 low 1 ArgumentError error message3 low 1 COMANDO: NOTICE ERROR Mensagem do erro (como field, pois essa info pode não se repetir)
53. > SELECT * FROM "application_name/meters/errors" error message queue value ArgumentError error message1 high 1 RecordNotFound error message2 low 1 ArgumentError error message3 low 1 COMANDO: NOTICE ERROR info adicionais
54. > SELECT * FROM "application_name/meters/errors" error message queue value ArgumentError error message1 high 1 RecordNotFound error message2 low 1 ArgumentError error message3 low 1 COMANDO: NOTICE ERROR Cada erro gerará uma linha no influx. Para obter o total basta somar todos os pontos
55. “ Preciso saber a porcentagem dos resultados das buscas de disponibilidade domínios
56. COMANDO: GAUGE def available? # … end
57. COMANDO: GAUGE def available? Metrux.gauge('availability') do # … end end
58. COMANDO: GAUGE def available? Metrux.gauge('availability') do # … end end Nome da métrica
59. COMANDO: GAUGE def available? Metrux.gauge('availability') do # … end end Resultado do bloco é salvo no influx e devolvido para fora, para não influenciar no retorno do seu método
60. > SELECT * FROM "application_name/gauges/availability" value false true true COMANDO: GAUGE
61. > SELECT * FROM "application_name/gauges/availability" value false true true COMANDO: GAUGE Tipo da métrica
62. > SELECT * FROM "application_name/gauges/availability" value false true true COMANDO: GAUGE Nome da métrica
63. > SELECT * FROM "application_name/gauges/availability" value false true true COMANDO: GAUGE Resultado de cada execução
64. “ Mas e se eu quiser coletar dados periodicamente e minha aplicação não tiver nada para fazer background processing?
65. COMANDO: PERIODIC GAUGE # config/initializers/metrux.rb Metrux.periodic_gauge('users') do User.active.count end
66. COMANDO: PERIODIC GAUGE # config/initializers/metrux.rb Metrux.periodic_gauge('users') do User.active.count end Nome da métrica
67. COMANDO: PERIODIC GAUGE # config/initializers/metrux.rb Metrux.periodic_gauge('users') do User.active.count end Esse bloco vai ser executado a cada 60 segundos e o resultado disso é salvo no Influx
68. > SELECT * FROM "application_name/gauges/users" program_name value puma-0 10 puma-1 10 puma-0 42 puma-1 43 COMANDO: PERIODIC GAUGE
69. > SELECT * FROM "application_name/gauges/users" program_name value puma-0 10 puma-1 10 puma-0 42 puma-1 43 COMANDO: PERIODIC GAUGE É um gauge
70. > SELECT * FROM "application_name/gauges/users" program_name value puma-0 10 puma-1 10 puma-0 42 puma-1 43 COMANDO: PERIODIC GAUGE Nome da métrica
71. > SELECT * FROM "application_name/gauges/users" program_name value puma-0 10 puma-1 10 puma-0 42 puma-1 43 COMANDO: PERIODIC GAUGE Resultado de cada execução
72. > SELECT * FROM "application_name/gauges/users" program_name value puma-0 10 puma-1 10 puma-0 42 puma-1 43 COMANDO: PERIODIC GAUGE Todo processo que sua app subir vai executar essa medição, ENTÃO...
73. COMANDO: PERIODIC GAUGE • Executada em uma thread ◦ Cada periodic é executado sequencialmente • Tem que ser algo bem leve • Executada a cada 60 segundos (mas é configurável)
74. “ Mas e se eu coletar algo que seja comum em duas apps? Preciso ficar copiando e colando código?
75. PLUGINS class DatabaseMetruxPlugin def call Metrux.periodic_gauge('database') do pool_size = ActiveRecord::Base .connection_pool .connections .count { pool_size: pool_size } end end end
76. PLUGINS class DatabaseMetruxPlugin def call Metrux.periodic_gauge('database') do pool_size = ActiveRecord::Base .connection_pool .connections .count { pool_size: pool_size } end end end Implementa o método call
77. PLUGINS class DatabaseMetruxPlugin def call Metrux.periodic_gauge('database') do pool_size = ActiveRecord::Base .connection_pool .connections .count { pool_size: pool_size } end end end Define o que quer que seja executado
78. PLUGINS #.config/initializers/metrux.rb Metrux.register(DatabaseMetruxPlugin) Basta registrar o nome da classe do plugin
79. “ E o metrux já vem com algum plugin built-in?
80. • Metrux::Plugins::Thread - coleta quantidade de threads (ruby) • Metrux::Plugins::Gc - coleta dados do garbage collector • Metrux::Plugins::Yarv - coleta dados da RubyVM • Metrux::Plugins::Process - coleta memória consumida do processo atual PLUGINS BUILT-IN
81. PLUGINS BUILT-IN #.config/initializers/metrux.rb Metrux.register(Metrux::Plugins::Thread) Metrux.register(Metrux::Plugins::Gc) Metrux.register(Metrux::Plugins::Yarv) Metrux.register(Metrux::Plugins::Process)
82. “ Mas e se eu não quiser deixar o código da coleta tão intrusivo no meu código?
83. METRUX-ADVISOR / AOP # Gemfile gem 'advisor-metrux'
84. METER C/ METRUX-ADVISOR # Antes def log_in(login, password) # ... Metrux.meter('log_in', tags: { role: role }) end
85. METER C/ METRUX-ADVISOR # Depois class Session extend Advisor::Metruxable measure :log_in, with: :counter, key: 'log_in' def log_in(login, password) # ... end
86. METER C/ METRUX-ADVISOR # Depois class Session extend Advisor::Metruxable measure :log_in, with: :counter, key: 'log_in' def log_in(login, password) # ... end Extende o advice do metrux
87. METER C/ METRUX-ADVISOR # Depois class Session extend Advisor::Metruxable measure :log_in, with: :counter, key: 'log_in' def log_in(login, password) # ... end Declara o método que quer medir
88. # Depois class Session extend Advisor::Metruxable measure :log_in, with: :counter, key: 'log_in' def log_in(login, password) # ... end Diz qual métrica a ser coletada, nesse caso é um meter (counter) METER C/ METRUX-ADVISOR
89. METER C/ METRUX-ADVISOR # Depois class Session extend Advisor::Metruxable measure :log_in, with: :counter, key: 'log_in' def log_in(login, password) # ... end Informa qual o nome da métrica
90. METER C/ METRUX-ADVISOR # Depois class Session extend Advisor::Metruxable measure :log_in, with: :counter, key: 'log_in' def log_in(login, password) # ... end Implementação fica apenas com o código necessário
91. # Antes def perform(user_id) Metrux.timer('worker', tags: { queue: queue }) do # .. end end TIMER C/ METRUX-ADVISOR
92. TIMER C/ METRUX-ADVISOR # Depois class Worker extend Advisor::Metruxable measure :perform, with: :timer, key: 'worker' def perform(user_id) # ... end
93. TIMER C/ METRUX-ADVISOR # Depois class Worker extend Advisor::Metruxable measure :perform, with: :timer, key: 'worker' def perform(user_id) # ... end Declara o método que quer medir
94. TIMER C/ METRUX-ADVISOR # Depois class Worker extend Advisor::Metruxable measure :perform, with: :timer, key: 'worker' def perform(user_id) # ... end Diz qual métrica a ser coletada, nesse caso é um timer
95. TIMER C/ METRUX-ADVISOR # Depois class Worker extend Advisor::Metruxable measure :perform, with: :timer, key: 'worker' def perform(user_id) # ... end Informa qual o nome da métrica
96. TIMER C/ METRUX-ADVISOR # Depois class Worker extend Advisor::Metruxable measure :perform, with: :timer, key: 'worker' def perform(user_id) # ... end Implementação fica apenas com o código necessário
97. # Antes def available? Metrux.gauge('availability') do # … end end GAUGE C/ METRUX-ADVISOR
98. GAUGE C/ METRUX-ADVISOR # Depois class Domain extend Advisor::Metruxable measure :available?, with: :gauge, key: 'availability' def available? # ... end
99. GAUGE C/ METRUX-ADVISOR # Depois class Domain extend Advisor::Metruxable measure :available?, with: :gauge, key: 'availability' def available? # ... end Declara o método que quer medir
100. GAUGE C/ METRUX-ADVISOR # Depois class Domain extend Advisor::Metruxable measure :available?, with: :gauge, key: 'availability' def available? # ... end Diz qual métrica a ser coletada, nesse caso é um gauge
101. GAUGE C/ METRUX-ADVISOR # Depois class Domain extend Advisor::Metruxable measure :available?, with: :gauge, key: 'availability' def available? # ... end Informa qual o nome da métrica
102. GAUGE C/ METRUX-ADVISOR # Depois class Domain extend Advisor::Metruxable measure :available?, with: :gauge, key: 'availability' def available? # ... end Implementação fica apenas com o código necessário
103. E COMO FAÇO PRA VISUALIZAR?
104. GRAFANA #FTW \o/
105. GRAFANA #FTW \o/
107. E É ISSO AI! PERGUNTAS?
108. OBRIGADO! • metrux ◦ Código: code.locaweb.com.br/locawebcommon/metrux ◦ Como usar: journal.code.locaweb.com.br/blog/2016/07/06/coletando-metricas-com-metrux/index.html • metrux-advisor: code.locaweb.com.br/paas/advisor-metrux