A importância dos logs

Logar e super importante para qualquer aplicação, quanto maior o uso da sua aplicação mais específicos e certeiros tem que ser seus logs, nessa apresentação começo um papo sobre logs, como logar, como organizar e como armazenar para consultas e análises.

Transcript

1. a importância dos logs
2. por que é importante?
3. por que é importante? Ninguém sabe mais sobre a falha do que a própria aplicação que falhou
4. por que é importante? Facilita o entendimento do cenário para ajudar na estratégia de correção das falhas
5. por que é importante? Facilita o entendimento do cenário para ajudar quem não tem acesso ao fonte
6. Mattheus Cassundé github.com/cassunde linkedin.com/in/cassunde twitter.com/MattheusCassund https://dev.to/cassunde
7. quando ele é usado?
8. quando ele é usado? um log útil pode ser usado em alguns momentos como:
9. quando ele é usado? um log útil pode ser usado em alguns momentos como: - validação de novas funcionalidades - análise de erros - criação de alarmes e visualizações
10. quando ele é usado? um log útil pode ser usado em alguns momentos como: - validação de novas funcionalidades - análise de erros - criação de alarmes e visualizações
11. quando ele é usado? um log útil pode ser usado em alguns momentos como: - validação de novas funcionalidades - análise de erros - criação de alarmes e visualizações
12. o que podemos logar?
13. o que podemos logar? Informações básicas
14. o que podemos logar? Informações básicas - timestamp - host name - application name - trace id - span - level
15. o que podemos logar? Informações do contexto
16. o que podemos logar? - URL, Parâmetros, Headers, Request Body, Response - chamadas de métodos e seus parâmetros - respostas de métodos - erros de métodos Informações do contexto
17. não Atenção logar informação sensível o que podemos logar?
18. não Atenção logar informação sensível • CPF • DATA DE NASCIMENTO • E-MAIL • NÚMERO DO CARTÃO DE CRÉDITO • ETC o que podemos logar?
19. Existe algum framework?
20. Existe algum framework? sim, vamos ver o log4j
21. log4j Framework para ajudar a logar de forma mais eficiente
22. log4j public void salvar(Paciente paciente){ paciente.repository(paciente); }
23. log4j public void salvar(Paciente paciente){ paciente.repository(paciente); System.out.println("paciente salvo com sucesso"); }
24. log4j Logger logger = Logger.getLogger("br.com.MinhaClasse"); public void salvar(Paciente paciente){ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso"); }
25. Logger logger = Logger.getLogger("br.com.MinhaClasse"); public void salvar(Paciente paciente){ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso"); } log4j
26. Logger logger = Logger.getLogger("br.com.MinhaClasse"); public void salvar(Paciente paciente){ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso"); } log4j
27. log4j Vamos melhorar a vida de quem está analisando os logs
28. log4j public void salvar(Paciente paciente){ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }
29. log4j public void salvar(Paciente paciente){ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }
30. log4j public void salvar(Paciente paciente){ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }
31. log4j Se o analista precisar saber o nome do paciente, pega o código do paciente logado e pesquisa no banco.
32. log4j Ok!!! mas quando der erro?
33. public void salvar(Paciente paciente){ try{ paciente.repository(paciente); }catch(Exception e){ e.printStackTrace(); } } log4j
34. public void salvar(Paciente paciente){ try{ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }catch(Exception e){ logger.ERROR("problema para salvar paciente, paciente={}",paciente.getCodigo()); } } log4j
35. log4j Tentar logar a informação correta para ajudar o dev
36. public void salvar(Paciente paciente){ try{ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }catch(Exception e){ logger.ERROR("problema para salvar paciente, paciente={}, erro={}",paciente.getCodigo(), e); } } log4j
37. public void salvar(Paciente paciente){ try{ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }catch(Exception e){ logger.ERROR("problema para salvar paciente, paciente={}, erro={}",paciente.getCodigo(), e); } } log4j
38. public void salvar(Paciente paciente){ try{ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }catch(Exception e){ logger.ERROR("problema para salvar paciente, paciente={}, erro={}",paciente.getCodigo(), e); } } log4j
39. public void salvar(Paciente paciente){ try{ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }catch(Exception e){ logger.ERROR("problema para salvar paciente, paciente={}, erro={}",paciente.getCodigo(), e); } } log4j
40. public void salvar(Paciente paciente){ try{ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }catch(Exception e){ logger.ERROR("problema para salvar paciente, paciente={}, erro={}",paciente.getCodigo(), e); } } log4j
41. public void salvar(Paciente paciente){ try{ paciente.repository(paciente); logger.INFO("paciente salvo com sucesso, paciente={}",paciente.getCodigo()); }catch(Exception e){ logger.ERROR("problema para salvar paciente, paciente={}, erro={}",paciente.getCodigo(), e); } } log4j
42. log4j Com log4j podemos classificar nosso log em: • INFO • WARN • ERRO • FATAL • DEBUG
43. log4j Com log4j podemos classificar nosso log em: • INFO • WARN • ERRO • FATAL • DEBUG informações como, sucesso ao processar método/rotina
44. log4j Com log4j podemos classificar nosso log em: • INFO • WARN • ERRO • FATAL • DEBUG informações como, sucesso ao processar método/rotina fluxos alternativos, entrou em uma validação
45. log4j Com log4j podemos classificar nosso log em: • INFO • WARN • ERRO • FATAL • DEBUG informações como, sucesso ao processar método/rotina fluxos alternativos, entrou em uma validação erro que fluxo não pode continuar
46. log4j Com log4j podemos classificar nosso log em: • INFO • WARN • ERRO • FATAL • DEBUG informações como, sucesso ao processar método/rotina fluxos alternativos, entrou em uma validação erro que fluxo não pode continuar erro ou falha de item de estrutura como banco, outra aplicação
47. log4j Com log4j podemos classificar nosso log em: • INFO • WARN • ERRO • FATAL • DEBUG informações como, sucesso ao processar método/rotina fluxos alternativos, entrou em uma validação erro que fluxo não pode continuar erro ou falha de item de estrutura como banco, outra aplicação detalhes do contexto como tempo de resposta e retornos
48. log4j Definindo nível de log da Aplicação FATAL
49. log4j Definindo nível de log da Aplicação FATAL ERROR
50. log4j Definindo nível de log da Aplicação FATAL ERROR WARN
51. log4j Definindo nível de log da Aplicação FATAL ERROR WARN INFO
52. log4j Definindo nível de log da Aplicação FATAL ERROR WARN INFO DEBUG
53. como podemos ver esses logs?
54. como podemos ver esses logs? em um passado não muito distante, era necessário: acessar o servidor # ssh root@inlinesoft.com.br
55. como podemos ver esses logs? em um passado não muito distante, era necessário: entrar na pasta de logs da aplicação # cd /opt/tomcat/logs
56. como podemos ver esses logs? em um passado não muito distante, era necessário: exibir os logs em tempo real # tail -f /opt/tomcat/logs/catalina.out
57. como podemos ver esses logs? em um passado não muito distante, era necessário:
58. organizar é essencial
59. organizar é essencial primeiro log chega
60. organizar é essencial primeiro log chega segundo log também
61. organizar é essencial primeiro log chega segundo log também terceiro log também
62. organizar é essencial como reconhecer logs de uma mesma thread?
63. organizar é essencial como reconhecer logs de uma mesma thread?
64. organizar é essencial como reconhecer logs de uma mesma thread?
65. organizar é essencial como reconhecer logs de uma mesma thread?
66. organizar é essencial como reconhecer logs de uma mesma thread?
67. organizar é essencial como reconhecer logs de uma mesma thread?
68. como podemos ver esses logs? em um passado não muito distante, era necessário:
69. organizar é essencial vamos conhecer um pouco sobre o sleuth
70. organizar é essencial vamos conhecer um pouco sobre o sleuth <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-sleuth</artifactId> </dependency> </dependencies>
71. organizar é essencial vamos conhecer um pouco sobre o sleuth “Spring Cloud Sleuth is able to trace your requests and messages so that you can correlate that communication to corresponding log entries.” https://docs.spring.io/spring-cloud-sleuth/docs/current-SNAPSHOT/reference/html/
72. organizar é essencial vamos conhecer um pouco sobre o sleuth “Spring Cloud Sleuth is able to trace your requests and messages so that you can correlate that communication to corresponding log entries.” https://docs.spring.io/spring-cloud-sleuth/docs/current-SNAPSHOT/reference/html/
73. organizar é essencial agora podemos identificar as threads 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Example : Hello world!
74. organizar é essencial application name 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Example : Hello world! agora podemos identificar as threads
75. organizar é essencial application name trace id 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Example : Hello world! agora podemos identificar as threads
76. organizar é essencial application name trace id span id 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Example : Hello world! agora podemos identificar as threads
77. organizar é essencial span id: agora temos um id para ajudar na análise das threads
78. organizar é essencial 3123UIKJKJH span id: agora temos um id para ajudar na análise das threads
79. organizar é essencial 3123UIKJKJH 8789UUYUY span id: agora temos um id para ajudar na análise das threads
80. organizar é essencial 3123UIKJKJH 8789UUYUY JHJHGOIU767 span id: agora temos um id para ajudar na análise das threads
81. organizar é essencial agora temos um id para ajudar na análise das threads 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Patient : Patient cad 2020-10-21 12:01:16.285 WARN [backend,0b6aaf642574eOO4,0b6aaf642574evv3] 289222 --- [nio-9000-exec-1] Example : Hello world! 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289333 --- [nio-9000-exec-1] Class2 : Fez outra! 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289444 --- [nio-9000-exec-1] Class1 : Fez algo! 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574asd1,0b6aaf642574eww3] 289444 --- [nio-9000-exec-1] Attenda : Attenda Cad! 2020-10-21 12:01:16.285 INFO [backend,0b6aaf642574edd3,0b6aaf642574eww3] 289589 --- [nio-9000-exec-1] Prontua : Pront Cad!
82. organizar é essencial agora temos um id para ajudar na análise das threads … INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Patient : Patient cad … WARN [backend,0b6aaf642574eOO4,0b6aaf642574evv3] 289222 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289333 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289444 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eww3] 289444 --- [nio-9000-exec-1] Attenda : Attenda Cad! … INFO [backend,0b6aaf642574edd3,0b6aaf642574eww3] 289589 --- [nio-9000-exec-1] Prontua : Pront Cad!
83. organizar é essencial agora temos um id para ajudar na análise das threads … INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Patient : Patient cad … WARN [backend,0b6aaf642574eOO4,0b6aaf642574evv3] 289222 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289333 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289444 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eww3] 289444 --- [nio-9000-exec-1] Attenda : Attenda Cad! … INFO [backend,0b6aaf642574edd3,0b6aaf642574eww3] 289589 --- [nio-9000-exec-1] Prontua : Pront Cad!
84. organizar é essencial agora temos um id para ajudar na análise das threads … INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Patient : Patient cad … WARN [backend,0b6aaf642574eOO4,0b6aaf642574evv3] 289222 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289333 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289444 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eww3] 289444 --- [nio-9000-exec-1] Attenda : Attenda Cad! … INFO [backend,0b6aaf642574edd3,0b6aaf642574eww3] 289589 --- [nio-9000-exec-1] Prontua : Pront Cad! mesma thread
85. organizar é essencial agora temos um id para ajudar na análise das threads … INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Patient : Patient cad … WARN [backend,0b6aaf642574eOO4,0b6aaf642574evv3] 289222 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289333 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289444 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eww3] 289444 --- [nio-9000-exec-1] Attenda : Attenda Cad! … INFO [backend,0b6aaf642574edd3,0b6aaf642574eww3] 289589 --- [nio-9000-exec-1] Prontua : Pront Cad! mesma thread outra thread
86. organizar é essencial agora temos um id para ajudar na análise das threads … INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Patient : Patient cad … WARN [backend,0b6aaf642574eOO4,0b6aaf642574evv3] 289222 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289333 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289444 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eww3] 289444 --- [nio-9000-exec-1] Attenda : Attenda Cad! … INFO [backend,0b6aaf642574edd3,0b6aaf642574eww3] 289589 --- [nio-9000-exec-1] Prontua : Pront Cad! mesma thread
87. organizar é essencial agora temos um id para ajudar na análise das threads … INFO [backend,0b6aaf642574edd3,0b6aaf642574edd3] 289589 --- [nio-9000-exec-1] Patient : Patient cad … WARN [backend,0b6aaf642574eOO4,0b6aaf642574evv3] 289222 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289333 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eaa3] 289444 --- [nio-9000-exec-1] Example : Hello world! … INFO [backend,0b6aaf642574asd1,0b6aaf642574eww3] 289444 --- [nio-9000-exec-1] Attenda : Attenda Cad! … INFO [backend,0b6aaf642574edd3,0b6aaf642574eww3] 289589 --- [nio-9000-exec-1] Prontua : Pront Cad! mesma thread
88. organizar é essencial Agora conseguimos entender os passos que a aplicação fez
89. organizar é essencial mas é só isso o que podemos fazer?
90. organizar é essencial mas é só isso o que podemos fazer? não
91. organizar é essencial exceptions podem ajudar muito
92. organizar é essencial funcionalidade: cadastro de atendimento médico
93. cadastro de atendimento médico organizar é essencial validar idade
94. cadastro de atendimento médico organizar é essencial validar idade criar prontuário
95. cadastro de atendimento médico organizar é essencial validar idade criar prontuário salvar no banco
96. organizar é essencial cadastro de atendimento médico
97. organizar é essencial cadastro de atendimento médico
98. organizar é essencial cadastro de atendimento médico
99. organizar é essencial cadastro de atendimento médico O cadastro de atendimento está dando erro!!!!!
100. organizar é essencial desenvolvedor vai analisar o erro cadastro de atendimento médico
101. organizar é essencial …InterceptionException: java.lang.NumberFormatException: For input string: "" cadastro de atendimento médico
102. organizar é essencial cadastro de atendimento médico …InterceptionException: java.lang.NumberFormatException: For input string: ""
103. organizar é essencial …InterceptionException: br.com.sua.app.exception.ProntuarioCreateException cadastro de atendimento médico …InterceptionException: java.lang.NumberFormatException: For input string: ""
104. organizar é essencial cadastro de atendimento médico …InterceptionException: br.com.sua.app.exception.ProntuarioCreateException …InterceptionException: java.lang.NumberFormatException: For input string: ""
105. organizar é essencial … ERROR [CreateAttendace,239jnjha923,ae45jhdm45567s] Problema cad. atendimento, paciente=233 br.com.sua.app.InterceptionException: br.com.sua.app.exception.InvalidAgeException cadastro de atendimento médico …InterceptionException: br.com.sua.app.exception.ProntuarioCreateException …InterceptionException: java.lang.NumberFormatException: For input string: ""
106. centralizador de logs
107. centralizador de logs 3123UIKJKJH
108. centralizador de logs 3123UIKJKJH balancer servidor 1 servidor 2
109. centralizador de logs 3123UIKJKJH balancer servidor 1 servidor 2 ?
110. centralizador de logs 3123UIKJKJH balancer servidor 1 servidor 2 ? ?
111. centralizador de logs 3123UIKJKJH balancer servidor 1 servidor 2
112. centralizador de logs 3123UIKJKJH balancer servidor 1 servidor 2 servidor de logs
113. centralizador de logs 3123UIKJKJH balancer servidor 1 servidor 2 servidor de logs
114. centralizador de logs 3123UIKJKJH balancer servidor 1 servidor 2 servidor de logs log servidor 1 log servidor 2
115. centralizador de logs 3123UIKJKJH balancer servidor 1 servidor 2 servidor de logs log servidor 1 log servidor 2
116. centralizador de logs servidor de logs 04:54:32 ERRO [CreateAttendace,239jnjha923,ae45jhdm45567s] Problema para cadastrar paciente, paciente=23344535345 br.com.sua.app.InterceptionException: br.com.sua.app.exception.InvalidAgeException servidor 1
117. centralizador de logs servidor de logs 04:54:32 ERRO [CreateAttendace,239jnjha923,ae45jhdm45567s] Problema para cadastrar paciente, paciente=23344535345 br.com.sua.app.InterceptionException: br.com.sua.app.exception.InvalidAgeException 04:54:32 ERRO [CreateAttendace,239jnjha923,ae45jhdm45567s] Problema para cadastrar paciente, paciente=23344535345 br.com.sua.app.InterceptionException: br.com.sua.app.exception.InvalidAgeException servidor 1 servidor 2
118. centralizador de logs servidor de logs 04:54:32 ERRO [CreateAttendace,239jnjha923,ae45jhdm45567s] Problema para cadastrar paciente, paciente=23344535345 br.com.sua.app.InterceptionException: br.com.sua.app.exception.InvalidAgeException 04:54:32 ERRO [CreateAttendace,239jnjha923,ae45jhdm45567s] Problema para cadastrar paciente, paciente=23344535345 br.com.sua.app.InterceptionException: br.com.sua.app.exception.InvalidAgeException servidor 1 servidor 2
119. centralizador de logs servidor de logs cliente 1 cliente 2 cliente 3
120. centralizador de logs Centralizar todos os logs dos clientes em um único local
121. centralizador de logs servidor de logs Principais vantagens
122. centralizador de logs servidor de logs Principais vantagens • Podemos Fazer consultas • É um banco de dados NoSQL • É escalável • Podemos conectar várias ferramentas
123. centralizador de logs
124. centralizador de logs
125. centralizador de logs
126. centralizador de logs
127. centralizador de logs
128. centralizador de logs
129. centralizador de logs
130. centralizador de logs
131. centralizador de logs
132. métricas
133. métricas toda sequência de logs pode virar uma métrica
134. métricas toda sequência de logs pode virar uma métrica quantidade de erros SQL quantidade de login negado quantidade de erros na funcionalidade crítica do sistema
135. Logs eficientes +
136. Logs eficientes + Request Trace +
137. Logs eficientes + Request Trace + Centralização +
138. Logs eficientes + Request Trace + Centralização + Open source
139. Logs eficientes + Request Trace + Centralização + Open source Sustentação com qualidade
140. Logs eficientes + Request Trace + Centralização + Open source Sustentação com qualidade Primeiro passo antes de Observabilidade
141. Logs eficientes + Request Trace + Centralização + Open source Sustentação com qualidade Primeiro passo antes de Observabilidade
142. fim Mattheus Cassundé github.com/cassunde linkedin.com/in/cassunde twitter.com/MattheusCassund https://dev.to/cassunde