Roberto Ungarelli - Avaliando a Experiência do Usuário com Testes de Desempenho de Alta Capacidade

Considerando a crescente preocupação com a experiência do usuário no contexto de aplicações web esta palestra visa mostrar exemplo prático da realização de testes de desempenho objetivando a análise da satisfação do usuário.

Transcript

1. Expertise em QA Avaliando a Experiência do Usuário com Testes de Desempenho de Alta Capacidade
2. O que será apresentado? • Planejamento • Gravação de script com JMeter • Execução • Analise de Resultados “Uma pessoa de raros dons intelectuais, obrigada a fazer um trabalho apenas útil, é como um jarro valioso, com as mais lindas pinturas, usado como pote de cozinha” Schopenhauer
3. Análise de cenários • O que deve ser testado? • Qual o objetivo do teste? Análise de volume esperado • Qual a quantidade de usuários ativos cadastrados? • Quais os picos de acesso esperados? Planejando um teste de desempenho Definição da estratégia • Qual topologia da aplicação em teste? • Quais as janelas de execução? • Quantas execuções são esperadas? Realiza Login • Usuário • Senha Cadastra Cliente • Nome • E-mail Consulta Clientes 20% 80%
4. Tempo de Inicialização • Quantos usuários devem ser adicionados por unidade de tempo? ou • Quanto tempo deve durar a inicialização? Duração • Qual a duração estimada? • Por quanto tempo a estabilidade deve ser considerada? Estratégias – Ex01 – Análise da Capacidade Tratamento de erros • Qual o critério de finalização de usuários virtuais? Usuários / Tempo 0 3 5 8 10 0 8 15 23 30
5. Tempo de Inicialização • Quantos usuários devem ser adicionados por unidade de tempo? ou • Quanto tempo deve durar a inicialização? Duração • Qual a duração estimada? • Por quanto tempo a estabilidade deve ser considerada? Estratégias – Ex02 – Análise Inferencial Tratamento de erros • Qual o critério de finalização de usuários virtuais?
6. Gravando um script com JMeter “O maior inimigo do conhecimento não é a ignorância, mas sim a ilusão de conhecimento” Stephen Hawking • Configuração de: ❑ Variáveis ❑ Componentes para emulação de navegador ❑ Componentes para simulação do comportamento do usuário ❑ Proxy • Execução do cenário planejado • Correlação de Dados • Validação do script
7. Gravando um script com JMeter – Comportamento do Usuário
8. Gravando um script com JMeter – Proxy Carregar recursos embutidos Ignorar gravação de recursos embutidos Direcionar amostras
9. Realiza Login • Usuário • Senha Cadastra Cliente • Nome • E-mail Consulta Clientes 20% 80% Gravando um script com JMeter – Cenário Planejado
10. Gravando um script com JMeter – Correlação “Toda decisão acertada é proveniente de experiência. E toda a experiência é proveniente de uma decisão não acertada” Albert Einstein
11. Gravando um script com JMeter – Validação
12. Execução “Nem sempre quem pergunta tem dúvidas... Às vezes quem pergunta quer ter certeza” Shimada Coelho • WarmUp • JMeter • QALoadManager
13. Execução - JMeter “De todos os que preenchem nossa solidão, são os livros os mais anárquicos, os mais instigantes. Leia, e seu silêncio ganhará voz” Marta Medeiros • Suporte a definição de variáveis globais • Fácil alteração de fontes de dados • Execução de testes com alto volume de usuários virtuais • Acompanhamento da execução em tempo real • Detalhamento avançado para identificação de erros • Relatório comparativo
14. Execução - QALoadManager • Suporte a definição de variáveis globais • Fácil alteração de fontes de dados • Execução de testes com alto volume de usuários virtuais • Acompanhamento da execução em tempo real • Detalhamento avançado para identificação de erros • Relatório comparativo
15. Execução – QALoadManager – Variáveis Globais “A vida é um ponto de interrogação. Cada ser humano, seja ele um intelectual ou iletrado, é uma grande pergunta em busca de uma grande resposta” Augusto Cury
16. Execução – QALoadManager – Fontes de Dados
17. Execução – QALoadManager – Configuração de Carga
18. Execução – QALoadManager – Comportamento Estimado
19. Execução – QALoadManager – Acompanhamento
20. Execução – QALoadManager – Detalhamento “O homem erudito é um descobridor de fatos que já existem – mas o homem sábio é um criador de valores que não existem e que ele faz existir” Albert Einstein
21. Execução – QALoadManager – Detalhamento
22. Execução – QALoadManager – Detalhamento
23. Execução – QALoadManager – Detalhamento
24. Execução – QALoadManager – Comparativo
25. Análise de Resultados - Métricas • Média: É a soma dos tempos de resposta, dividido pela quantidade de amostras. Esta informação pode nos fornecer falsas impressões quanto ao tempo de resposta. Se apenas uma das requisições demorar mais tempo do que a soma de todas as outras, a média será um número que não representa algo significativo para análise, por exemplo. Eu prefiro não considerar esta métrica nas minhas análises. • Mediana: A mediana é o valor que divide um conjunto de valores ordenados em partes iguais. Parece meio confuso mas é uma informação bem significativa. Na prática, quer dizer que metade das amostras demorou menos tempo que e a mediana e, consequentemente, a outra metade demorou mais tempo do que a mediana. • Linha de 90%: Já esta métrica, informa que 90% das amostras demoraram menos tempo do que a “Linha de 90%" e, consequentemente, 10% demoram mais tempo.
26. Análise de Resultados – Linha de 90%
27. Análise de Resultados – Visão Geral
28. Análise de Resultados – Dynatrace - Serviços
29. Análise de Resultados – Dynatrace
30. LoadManager é 100% compatível com Apache JMeter. Você pode fazer upload de qualquer teste do JMeter, incluindo testes que utilizam plugins e recursos avançados, e vai trabalhar com LoadManager de forma simples, segura e escalável. Nós podemos escalá-lo automaticamente para você, ou você pode escolher as suas opções preferidas. Executando um teste com 2 mil usuários concorrentes
31. EXPERTISE EM QA Perguntas? Obrigado!