TDC - Performance Engineering: garanta confiabilidade de seu release

Material Apresentado no TDC Online SP em 2020

Transcript

1. Globalcode – Open4education Trilha – Teste Performance Engineering: garanta confiabilidade de seu release Alexsander Melo Consultor Qualidade de Software
2. Globalcode – Open4education Confiabilidade Riscos de impacto negativo na confiabilidade Desafios no ambiente de negócios atuais… O Sistema está lento Incidentes de desempenho
3. Globalcode – Open4education O que os usuários falam? Nearly 70% of consumers admit that page speed influences their likeliness to buy. Unbounce The 2019 Page Speed Report Stats & Trends for Marketers https://unbounce.com/page-speed-report/ Google: 53% of Mobile Users Abandon Sites That Take Longer Than 3 Seconds to Load Alex Shellhammer (Head of Publisher Marketing, Google Ad Manager) 2016 https://www.blog.google/products/admanager/ the-need-for-mobile-speed/
4. Globalcode – Open4education O que os usuários falam? Na primeira grande turbulência do mercado financeiro após a massiva entrada de investidores na Bolsa, a plataforma de negociação de ações da [XXXXXX] —maior corretora do país— apresentou instabilidade e chegou a ficar fora do ar durante parte do início do pregão desta quarta (26)... https://www1-folha-uol-com- br.cdn.ampproject.org/c/s/ www1.folha.uol.com.br/amp/mercado/ 2020/02/maior-corretora-do-pais-fica-fora-do- ar-em-dia-que-bolsa-cai-mais-de-5.shtml HB travando, tanto no pc qto no app. Num dia crítico como hj 26/02 essa é a minha experiência com a [XXXX]. Prejuízo. Se confirma minha desconfiança, muito marketing, pouco valor. Willian @willianhgarcia, 14:53 263/02/2020
5. Globalcode – Open4education Cenário Agile Fonte: Gartner (Jun 2018) ID: 297995 DEVOPS Continuous Delivery Agile Testing Aceptível as Mudanças
6. Globalcode – Open4education Performance Engineering Agil e Software Engineering Performance Management Capacity Planning Performance Tuning Software Quality Assurance Performance Test Fonte: Gartner (Jun 2018) ID: 297995 Monitoramento de Aplicação Monitoramento de Infraestrutura Monitoramento de Experiência do Usuário Diagnostico de causas raiz Mudanças de aplicação com base em dados de Performance Resolução de issues de performance Atividades Definição de Requisitos de negócio para performance Desenvolvimento de aplicação em conjunto com processo de testes implantar aplicações totalmente testadas Atividades
7. Globalcode – Open4education Modelo Evolutivo Performance Refinement and Evolution Model 2015 Riscos Identificar e qualificar os riscos que potencialemente impactarão o ciclo de vida da aplicação PREM 1 Requisitos de Performance com Métricas Quantitativas PREM 3 Definição de carga para Cada Componente PREM 2 Definição Quantitativa e Objetiva de Performance PREM 0 Requisitos qualitativos de performance 1 2 3 4 5
8. Globalcode – Open4education Riscos Riscos Probabilidade Impacto Severidade R1 - Quebra de clausula contratual quando o tempo de resposta da aplicação supera 15 segundos Alta Alto Crítico R2 - Container Instável e sem aparente aumento de acessos dos usuários Média Média Significante R3 - Mais timeouts após nova release em produção com consumo alto de CPU Média Média Significante R4 - Leak de memória quando os usuários visualizam a fatura Média Baixo Pouco Significante R5 - Estouro de conexões simultâneas com aumento de acessos dos usuários Baixo Baixo Pouco Significante
9. Globalcode – Open4education Teste de Performance Visitas/min | Cadastros/seg | Propostas/min KPI 40 Visitas/min com Tempo de Resposta abaixo de 3 Segundos. Alvo Definir fluxos de navegação ou ação a ser utilizada no robô. Cenário de Teste Especificar e distribuir a carga, juntamente com o tempo de Step. Workload E-mail | CPF | Fatura | Appkey | Usuário e Senha. Massa de Dados DynaTrace | AppDynamics | NewRelic | Splunk | Zabbix | Elastic Stack. Instrumentação Jmeter | HP Loadrunner | NeoLoad | Getling | Artillery.io | Blazemeter. Robô Levantar oportunidades de melhorias de desempenho. Concluir laudo de avaliação de performance. Análise Step 1 Tempo do Step Tempo de Bateria Step 2 Step 3 Ramp up
10. Globalcode – Open4education PREM 0 Objetivo, identificar o foco de performance Requisito Qualitativo, Ex: O pedido deve ser processado sem erros KPI - Houve Erro? Baseline de performance Requisitos qualitativos de performance Pacote Riscos KPI Laudo Sprint 1 Deliverable n R1 SIM Sprint 2 Deliverable n R1 SIM #Sprint n Deliverable n R1, R2 NÂO Sprint n Deliverable n R1, R2 NÂO Sprint n Deliverable n R1, R2 SIM Duração de Bateria de 30min Quantidade de carga (Robôs) fixa e constante
11. Globalcode – Open4education PREM 1 Pacote Risco KPI Laudo Vazão Tempo de Processamento (s) Taxa de Erros Sprint n Deliverable n R1, R2 10 pedido/min 11s 0% Sprint n Deliverable n R1, R2 10 pedido/min 11s 1% Sprint n Deliverable n R1, R2 15 pedido/min 13s 5% Sprint n Deliverable n R1, R2 20 pedido/min 9s 1% Sprint n Deliverable n R1, R2 20 pedido/min 9s 3% Requisitos de Performance com Métricas Quantitativas Requisito Quantitativo, Ex: O pedido deve ser processado até 10 segundos ou a aplicação deve atender 20 pedidos por minuto KPI – Pedido/min | Tempo de Processamento (s) Baseline de performance Espectativa Quantitativa Duração de Bateria de 30min Quantidade de carga (Robôs) fixa e constante
12. Globalcode – Open4education PREM 2 Pacote Risco KPI Laudo Vazão Tempo Médio de Resposta Taxa de Erros Sprint n Deliverable n R1, R2 30 pedidos/min 5s 20% Sprint n Deliverable n R1, R2 60 pedidos/min 3s 1% Sprint n Deliverable n R1, R2 60 pedidos/min 2,2s 2% Sprint n Deliverable n R1, R2 70 pedidos/min 3s 5% Sprint n Deliverable n R1, R2 70 pedidos/min 4s 10% Estimar o workload Requisito de Performance, Ex: Em média a aplicação deve processar 50 pedidos por minuto com tempo limite de resposta até 3 segundos para cada pedido processado. KPI – Pedido/min | Tempo Médio de Resposta (s) Baseline de performance Caracterísca de Execução Step 1 Tempo do Step Tempo de Bateria Step 2 Step 3 Ramp up Duração de Bateria de 30min
13. Globalcode – Open4education PREM 3 Pacote Risco KPI Infra Laudo Vazão Tempo Médio de Resposta Taxa de Erros CPU % Memória % Sprint n Deliverable n R1, R2, R3, R4 e R5 70 usuários/min 3s 20% 20% 50% Sprint n Deliverable n R1, R2, R3, R4 e R5 70 usuários/min 3s 1% 20% 50% Sprint n Deliverable n R1, R2, R3, R4 e R5 75 usuários/min 2,2s 2% 15% 50% Sprint n Deliverable n R1, R2, R3, R4 e R5 78 usuários/min 2,2s 2% 25% 50% Sprint n Deliverable n R1, R2, R3, R4 e R5 80 usuários/min 2,2s 0% 25% 52% Coleta e análise de métricas dos recursos computacionais Requisito de Performance, Ex: 70 usuários por minuto devem acessar a Home, 40% deles acessarão os canais de promoções e 20% destes usuários realizarão o pedido KPI – Pedido/min | Tempo Médio de Resposta (s) | Taxa de Erros Baseline de performance Caracterisca de carga Step 1 Tempo do Step Tempo de Bateria Step 2 Step 3 Ramp up Duração de Bateria de 30min
14. Globalcode – Open4education Fim Contato (11) 97198-9668 hagemelo@gmail.com linkedin.com/in/alexsander-melo-9a43a114