Surveys - Método de pesquisa quantitativo

Metodologia de Pesquisa em Sistemas Web e Multimídia Interativos
ICMC - USP

Transcript

1. Metodologia de Pesquisa em Sistemas Web e Multimídia Interativos Professora Drª Renata Pontin de Mattos Fortes Surveys Arthur Fortes e Rafael D’Addio
2. 1. Introdução 2. Pontos Positivos e Negativos 3. Objetivos e Usuários Alvo para Pesquisa de Opinião 4. Amostragem Probabilística vs Não Probabilística Sumário 5. Desenvolvendo questões
3. 6. Estrutura Geral de um Survey 7. Surveys impressos ou online? 8. Testando a Ferramenta de Survey 9. Taxa de Resposta Sumário 10. Análise dos Dados 11. Considerações Finais
4. 1. Introdução • Usadas para descrever populações (Comportamentos e tendências); “... um processo sistemático de construção o conhecimento que tem como metas principais gerar novos conhecimentos, e/ou corroborar ou refutar algum conhecimento pré-existente.” • Podem ser estruturadas, bem comprovadas, robustas, com alto nível de validade, ao mesmo tempo em que podem apresentar falhas e baixo nível de confiabilidade; • Seu forte é conseguir rapidamente um grande número de opiniões; • Não é o melhor método, mas o mais fácil; • Válido ou não? Depende! Surveys Questionários 4
5. 2. Pontos Positivos e Negativos • Facilidade de coletar muitos dados em larga escala; “Surveys apresentam muitos benefícios e poucos pontos negativos.” • Sem necessidade de ferramentas especiais ou equipamentos de alto custo; • Maior probabilidade de obter a aprovação de um conselho de revisão institucional • Não é possível fazer perguntas sobre o feedback, ou mudar as questões inicialmente formuladas; • Validade duvidosa e obscura. ** 5
6. 3. Objetivos e Usuários Alvo para Pesquisa de Opinião • O número de indivíduos numa população (grupo) são indefinidos e variantes; “Surveys é um método apropriado para pesquisas com diversas metas e objetivos.” • Quem é o público alvo para o levantamento? Por que esse público tem interesse nisso? O objetivo desse questionário visa tal público? • Criar listas de usuários (Grupos - Interesse) [HCI]; • Se os usuários alvos não forem bem definidos, o objetivo da survey provavelmente não será alcançado ou tornará seu resultado facilmente contestado. 6
7. 4. Amostragem Probabilística vs Não Probabilística • Quando o número de indivíduos é pequeno e conhecido, a pesquisa deve ser feita de modo a que todos participem;** “O uso clássico de Surveys na sociologia era aplicado na área de estimativa de população.” • Em amostragem probabilística é conhecido exatamente o perfil dos participantes. Em alguns casos é necessário se fazer a estratificação e remodelação dos perfis; • Surgimento de um novo produto que 99% da população desconhece; • Amostragem Não Probabilística não é usada/ aceita em HCI. 7
8. 5. Desenvolvendo questões • Duas estruturas em questionários: perguntas simples/ individuais e a perguntas interligadas/ dependentes; “As questões em uma pesquisa podem levar a respostas que não representam o que os pesquisadores estavam realmente pedindo.” • Perguntas abertas (abrangentes) são eficazes mas devem ser bem trabalhadas; • Perguntas específicas: Perguntas com respostas pré-definidas; • Frequentes problemas: Uso de palavras negativas, polêmicas, tendenciosas e de duplo sentido. 8
9. 6. Estrutura Geral de um Survey • Um documento de survey deve sempre conter instruções sobre como o replicante deve preenchê-lo. Cabeçalhos nas seções, lembretes, e informações para contato também são recomendados; “Questões bem escritas são importantes, mas também é a estrutura geral do instrumento de Survey.” • Organização: espaço em branco, formato de impressão, interface gráfica, fontes grandes, evitar o uso de abreviatura; • Perguntas relacionadas ao mesmo tópico devem estar juntas. Ordem de tópicos abordados deve ser levada em conta; • Questões contingentes podem causar confusão. 9
10. 7. Surveys impressos ou eletrônicos? • Surveys impressos possuem maior abrangência de potenciais replicantes. Surveys eletrônicos reduzem a população alvo; “A maior influência em qual método(ou combinação) é usado é como os pesquisadores tem o melhor acesso à população de interesse.” • Surveys eletrônicos não necessitam de gastos de impressão e distribuição. A velocidade de resposta pode ser alta, apesar da baixa taxa de resposta. • Surveys na web são melhores para lidar com questões sensíveis, pois permitem o preenchimento em anonimato; • Permitir que o replicante escolha entre impresso e eletrônico aumenta a taxa de resposta. 10
11. 8. Testando a Ferramenta de Survey • Dois tipos de testes: focado nas questões e focado na interface; “Ao testar, podemos determinar a validade do survey, ou seja, ele é capaz de medir o que ele diz ser capaz?” • Três etapas: - Revisão da ferramenta de survey por colegas e analistas; - Entrevista com potenciais replicantes para avaliar qualidades cognitivas e motivacionais; - Estudo piloto da survey; • Confiabilidade: determina a consistência das questões de um survey através do tempo. • Análise Exploratória de Fatores: determina o quão importante é uma questão do survey. Pode ser utilizado para auxiliar na redução do número de questões. 11
12. 9. Taxa de Resposta • Problemática: falta de incentivo (monetário, por exemplo), falta de motivação, localização (url e/ou endereço postal), etc. “Um dos principais desafios da pesquisa por survey é como garantir uma taxa de resposta suficiente.” • Cartas introdutórias são altamente aconselhadas. Nelas, deve-se conter aspectos como: agência de fomento da pesquisa, justificativa e informações que dão credibilidade. • Efetuar múltiplos contatos com replicantes auxilia também no aumento da taxa de resposta. • Questão final: “Quantas respostas são o suficiente?” 12
13. 10. Análise dos Dados • Muitas maneiras de se analisar dados. “A análise de dados depende, fortemente, do tipo de survey que está sendo conduzido, de quantas respostas foram obtidas e da forma que estão as questões.” • Dados devem ser verificados e “limpos” antes de analisados. • Dados qualitativos devem ser primeiramente codificados, para serem finalmente analisados. • Dados quantitativos: produzem conjuntos de estatísticas descritivas. 13
14. 11. Considerações Finais • Poderosa ferramenta para coletar dados de muitos indivíduos; • Questões devem ser bem redigidas e seu design deve ser simples e claro; • Deve-se haver número considerável de respostas para que o survey seja considerado válido; • Recomenda-se o uso de surveys apenas em casos que ele seja apropriado para a análise de uma questão e pesquisa. Recomenda-se outros métodos em conjunto com o survey. 14
15. 12. Referências Bibliográficas • Lazar, J., Feng, J. H. e Hochheiser. Research Methods in Human-Computer Interaction. Wiley Publishing, 2010. • Babbie, E. Survey Research Methods, 2nd edition. Wadsworth Publishing. 1990. • Couper, M. Web-based surveys: a review of issues and approaches. Public Opnion Quarterly, 64: 464-494. 2000. • Dilman, D. Mail and Internet Surveys: The tailored design method. John Wiley & Sons. 2000. 15