Interface humano-computador baseada em Visão Computacional: uma solução para pessoas com tetraplegia

Apresentação do projeto de mestrado Interface humano-computador baseada em Visão Computacional: uma solução para pessoas com tetraplegia, defendido pela aluna Suzana Viana Mota, na FEEC/Unicamp.

Demonstração disponível: https://www.youtube.com/watch?v=Bt3zQ5y-gVQ

O projeto consiste no desenvolvimento de uma ferramenta de interação humano-computador natural, dedicada à pessoas com deficiências motoras graves, que permita o controle e utilização de uma cadeira de rodas, um mouse e uma Smart Home, através de expressões e/ou movimentos faciais. Para tanto, foi desenvolvida uma solução de baixo custo, que se utiliza de uma web cam convencional para identificar as expressões faciais e movimentos realizados pelo rosto do usuário. Além disso, testes de usabilidade e cargas de trabalho, foram realizados com a interface desenvolvida, que apresentou bons níveis de segurança, facilidade de uso e navegabilidade.

Transcript

1. Roteiro Apresentação Mestrado 1/54
2. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 2/54
3. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 3/54
4. Cenário Mundial 4/54
5. Cenário Brasileiro 5/54
6. Tipos de Deficiência Figura 1 – Tipos de deficiência no Brasil. Fonte: IBGE, 2010. 6/54
7. Motivação e Objetivo 7/54
8. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 8/54
9. JoyFace Figura 2 – Arquitetura do sistema JoyFace. 9/54
10. JoyFace Figura 3– JoyFace: Habilitando e desabilitando os menus, através do sorriso do usuário. 10/54
11. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 11/54
12. Metodologia O desenvolvimento do projeto ocorreu em sete fases: 1. Revisão Bibliográfica; 2. Análise do estado da arte; 3. Definição das funcionalidades do sistema; 4. Definição de expressões faciais a serem utilizadas; 5. Implementação da solução em software; 6. Realizações de experimentos com os módulos desenvolvidos; 7. Análise dos resultados obtidos. 12/54
13. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 13/54
14. Revisão Bibliográfica Figura 4 - Qual dispositivos os usuários com tetraplegia preferem controlar ou já controlam? Fonte: Caltenco, 2011 14/54
15. Controles Alternativos para Cadeira de Rodas Figura 5 – Controles para navegação de cadeira de rodas. 1. Controle com Voz: Chauhan, 2016. 2. Controle com língua: Kim, 2013 3. Navegação Wheelie: Pinheiro, 2017. 15/54
16. Controles Alternativos para Mouse Figura 6 – Controles para navegação de mouse. 1. Eye Tracking: Cantoni, 2014. 2. ACAT: Denman, 2016 3. Controle Emotiv Epoc: Huang, 2017. 16/54
17. Controles Alternativos para Smart Homes Figura 7 – Controles para Smart Home disponíveis no mercado. 1. Google Home, 2016. 2. Amazon Alexa, 2014. 17/54
18. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 18/54
19. Implementação do Sistema JoyFace • Utiliza uma web cam convencional, de baixo custo. • Desenvolvido em Python. • Baseado na biblioteca OpenCV. Figura 8 – Primeira versão do sistema Joyface desenvolvido. 19/54
20. Figura 9 – Processo de detecção de faces, a partir de classificadores desenvolvidos por Viola-Jones, disponíveis na biblioteca OpenCV. Fonte: Padilla et al., 2012. Implementação do Sistema JoyFace 20/54
21. Figura 10 – Cálculo do centróide do rosto do usuário, calculado em tempo real (ponto verde). Implementação do Sistema JoyFace 21/54
22. Módulo: Cadeira de Rodas Figura 11 – JoyFace: Visão geral da cadeira de rodas robotizada utilizada no trabalho. Fonte: Adaptado de (Nascimento Júnior, 2016) 22/54
23. Módulo: Cadeira de Rodas Figura 12 – Resumo da arquitetura da cadeira. De baixo para cima estão representadas as camadas 1 baixo nível, 2 nível intermediário e 3 alto nível, respectivamente. Fonte: Adaptado de (Nascimento Júnior, 2016) 23/54
24. Módulo: Smart Home Figura 13 – Visão geral da plataforma domótica desenvolvida, onde o sistema JoyFace, envia comandos para o Broker MQTT, responsável por controlar os dispositivos reais e em ambiente simulado. 24/54
25. Módulo: Smart Home Figura 14 – Interação com os módulo de Smart Home, controlando a Iluminação e portas do ambiente, a partir do affordance do interruptor. 25/54
26. Módulo: Mouse Figura 15 – Interação com os módulo de mouse, com a região de interesse demarcada para análise do piscar de olhos. 26/54
27. Módulo: Mouse Figura 16 – Cálculo da região de aspecto dos olhos. Visualização dos pontos de referência dos olhos quando o olho está aberto/fechado e a relação do EAR calculado em cada situação. 27/54
28. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 28/54
29. Experimento: Cadeira de Rodas • Realizado com 10 voluntários, sem nenhum tipo de deficiência. • Análise comparativa das abordagens de navegação de cadeira de rodas: Joyface x Wheelie. O experimento foi dividido em três etapas: 1. Treinamento e ambientação com as interfaces Joyface/Wheelie. 2. Navegação para coleta de dados quantitativos. 3. Questionário para coleta de dados qualitativos (demanda mental, demanda física, segurança e facilidade de uso). 29/54
30. Experimento: Cadeira de Rodas Figura 17 – Percurso realizado no experimento com cadeira de rodas. Trajeto percorrido pelos voluntários durante o experimento. 30/54
31. Experimento: Cadeira de Rodas Figura 18 – Expressões faciais para controle da cadeira de rodas, utilizando o sistema de navegação Wheelie. 31/54
32. Resultados Quantitativos Tabela 1 – Tempos de volta (em minutos) e quantidade de paradas de emergência, que os participantes tiveram que realizar, devido a iminência de colisões ou até mesmo pânico durante a navegação. 32/54
33. Resultados Qualitativos Figura 19 – Comparativo da experiência do usuário ao utilizar as interfaces Joyface e Wheelie. 33/54
34. Resultados JoyFace x Wheelie Após os experimentos comparativos, entre as abordagens JoyFace e Wheelie. O sistema JoyFace ofereceu ao usuário: Segurança; Facilidade de uso; Menor esforço mental; x Maior esforço físico. 34/54
35. Experimento: Smart Home Figura 20 – Simulação da Smart Home desenvolvida no ambiente V-REP, utilizada no experimento. 35/54
36. Experimento: Smart Home • O experimento de avaliação de usabilidade. • Foi realizado com 12 voluntários, sem nenhum tipo de deficiência. • Tarefa A: Ligar e desligar luzes do ambiente. • Tarefa B: Abrir e fechar portas do ambiente. O experimento foi dividido em três etapas: 1. Treinamento e ambientação com a interface Joyface. 2. Realização das Tarefas A para controlar luzes e B para controlar as portas do ambiente. 3. Questionário a respeito da experiência de uso (nível de dificuldade, lembrança de comandos e índice de erros) . 36/54
37. Resultados: Smart Home Figura 21 – Avaliação do nível de dificuldade na realização da tarefa A, de controle de luzes. 37/54
38. Resultados: Smart Home Figura 22 – Avaliação do nível de dificuldade na realização da tarefa B, de controle de portas. 38/54
39. Resultados: Smart Home Figura 23 – Erros inesperados ocorridos na execução da tarefa A, de controle de luzes. 39/54
40. Resultados: Smart Home Figura 24 – Erros inesperados ocorridos na execução da tarefa B, de controle de portas. 40/54
41. Experimento: NASA – TLX com Mouse • Experimento baseado na metodologia NASA Task Load. • Avalia a carga de trabalho na realização de tarefas. • Foi realizado com 10 voluntários, sem nenhum tipo de deficiência. • Comparativo entre o software Joyface e ACAT. O experimento foi dividido em três etapas: 1. Treinamento e ambientação com os softwares Joyface e ACAT. 2. Realização das duas etapas da tarefa: navegação do mouse e navegação e clique com o mouse 3. Questionário do NASA-TLX. 41/54
42. Experimento: NASA – TLX com Mouse Figura 25 – Ambiente de software utilizado na realização da tarefa de controle de mouse do experimento. 42/54
43. Experimento: NASA – TLX com Mouse Figura 26 – Software de emulação de mouse ACAT, utilizado no experimento. 43/54
44. Resultado Quantitativo: NASA – TLX com Mouse Tabela 2 - Tempo de realização (em minutos) da etapa da tarefa, relacionada à navegação do mouse. 44/54
45. Resultado Quantitativo: NASA – TLX com Mouse Tabela 3 - Tempo de realização (em minutos) da etapa da tarefa, relacionada ao clique do mouse. 45/54
46. Resultado Qualitativo: NASA – TLX com Mouse 46/54
47. Resultado Qualitativo: NASA – TLX com Mouse 47/54
48. Resultado Qualitativo: NASA – TLX com Mouse 48/54
49. Resultado Qualitativo: NASA – TLX com Mouse 49/54
50. Resultado Qualitativo: NASA – TLX com Mouse Figura 29 – Classificações Médias das demandas (0 - 100) avaliadas pelos voluntários na utilização dos software JoyFace e ACAT, em comparativo. 50/54
51. Sumário Introdução Descrição do sistema Joyface Metodologia Revisão Bibliográfica Implementação do Sistema Experimentos realizados Conclusão e contribuições 51/54
52. Conclusão A interface Joyface se mostrou: Segura; Fácil de usar; Baixo esforço mental; Baixa taxas de erros; Baixa frustração na utilização da interface; Baixa carga de trabalho. Pontos a serem melhorados:  Influência à luminosidade externa;  Falsos-positivos e falsos negativos; 52/54
53. Trabalhos Futuros • Adicionar um botão físico de emergência, que possa ser acionado através do queixo ou sip and puff, para ser utilizado em situações de perda de controle. • Implementar o sistema JoyFace em uma plataforma embarcada. 53/54
54. Contribuições Científicas 1. Human-Computer Interface using Facial Expressions: a Solution for People with Motor Disabilities. 4th BRAINN Congress, Journal of Epilepsy and Clinical Neurophysiology, 2017. 2. Comparison of Human Machine Interfaces to control a Robotized Wheelchair, XIII Simpósio Brasileiro de Automação Inteligente – SBAI, 2017. 3. Joyface: Desenvolvimento e Avaliação de uma Interface Humano-Computador para Smart-Home dedicada à Pessoas com Deficiência, X Simpósio de Informática do IFNMG - Campus Januária, 2018. 4. Smart Home control using Facial Expressions, BRAINN Congress, 2019. 54/54
55. Demonstração 54/54 https://www.youtube.com/watch?v=Bt3zQ5y-gVQ