Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Interface Multimodal para Navegação Guiada por Fala na Web

Interface Multimodal para Navegação Guiada por Fala na Web

Minha defesa de mestrado na Universidade Federal do Maranhão (UFMA). Apresenta um estudo e estratégias para a utilização de múltiplas modalidades de interação com o usuário em aplicações web.

Almir Filho

March 10, 2014
Tweet

More Decks by Almir Filho

Other Decks in Programming

Transcript

  1. Interface Multimodal para Navegação Guiada por Fala na Web Almir

    Galindo Florêncio Filho ORIENTADOR Dr. Carlos de Salles Soares Neto
  2. Multimodalidade • Audição: microfone • Visão: câmera ou sensor de

    movimento • Tato: tela de toque ou display de braille • Paladar e olfato
  3. • Modos facilitados de uso • Interações mais naturais •

    Múltiplos usuários simultâneos • Ubiquidade das aplicações Computação pervasiva
  4. Aplicações multimodais • Jogos com Xbox Kinect • Leap Motion

    • iPhone com Siri • Jogos sensíveis a movimentos • Leitores de tela
  5. ?

  6. Por quê? • Processamento de linguagem natural (NLP) • Identificação

    x entendimento • Usabilidade da interface do usuário
  7. tipos de Tarefas • Seleção • Composição textual • Quantificação

    • Orientação • Posicionamento • Caminho ou sequência
  8. É só seguir em frente toda vida, depois vira a

    direita depois de um viaduto amarelo, logo depois dele pega o retorno e pega voltando. Você vai ver um shopping do lado esquerdo depois de umas quatro quadras. depois passe pela ponte e verá um posto …
  9. Algumas deduções • Existem raras aplicações atuais com fala •

    Dependência de tecnologias não padronizadas ou proprietárias • Funcionalidades limitadas • Dificuldade de reutilização
  10. objetivos • Desenvolver uma ferramenta que permita a interação multimodal

    guiada por fala na web • A ferramenta deve ter uma interface assistiva intuitiva • Utilizar apenas tecnologias abertas
  11. objetivos específicos • Modelo de interação por fala na web

    • Conceito de interface assistiva para fala e de ferramenta multimodal na web • Implementação da interface e ferramenta extensível e reutilizável
  12. • Tecnologias utilizadas • Arquitetura do ecosistema • Interação •

    Interface • Utilização e customização A ferramenta
  13. Tecnologias Web speech API • Nova especificação W3C (dev) •

    Reconhecimento de fala • API JavaScript • Agnóstica de implementação
  14. Interface • Simples (fácil manuseio) • Intuitiva (fácil entendimento) •

    Feedbacks (boa comunicação) • Não obstrusiva (acessível)
  15. <!doctype html> <html> <head> ... <!-- cabecalho da aplicacao/pagina web

    --> <link rel="stylesheet" type="text/css" href="ferramenta_fala.css" /> ... </head> <body> ... <!-- corpo da aplicacao/pagina web --> <script type="text/javascript" src="ferramenta_fala.js"></script> </body> </html> Utilização
  16. <!doctype html> <html> <head> ... <!-- cabecalho da aplicacao/pagina web

    --> <link rel="stylesheet" type="text/css" href="ferramenta_fala.css" /> ... </head> <body> ... <!-- corpo da aplicacao/pagina web --> <script type="text/javascript" src="ferramenta_fala.js"></script> </body> </html> Utilização
  17. <!doctype html> <html> <head> ... <!-- cabecalho da aplicacao/pagina web

    --> <link rel="stylesheet" type="text/css" href="ferramenta_fala.css" /> ... </head> <body> ... <!-- corpo da aplicacao/pagina web --> <script type="text/javascript" src="ferramenta_fala.js"></script> </body> </html> Utilização
  18. • Aplicação web existente • Acoplamento da ferramenta • Análise

    dos casos de uso • Definição de novos comandos • Customização (comandos) estudo de caso
  19. Acoplamento <!doctype html> <html> <head> ... <link rel="stylesheet" type="text/css" href="ferramenta_fala.css"

    /> ... </head> <body> ... <script type="text/javascript" src="ferramenta_fala.js"></script> </body> </html>
  20. • Tocar música • Pausar música • Ir para próxima

    música • Ir para música anterior • Pular para música X casos de uso
  21. • tocar música • pausar música • avançar música •

    voltar música • tocar música X Comandos
  22. ferramentaFala.on('tocar', 'música', function(){ wiredIn.play(); }); ! ferramentaFala.on('pausar', 'música', function(){ wiredIn.pause();

    }); ! ferramentaFala.on('avançar', 'música', function(){ wiredIn.next(); }); ! ferramentaFala.on('voltar', 'música', function(){ wiredIn.prev(); });
  23. ferramentaFala.on('tocar', 'música', function(event){ if(event.otherParams.length == 0){ wiredIn.play(); } else {

    var musicIndex = event.otherParams[0]; wiredIn.play(musicIndex); } }); detectando parâmetros
  24. Conclusões • Todo o processo mostrou-se de fácil integração na

    web • A ferramenta demonstrou ter boa Efetividade de utilização • É possível utilizar-se apenas de padrões abertos para isso
  25. Conclusões • O paradigma da web permite uma reutilização facilitada

    da ferramenta em aplicações • O paradigma da web favorece uma adaptação simples de interfaces assistivas à aplicações
  26. Conclusões • A fala deveria ser considerada como um fator

    real que enriqueça as capacidades de uma aplicação web
  27. trabalhos futuros • Evoluir ferramenta como uma extensão de navegador

    • Ampliar as funcionalidades relacionadas ao navegador • Suportar o padrão WAI-ARIA
  28. "Tome o controle do seu trabalho, sua vida e sua

    arte. As ferramentas estão todas por ai. Agora você só precisa usar as ferramentas de dentro de você mesmo." James Altucher