Utilizando Machine Learning para Feedback Instantâneo em Apresentações

Cativar o público de uma apresentação é sempre uma tarefa árdua. Ainda que com muito planejamento as coisas podem sair um pouco diferente do que esperamos. Para medir engagemento do público desenvolvemos uma aplicação utilizando um dispostivo IoT para escutar as dicussões e gravar a reação associado a uma linha do tempo. Os dados são processados em tempo real oferecendo para os responsáveis da apresentação uma noção dos principais tópicos discutidos e o gráfico de atenção do público. De acordo com esses dados, em sessões mais longas, ações de intevenção podem ser feitas. Além disso, durante as reuniões de retrospectiva, os dados são analisados para constante aperfeiçoamento.

Transcript

1. Utilizando Machine Learning para Feedback Instantâneo em Apresentações TDC SP ‘19 Michel Fernandes & Eduardo Basso| julho 2019 INTELIGÊNCIA ARTIFICIAL
2. EDUARDO BASSO UX/UI LEAD MICHEL FERNANDES CHIEF-ENGINEER
4. wavespace™
5. WELCOME TO MEETINGLAND or SESSIONS LAND
6. CONCEPT OF THE SPACE @JK:SP Tech Showcase | Briefing Journey Immersion Staging (media room) Journey Immersion split session | Lounge Arena | Debriefing
7. ATAS DE DISCUSSÃO ON-LINE
8. GRÁFICO DA ATENÇÃO ATENÇÃO TEMPO
9. FEEDBACKS IMEDIATOS
10. GRÁFICO DA ATENÇÃO ATENÇÃO TEMPO
11. MEETING-A-LYTICS
12. PLANNING SESSIONS PIPELINE EXECUTION ON-LINE FEEDBACKS OFF-LINE FEEDBACK POST MORTEM
13. HOW IT WORKS? MIC CAM CLOUD DATA PROCESSING APP RESULTS APP CAPTURE APP MEETING USB WIFI
14. SOLUTION WITH NO SERVERS AZURE STORAGE BLOB QUEUE TABLES
15. AI MODELS BLACK BOX WHITE BOX
16. AI MODELS BLACK BOX WHITE BOX NO TOO COMPLEX MODEL API BACKEND RESPONSE TIME COOP DATA CLEANING < 50 ms < 100 ms
17. EY AZURE ARQUITETURA AUDIO AZURE QUEUE AUDIO AZURE BLOB IMAGE AZURE QUEUE IMAGE AZURE BLOB PROCESSING AUDIO AZURE FUNCTIONS TEXT2SPEECH BING SPEECH FACIAL ANALYSIS FACE API PROCESSING IMAGE AZURE FUNCTIONS EXECUTION LOGS AZURE TABLES EXECUTION LOGS AZURE TABLES SUMMARY TRACKING AZURE TABLES FRONT-END WEB APP BACK-END AZURE FUNCTIONS
18. RASPBERRY BI CLOUD AUDIO PROCESSING CHUNKS 8 SEGUNDOS TEXT 2 SPEECH API STOP WORDS CLEANING SUMMARY LIMITAÇÃO DE TEMPO DA API NLTK PT CORPORA POST-PROCESSING
19. ADDITIONAL STOP WORDS GET WORD CLOUD FILTER MEETING ADDITIONAL CLEANING RESULT MÉTODO GET, SOLICITANDO PELO FRONT-END DENTRO DO CALL, A API BUSCA A NUVEM DE PALVRAS PROCESSADAS NEM SEMPRE A BASE DO NLTK TEM TODAS STOP WORDS. USAMOS UMA BASE ADICIONAL, NO AZURE TABLE. NUVEM DE PALAVRAS PROCESSADA
20. AUDIO PROCESSING: RESULT FROM API SPEECH 2 TEXTG [{"file-name": "6IVACO_8UKP.wav", "text": "N\u00e3o faz sentido isso a\u00ed ent\u00e3o a gente vive num mundo colaborativo ent\u00e3o as pessoas t\u00eam que pensar de forma colaborativa"}, {"file-name": "6IVACO_XLBR.wav", "text": "Ao mesmo tempo em que agente ia ajuda a construir 1 pa\u00eds melhor para as futuras gera\u00e7\u00f5es essa coisa de royal web para mim na minha casa"}, {"file-name": "6IVACO_9F5I.wav", "text": "E a\u00ed a gente \u00e9 falar 1 pouco assim blog \u00e9 algo e eu p\u00f3"}, {"file-name": "6IVACO_V9ZW.wav", "text": "Fala muito disso a gente abriu o 1\u00ba cap\u00edtulo brasileiro \u00e9 no in\u00edcio do ano passado em rela\u00e7\u00e3o \u00e0 tecnologia"}, {"file-name": "6IVACO_3U12.wav", "text": "Ent\u00e3o a gente que mora em bras\u00edlia eduardo pode falar a gente a gente tem uma proximidade como n\u00e3o vai ter"}, {"file-name": "6IVACO_G570.wav", "text": "Gente o chama agora pra que est\u00e3o dia na identidade onde que que que que ficou claro pra mim que"}, {"file-name": "6IVACO_EKDO.wav", "text": "Se o teu parente do vizinho teu primo teu amigo t\u00e1 1 trabalho ver como \u00e9 que tu vai saber as coisas para acontecer no dia"}, {"file-name": "6IVACO_U04B.wav", "text": "Especialistas em blockchain mesmo que executam a n\u00edvel mundial pode pensar na algo e eu vou te falar isso sem mod"}, {"file-name": "6IVACO_6PHX.wav", "text": "Cada ponto desse que a gente t\u00e1 falando aqui a gente tem projetos executados em lute nacional e clientes grandes n\u00e3o \u00e9 tipo"}
21. AUDIO PROCESSING: RESULT FROM TEXT CLEANING AND FREQUENCY DISTRIBUTION {"ali": 6, "periferia": 2, "like": 1, "cara": 19, "muita": 6, "gente": 57, "cresceu": 1, "assim": 26, "regi\u00e3o": 3, "metropolitana": 1, "bras\u00edlia": 7, "isadora": 1, "ent\u00e3o": 18, "formado": 1, "computa\u00e7\u00e3o": 2, "licenciatura": 1, "a\u00ed": 64, "comecei": 11, "naveguei": 1, "pessoal": 15, "l\u00e1": 30, "ligando": 2, "venceslau": 1, "marido": 1, "maria": 10, "jesus": 3, "desesperado": 1, "ajudar": 2, "tal": 9, "vou": 22, "conhecer": 4, "realidade": 6, "forma": 6, "sim": 3, "hoje": 7, "tava": 11, "bolha": 1, "nenhuma": 3, "fam\u00edlia": 3, "fez": 3, "sa\u00edda": 2, "neg\u00f3cio": 9, "sabe": 11, "vazio": 1, "fica": 9, "p\u00f4": 1, "c\u00ea": 5, "quer": 6, "mudar": 9, "educa\u00e7\u00e3o": 3, "d\u00e3o": 1, "outra": 3, "ponte": 1, "consegue": 1, "atravessar": 1, "naquele": 2, "sentimento": 2, "loggia": 1, "vai": 23, "digamos": 1, "nada": 3, "ver": 7, "comigo": 3, "estar": 4, "lugar": 2, "sentado": 1, "todo": 6, "dia": 11, "meio": 3, "coisas": 9, "quero": 4, "t\u00e1": 23, "enfim": 2, "nunca": 2, "empresa": 4, "realmente": 4, "trazer": 1, "pacto": 2, "social": 1, "cidade": 6, "atrav\u00e9s": 1, "solu\u00e7\u00f5es": 2, "servir": 1, "refer\u00eancia": 1, "ap\u00f3s": 1, "acontecer": 2, "destravado": 1, "rede": 2, "linguagem": 1, "n\u00e9": 19, "ingl\u00eas": 1, "bom": 5, "\u00e9poca": 4, "maior": 7, "lix\u00e3o": 3, "am\u00e9rica": 4, "latina": 4, "chamada": 3, "estrutural": 3, "ian": 1, "nome": 1, "eduardo": 3, "neto": 1, "foca": 1, "usabilidade": 3, "ainda": 10, "nesta": 1, "mesma": 1, "coisa": 17, "porque": 14, "divertida": 1, "pr\u00e1tico": 1, "samira": 1, "solos": 1, "informa\u00e7\u00e3o": 2, "fato": 4, "bloque": 1, "tim": 2, "pode": 5, "arquitetura": 3, "pick": 1, "up": 1, "come\u00e7a": 3, "liguei": 1, "mariana": 1, "deu": 1, "toque": 1, "papo": 1, "ligar": 1, "conta": 3, "tou": 1, "depositando": 1, "pedido": 1, "depositar": 1, "especialistas": 1, "blockchain": 3, "executam": 1, "n\u00edvel": 2, "mundial": 2, "pensar": 3, "algo": 8, "falar": 10, "mod": 1, "rack": 1, "falei": 6, "nessa": 11, "tap": 2, "acelerada": 1, "vale": 4, "sil\u00edcio": 3}
22. AUDIO PROCESSING: POST-PROCESSING {"message": "Code found at the database", "status": true, "words": [{"name": "periferia", "weight": 2}, {"name": "gente", "weight": 57}, {"name": "assim", "weight": 26}, {"name": "regi\u00e3o", "weight": 3}, {"name": "bras\u00edlia", "weight": 7}, {"name": "ent\u00e3o", "weight": 18}, {"name": "computa\u00e7\u00e3o", "weight": 2}, {"name": "comecei", "weight": 11}, {"name": "pessoal", "weight": 15}, {"name": "ligando", "weight": 2}, {"name": "maria", "weight": 10}, {"name": "jesus", "weight": 3}, {"name": "ajudar", "weight": 2}, {"name": "tal", "weight": 9}, {"name": "vou", "weight": 22}, {"name": "conhecer", "weight": 4}, {"name": "realidade", "weight": 6}, {"name": "forma", "weight": 6}, {"name": "sim", "weight": 3}, {"name": "hoje", "weight": 7}, {"name": "tava", "weight": 11}, {"name": "nenhuma", "weight": 3}]}
23. RASPBERRY BI CLOUD IMAGE PROCESSING POOLING 30 SEGUNDOS FACE ANALYSIS API EMOTIONS CALCULATIONS SUMMARY HAARCASCADE SE HOUVER FACES ATIVA PROCESSAMENTO IDENTIFICAÇÃO DE FACES PRE-PROCESSING
24. PRE-PROCESSING “ROI”
25. FACIAL ANALYSIS RAIVA DESPREZO NOJO SURPRESA MEDO ALEGRIA NEUTRO TRISTEZA
26. FACIAL ANALYSIS 1 -1 0
28. RASPBERRY PI
32. DEEP ANALYTICS
33. FUTURE IMPROVEMENTS ANGULO da CAMERA DE 70º para 117º CAMERA WI-FI
34. github.com/beyondlabsey/meeting-reaction-rasp github.com/beyondlabsey/meeting-reaction-functions github.com/beyondlabsey/meeting-reaction-web REPOS RASPBERRY PI APP BACK-END API AND PROCESSING FRONT-END