Como operam os DSTs

Entender o processo de desenvolvimento de um produto de Machine Learning.

Transcript

1. D A T A @ C A R G O X Como operam os DST's Preparado por Eilliar
2. OVERVIEW PROCESSO DE DESENVOLVIMENTO DE UM PROJETO DE DATA SCIENCE
3. o Fluxo (ML) DEFINIÇÃO DO PROBLEMA Qual problema o usuário quer resolver? Qual o output o sistema deve ter? Quais dados são utilizados? Qual a frequência do output? CONSTRUÇÃO DO DATASET Há dados disponíveis? Onde estão os dados? Qual a frequência de atualização? Qual ferramenta de extração utilizar? TRANSFORMAÇÃO DOS DADOS Remoção de dados errados. Análise preliminar dos dados e sua distribuição. Dados categóricos para dados numéricos. TREINO DO MODELO Análise Exploratória dos dados. Tipos de aprendizado de máquina: Supervisionado, Não- Supervisionado, Reforço. USO DO MODELO PARA PREDIÇÃO Presentations are communication tools that can be used as demonstrations, lectures, speeches, reports, and more. Most of the time, they’re presented before an audience.
4. Método Científico DEFINIÇÃO DO OBJETIVO DE PESQUISA LEVANTAMENTO DE HIPÓTESE COLETAR DADOS TESTAR HIPÓTESE ANÁLISE DOS RESULTADOS CHEGAR UMA CONCLUSÃO REFINAR HIPÓTESE E REPETIR 1 2 3 6 5 4 7
5. ESTIMATIVA VS DECISÃO VS INSIGHT ESTIMATIVA Também conhecido como "predição", refere-se ao output de um modelo de machine learning. Exemplo: o João é o motorista com match de 75% com a sua carga. DECISÃO Ação que o seu produto, ou pessoa, deve tomar de acordo com o output do modelo de machine machine learning. Exemplo: devo recomendar o frete ao João dado seu score de 75%? INSIGHT "Coisas" interessantes que podem ser encontradas em um conjunto de dados. Análise estatística é tipicamente o mais utilizado. Exemplo: é mais difícil encontrar motoristas em feriados ou no início da semana.
6. CORRELAÇÃO VS CAUSA Encontrar relacionamentos mútuos ou conexões entre duas ou mais "coisas" (eventos, variáveis, etc). CORRELAÇÃO Encontrar o motivo de algo (evento, variável, etc) ter acontecido. CAUSA Modelos de Machine Learning são bons para encontrar correlações. É muito mais difícil entender o porquê um evento aconteceu, exemplo: Consumidores compraram um livro em particular por conta dos reviews positivos publicados na semana anterior ao lançamento? DICA
7. MÉTRICAS DE SUCESSO E FALHA Como você irá saber se seu sistema foi um sucesso ou um fracasso? Exemplo: sucesso se reduzirmos em 15% o valor do RMSE para o pricing. São métricas mensuráveis? Como e quando poderá coletar as métricas? JAN FEV MAR ABR MAI 40 30 20 10 0
8. "ALL MODELS ARE WRONG, BUT SOME ARE USEFUL" GEORGE BOX
9. Tipos de Aprendizado de Máquina APRENDIZADO SUPERVISIONADO Exemplos com dados de entrada (input) e o valor correto de saída (output). Como aprendem as crianças a reconhecer um cachorro? APRENDIZADO NÃO- SUPERVISIONADO Dados brutos e queremos encontrar padrões entre diversos grupos. É possível agrupar cliente em categorias semelhantes? APRENDIZADO POR REFORÇO É como jogar video-game, seu objetivo é maximizar sua pontuação (score) e evitar perder pontos. Como fazer a melhor pontuação no Sonic?
10. CHEGA DE CONVERSA!