Upgrade to Pro — share decks privately, control downloads, hide ads and more …

The AI Hierarchy of Needs - Arthur Câmara

PyData BH
February 22, 2018

The AI Hierarchy of Needs - Arthur Câmara

PyData BH

February 22, 2018
Tweet

More Decks by PyData BH

Other Decks in Business

Transcript

  1. THE AI HIERARCHY OF NEEDS IT’S A LONG WAY TO

    THE TOP IF YOU WANNA ROCK ’N’ ROLL
  2. ARTHUR BARBOSA CÂMARA Lead Data Science Enginner @ dti Digital

    MSc Student @ SaRS Group/DCC/UFMG PyDataBH Organizer (Full time geek)
  3. DISCLOSURE • ESSA PALESTRA É BASEADA NO ARTIGO “THE AI

    HIERARCHY OF NEEDS” • HTTPS://HACKERNOON.COM/THE-AI-HIERARCHY-OF-NEEDS-18F111FCC007 • TAMBÉM VALE A PENA: “A SERIES OF UNFORTUNATE DATA EVENTS – DELIVERING HIGH QUALITY ANALYTICS AT NETFLIX • HTTPS://YOUTU.BE/NMYUCDQZPZC Não quero ser o estraga-prazeres.
  4. COMO PODEMOS USAR AI NO NOSSO PRODUTO? • PRECISAMOS USAR

    INTELIGÊNCIA ARTIFICIAL PARA AGREGAR VALOR AO PRODUTO • ESSA FRASE GERALMENTE ACONTECE DEPOIS DO WATSON APARECER NO FANTÁSTICO. • VOCÊ SABE A DIFERENÇA ENTRA IA, MACHINE LEARNING E DEEP LEARNING? (PROVAVELMENTE)
  5. COLETA PIRÂMIDE DE NECESSIDADE DE AI ARMAZENAMENTO EXPLORAÇÃO AGREGAÇÃO AI

    APRENDIZADO • Deep Learning, Redes Neurais • Testes A/B, Experimentação, Algoritmos simples • Métricas, Analytics, Feature Engineering • Detecção de anomalias, limpeza, preparação • Pipeline, infraestrutura, ETL, base da dados • Sensores, Logs, dados externos
  6. VOCÊ SABE CONTAR? • QUAIS SÃO SEUS DADOS DISPONÍVEIS? •

    O QUE FALTA PARA ELES ESTAREM DISPONÍVEIS CONSISTENTEMENTE? • SEU SISTEMA DE LOGS FUNCIONA DIREITO? • COMO ESTÁ SEU PIPELINE DE DADOS? • ESTÁ TUDO LARGADO NUM BUCKET DO S3 EM .TXT? (OU PIOR, NUMA MÁQUINA LOCAL?) • O QUÃO RÁPIDO VOCÊ CONSEGUE ACESSAR UM DADO, SE EU TE PEDIR ELE AGORA? COLETA ARMAZENAMENTO
  7. VOCÊ SABE “AJUNTAR”? • VOCÊ CONSEGUE TARTAR ESSES DADOS FACILMENTE?

    • O QUÃO CEDO VOCÊ CONSEGUE ENCONTRAR UM DADO PROBLEMÁTICO? ELE É RESOLVIDO SOZINHO? • ENCONTRE O PROBLEMA ANTES DELE CHEGAR NO SEU CLIENTE. • VOCÊ CONSEGUE ANALIZAR SEUS DADOS? • QUAIS MÉTRICAS VOCÊ QUER ACOMPANHAR? • ESSA MÉTRICAS ESTÃO CALCULADAS? O QUE VOCÊ VAI QUERER PREVER? EXPLORAÇÃO AGREGAÇÃO
  8. VOCÊ SABE PREVER? • HORA DE JOGAR OS DADOS NO

    SKLEARN, CERTO? • TALVEZ. • PARA UM SISTEMA INTERNO, SIM. (POR EXEMPLO, CLASSIFICAR UM NOVO CLIENTE) • DEFINITIVAMENTE NÃO PARA O CLIENTE FINAL • VOCÊ CONSEGUE DIZER, EM PRODUÇÃO, SE SEU ALGORITMO É MELHOR QUE O ANTIGO? • IDEIA: CRIE UM FRAMEWORK DE TESTES A/B PARA SEUS MODELOS! • VOCÊ DEVE SER CAPAZ DE EVOLUIR AOS POUCOS, E VOLTAR A UM MODELO ANTIGO, SE (QUANDO) ALGUMA COISA DER ERRADO. APRENDIZADO
  9. “ ” SIMPLE HEURISTICS ARE SURPRISINGLY HARD TO BEAT (…)

    THIS IS ALSO WHY MY FAVORITE DATA SCIENCE ALGORITHM IS DIVISION. MONICA ROGATI EX-VP DE DATA SCIENCE DO LINKEDIN
  10. EVOLUÇÃO CONSTANTE • AGORA SEU TRABALHO FAZ SENTIDO. • ENTENDA

    O COMPORTAMENTO DOS SEUS DADOS. • PROCURE NOVAS FEATURES PARA MELHORAR SEU MODELO. • AOS POUCOS, EXPERIMENTE COM OUTROS ALGORITMOS MAIS COMPLEXOS. • QUE TAL RANDOM FOREST? OU SVM? • EM QUAIS CASOS UM FALHA E O OUTRO NÃO? • TENTE OUTROS FRAMEWORKS! • SKLEARN E DADOS CATEGÓRICOS