Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Construindo sistemas de aprendizado de máquina explicáveis: desafios e aprendizados

Carla Vieira
September 30, 2020

Construindo sistemas de aprendizado de máquina explicáveis: desafios e aprendizados

Nos últimos anos, algoritmos de aprendizado de máquina têm trazido bons resultados em diferentes tarefas - às vezes até superando os humanos. No entanto, os modelos se tornaram muito complexos para serem inteligíveis para os seres humanos. A boa notícia é que é possível construir sistemas mais transparentes com os crescentes estudos nas áreas de Explainable AI, Justiça e Transparência. A má notícia é que essa tarefa é mais difícil do que muitos blogs e artigos têm relatado. Essa palestra tem como objetivo descrever os desafios que você enfrentará na construção de sistemas transparentes e apresentar técnicas viáveis ​​para explicação e teste de modelos de aprendizado de máquina.

https://www.youtube.com/watch?v=6DM2FtCZMAM

Carla Vieira

September 30, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Research

Transcript

  1. Abrindo a caixa-preta da
    Inteligência Artificial...
    Desafios e aprendizados
    Carla Vieira

    View full-size slide

  2. Engenheira de Software (python <3), mestranda em
    Inteligência Artificial e Google Developer Expert in
    Machine Learning. Co-organizadora da perifaCode.
    [email protected] | carlavieira.dev
    Carla Vieira

    View full-size slide

  3. viés
    dados
    privacidade legislação
    ética

    View full-size slide

  4. Ferramenta de
    recrutamento da
    Amazon com AI
    discriminava
    candidatas mulheres
    (2018)

    View full-size slide

  5. Racismo algorítmico
    em modelos preditivos
    na saúde
    (2019)

    View full-size slide

  6. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)

    View full-size slide

  7. Homem acusado de
    forma injusta por um
    algoritmo
    (2020)

    View full-size slide

  8. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)

    View full-size slide

  9. Preconceito humano Tecnologia
    Mas, como isso acontece?

    View full-size slide

  10. Tecnologia é neutra?
    "When the field of AI believes it is neutral, it both fails to notice
    biased data and builds systems that sanctify the status quo and
    advance the interests of the powerful. What is needed is a field
    that exposes and critiques systems that concentrate power, while
    co-creating new systems with impacted communities: AI by and
    for the people."
    Pratyusha Kalluri (PhD Computer Science, Stanford)

    View full-size slide

  11. Nós (profissionais de tecnologia) não
    somos ensinados que tecnologia é política!

    View full-size slide

  12. Preconceito humano Tecnologia
    Como remover o viés?

    View full-size slide

  13. Preconceito humano Tecnologia
    Como evitar o viés?

    View full-size slide

  14. Preconceito humano Tecnologia
    Diversidade

    View full-size slide

  15. Quem está desenvolvendo Inteligência Artificial?
    “Only 22% of AI professionals globally are female,
    compared to 78% who are male.”
    (The Global Gender Gap Report 2018 - p.28)

    View full-size slide

  16. Pesquisa #QuemCodaBR (2019)
    Fonte: https://www.pretalab.com/dados#/

    View full-size slide

  17. Estes casos ilustram um problema maior:
    os algoritmos de I.A. são uma caixa opaca.

    View full-size slide

  18. CAIXA PRETA
    ENTRADA SAÍDA

    View full-size slide

  19. CAIXA PRETA
    ENTRADA SAÍDA
    ?

    View full-size slide

  20. Modelos interpretáveis Modelos opacos
    Modelos como redes neurais que fornecem grande
    precisão. O funcionamento interno desses modelos é mais
    difícil de entender e não são inerentemente explicáveis.
    Modelos mais simples, baseados em regras, fornecem
    menos capacidade preditiva e nem sempre são capazes de
    modelar problemas complexos.
    Árvores de decisão, regressão linear etc. Redes Neurais, SVM, Random Forest

    View full-size slide

  21. Como abrir a caixa preta?

    View full-size slide

  22. Como abrir a caixa preta?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás
    de cada decisão
    TRANSPARÊNCIA

    View full-size slide

  23. Inteligência Artificial Explicável é a área de pesquisa que
    aborda essas questões, utilizando diferentes metodologias
    para explicar as predições dos modelos de aprendizado de
    máquina.
    eXplainable Artificial Intelligence

    View full-size slide

  24. Transparência é oferecer uma explicação clara, facilmente
    compreensível e em linguagem simples do que algo é, o que
    faz e por que o faz.
    transparência

    View full-size slide

  25. Explicações são descrições compreensíveis para seres
    humanos, do comportamento e das consequências das
    predições de modelos de IA, bem como as razões e
    justificativas para as decisões feitas pelos humanos que
    criaram esses modelos.
    explicações

    View full-size slide

  26. Dados de
    treinamento
    Modelo de
    Aprendizado
    de Máquina
    Usuário
    Decisão ou
    recomendação
    - Por que o modelo fez essa predição?
    - Quando o modelo falha?
    - Quando o modelo tem sucesso?
    - Quando posso confiar?
    - Como posso corrigir um erro?
    HOJE
    Dados de
    treinamento
    Modelo de
    Aprendizado
    de Máquina
    Usuário
    - Eu entendo o porquê
    - Eu sei quando pode falhar
    - Eu sei quando pode funcionar
    - Eu sei quando posso confiar
    - Eu sei como corrigir erros
    XAI
    Modelo
    Explicável
    Explicações

    View full-size slide

  27. Interpretabilidade
    intrínseca
    Interpretabilidade
    extrínseca (post-hoc)
    Utilizar modelos explicáveis para "imitar" o
    comportamento do modelo opaco.
    Trade-off: mantém acurácia do modelo original
    Limitação: não garante alta fidelidade
    Trabalhar a modelagem como modelos que são
    inerentemente explicáveis.
    Trade-off: mantém acurácia e fidelidade das explicações
    Limitação: não resolve problemas complexos
    33
    Modelo opaco Predições
    Dados XAI Explicações

    View full-size slide

  28. Abordagem específica Abordagem agnóstica
    Abordagens agnósticas permitem explicar as
    predições independente do modelo de
    aprendizado de máquina utilizado.
    (MENGNAN et al., 2019)
    Abordagem que são específicas para um
    determinado modelo (ex: redes neurais).

    View full-size slide

  29. Explicações locais Explicações globais
    Fornecer um entendimento global sobre o
    conhecimento adquirido pelo modelo
    pré-treinado e apresentar os padrões ou
    representações aprendidas de uma maneira
    intuitiva para os humanos.
    Identificar as contribuições de cada atributo
    dos dados de entrada em uma predição
    específica.

    View full-size slide

  30. Cenário
    Algoritmo para decidir se o banco deve ou não aceitar sua solicitação
    de empréstimo
    Modelo de crédito
    Solicitação empréstimo
    Solicitação negada
    Retorna da resposta
    Execução do modelo

    View full-size slide

  31. Consumidores

    View full-size slide

  32. Explicações contrafactutais

    View full-size slide

  33. http://aix360.mybluemix.net/explanation_cust#
    Explicações contrafactutais

    View full-size slide

  34. Bibliotecas e ferramentas

    View full-size slide

  35. Google Model Cards

    View full-size slide

  36. LIME (RIBEIRO et al., 2016)
    - Método agnóstico para explicações locais.
    SHAP (LUND-BERG e LEE, 2017)
    - explicação local a partir da importância de atributos. Conecta LIME e os valores Shapley,
    ajudando a unificar o campo do aprendizado de máquina interpretável.
    Explicações contrafactuais (SHARMA et al., 2020; MOTHILAL et al., 2020)
    - são usadas para explicar previsões de instâncias individuais, utilizando perturbações
    dos dados
    Principais métodos

    View full-size slide

  37. Como avaliar as explicações geradas pelos métodos?
    Como definir explicabilidade/fairness/transparência de modelos?
    Como construir técnicas centradas nas comunidades impactadas por essas
    tecnologias?
    Desafios

    View full-size slide

  38. “What this new wave of XAI
    researchers agree on is that if AI
    systems are to be used by more
    people, those people must be part of
    the design from the start—and
    different people need different kinds
    of explanations.”

    View full-size slide

  39. “Qualquer tecnologia que criamos reflete tanto
    nossas aspirações quanto nossas limitações. Se
    formos limitados na hora de pensar em inclusão,
    isso vai ser refletido e incorporado na tecnologia
    que criamos”.
    Joy Buolamwini

    View full-size slide

  40. Obrigada!
    Carla Vieira
    carlavieira.dev | @carlaprvieira
    youtube.com/eaicarla

    View full-size slide

  41. Notícias
    Amazon (2018)
    Dissecting racial bias in an algorithm used to manage the health of populations
    Wrongfully Accused by an Algorithm
    Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial no
    Brasil são negros

    View full-size slide

  42. Newsletters
    − MIT Review – The Download (en): tecnologias emergentes
    − MIT Review – The Algorithm (en): Inteligência Artificial
    − Data & Society (en): Data & Society advances public understanding of the social implications of
    data-centric technologies and automation.
    − AI Weekly by Khari Johson (en)
    − Data Hackers (pt):
    − Desvelar (Tecnologia e Sociedade) (pt):
    Podcasts
    − Artificial Intelligence: AI Podcast by Lex Fridman (en)
    − Crazy for data (pt)
    − The Received Wisdom Podcast (en)
    − 10 TED Talks about AI

    View full-size slide

  43. Livros sobre IA e sociedade

    View full-size slide

  44. • Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código
    • The How of Explainable AI: Post-modelling Explainability
    • Lista de artigos sobre ética e IA
    • Relatórios do AI NOW
    • Notícias sobre reconhecimento facial no Brasil
    • Racial and Gender bias in Amazon Rekognition
    • Diversity in faces (IBM)
    • Google video – Machine Learning and Human Bias
    • Visão Computacional e Vieses Racializados
    • Estudo Machine Bias on Compas
    • Machine Learning Explainability Kaggle
    • Predictive modeling: striking a balance between accuracy and interpretability
    • Neural Network Bias: Bias Neuron, Overfitting and Underfitting

    View full-size slide

  45. Referências
    BARAKAT, N. H.; BRADLEY, A. P. (2007) Rule extraction from support vector machines: Asequential covering approach.
    IEEE Transactions on Knowledge and Data Engineering. Disponível em: https://doi.org/10.1109/TKDE.2007.190610
    Doran, D., Schulz, S.C. e Besold, T. R. 2018. What Does Explainable AI Really Mean? A New Conceptualization of
    Perspectives. CEUR Workshop Proceedings, 2018. Disponível em: https://arxiv.org/abs/1710.00794
    Freitas, A. 2014. Comprehensible classification models: A position paper. Disponível em:
    https://doi.org/10.1145/2594473.2594475
    Guidotti, R., Monreale, A., Ruggieri, S., Turini, F.,Pedreschi, D. e Giannotti, F. 2018. A survey of methods for explaining
    black box models. Disponível em: https://arxiv.org/abs/1802.01933
    Hymas, C. (2019) AI used for first time in job interviews in UK to find best applicants. The Telegraph Disponível em:
    https://www.telegraph.co.uk/news/2019/09/27/ai-facial-recognition-used-first-time-job-interviews-uk-find/
    Ribeiro, M. T., Singh, S. e Guestrin, C. 2016.Model-agnostic interpretability of machine learning,Cornell University.
    Disponível em: https://arxiv.org/abs/1606.05386
    Ledford, H. 2019. Millions of black people affected by racial bias in health-care algorithms. Nature. Disponível em:
    https://www.nature.com/articles/d41586-019-03228-6
    51

    View full-size slide

  46. Referências
    LUNDBERG, S. M.; ERION, G. G.; CHEN, H.; DEGRAVE, A.; PRUTKIN, J. M.; NAIR,B.; KATZ, R.; HIMMELFARB, J.; BANSAL, N.; LEE, S.
    2019. Explainable AI for trees: From local explanations to global understanding. Disponível em:http://arxiv.org/abs/1905.04610
    LUNDBERG, S. M.; LEE, S.-I. 2017. A unified approach to interpreting model predictions.In: GUYON, I.; LUXBURG, U. V.; BENGIO, S.;
    WALLACH, H.; FERGUS, R.;VISHWANATHAN, S.; GARNETT, R. (Ed.). Disponível
    em:http://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions.pdf
    Mengnan, D., Ninghao, L., e Xia, H. 2019. Techniques for interpretable machine learning. Disponível em:
    https://dl.acm.org/doi/10.1145/3359786
    Obermeyer, Z., Powers, B., Vogeli, C. e Mullainathan, S. 2019. Dissecting racial bias in an algorithm used to manage the health of
    populations. Disponível em: https://science.sciencemag.org/content/366/6464/447
    O’NEIL, C.Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. USA: Crown Publishing
    Group, 2016. ISBN 0553418815.
    Papadopoulos, P. e Walkinshaw, N. 2015. "Black-Box Test Generation from Inferred Models".Disponível em:
    https://ieeexplore.ieee.org/document/7168327
    Vieira, C. P. R.; Digiampietri, L. A. 2020. A study about Explainable Artificial Intelligence: using decision tree to explain SVM.
    Disponível em: http://seer.upf.br/index.php/rbca/article/view/10247
    52

    View full-size slide