Construindo sistemas de aprendizado de máquina explicáveis: desafios e aprendizados

Nos últimos anos, algoritmos de aprendizado de máquina têm trazido bons resultados em diferentes tarefas - às vezes até superando os humanos. No entanto, os modelos se tornaram muito complexos para serem inteligíveis para os seres humanos. A boa notícia é que é possível construir sistemas mais transparentes com os crescentes estudos nas áreas de Explainable AI, Justiça e Transparência. A má notícia é que essa tarefa é mais difícil do que muitos blogs e artigos têm relatado. Essa palestra tem como objetivo descrever os desafios que você enfrentará na construção de sistemas transparentes e apresentar técnicas viáveis ​​para explicação e teste de modelos de aprendizado de máquina.

https://www.youtube.com/watch?v=6DM2FtCZMAM

Transcript

1. Abrindo a caixa-preta da
   Inteligência Artificial...
   Desafios e aprendizados
   Carla Vieira
   

   View Slide

2. Engenheira de Software (python <3), mestranda em
   Inteligência Artificial e Google Developer Expert in
   Machine Learning. Co-organizadora da perifaCode.
   contato@carlavieira.dev | carlavieira.dev
   Carla Vieira
   

   View Slide

3. ?
   

   View Slide

4. View Slide

5. View Slide

6. View Slide

7. ?
   

   View Slide

8. viés
   dados
   privacidade legislação
   ética
   

   View Slide

9. Ferramenta de
   recrutamento da
   Amazon com AI
   discriminava
   candidatas mulheres
   (2018)
   

   View Slide

10. Racismo algorítmico
    em modelos preditivos
    na saúde
    (2019)
    

    View Slide

11. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)
    

    View Slide

12. Homem acusado de
    forma injusta por um
    algoritmo
    (2020)
    

    View Slide

13. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)
    

    View Slide

14. Preconceito humano Tecnologia
    Mas, como isso acontece?
    

    View Slide

15. Tecnologia é neutra?
    "When the field of AI believes it is neutral, it both fails to notice
    biased data and builds systems that sanctify the status quo and
    advance the interests of the powerful. What is needed is a field
    that exposes and critiques systems that concentrate power, while
    co-creating new systems with impacted communities: AI by and
    for the people."
    Pratyusha Kalluri (PhD Computer Science, Stanford)
    

    View Slide

16. Nós (profissionais de tecnologia) não
    somos ensinados que tecnologia é política!
    

    View Slide

17. Preconceito humano Tecnologia
    Como remover o viés?
    

    View Slide

18. Preconceito humano Tecnologia
    Como evitar o viés?
    

    View Slide

19. Preconceito humano Tecnologia
    Diversidade
    

    View Slide

20. Quem está desenvolvendo Inteligência Artificial?
    “Only 22% of AI professionals globally are female,
    compared to 78% who are male.”
    (The Global Gender Gap Report 2018 - p.28)
    

    View Slide

21. Pesquisa #QuemCodaBR (2019)
    Fonte: https://www.pretalab.com/dados#/
    

    View Slide

22. Estes casos ilustram um problema maior:
    os algoritmos de I.A. são uma caixa opaca.
    

    View Slide

23. CAIXA PRETA
    ENTRADA SAÍDA
    

    View Slide

24. CAIXA PRETA
    ENTRADA SAÍDA
    ?
    

    View Slide

25. Modelos interpretáveis Modelos opacos
    Modelos como redes neurais que fornecem grande
    precisão. O funcionamento interno desses modelos é mais
    difícil de entender e não são inerentemente explicáveis.
    Modelos mais simples, baseados em regras, fornecem
    menos capacidade preditiva e nem sempre são capazes de
    modelar problemas complexos.
    Árvores de decisão, regressão linear etc. Redes Neurais, SVM, Random Forest
    

    View Slide

26. View Slide

27. Como abrir a caixa preta?
    

    View Slide

28. Como abrir a caixa preta?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás
    de cada decisão
    TRANSPARÊNCIA
    

    View Slide

29. Inteligência Artificial Explicável é a área de pesquisa que
    aborda essas questões, utilizando diferentes metodologias
    para explicar as predições dos modelos de aprendizado de
    máquina.
    eXplainable Artificial Intelligence
    

    View Slide

30. Transparência é oferecer uma explicação clara, facilmente
    compreensível e em linguagem simples do que algo é, o que
    faz e por que o faz.
    transparência
    

    View Slide

31. Explicações são descrições compreensíveis para seres
    humanos, do comportamento e das consequências das
    predições de modelos de IA, bem como as razões e
    justificativas para as decisões feitas pelos humanos que
    criaram esses modelos.
    explicações
    

    View Slide

32. Dados de
    treinamento
    Modelo de
    Aprendizado
    de Máquina
    Usuário
    Decisão ou
    recomendação
    - Por que o modelo fez essa predição?
    - Quando o modelo falha?
    - Quando o modelo tem sucesso?
    - Quando posso confiar?
    - Como posso corrigir um erro?
    HOJE
    Dados de
    treinamento
    Modelo de
    Aprendizado
    de Máquina
    Usuário
    - Eu entendo o porquê
    - Eu sei quando pode falhar
    - Eu sei quando pode funcionar
    - Eu sei quando posso confiar
    - Eu sei como corrigir erros
    XAI
    Modelo
    Explicável
    Explicações
    

    View Slide

33. Interpretabilidade
    intrínseca
    Interpretabilidade
    extrínseca (post-hoc)
    Utilizar modelos explicáveis para "imitar" o
    comportamento do modelo opaco.
    Trade-off: mantém acurácia do modelo original
    Limitação: não garante alta fidelidade
    Trabalhar a modelagem como modelos que são
    inerentemente explicáveis.
    Trade-off: mantém acurácia e fidelidade das explicações
    Limitação: não resolve problemas complexos
    33
    Modelo opaco Predições
    Dados XAI Explicações
    

    View Slide

34. Abordagem específica Abordagem agnóstica
    Abordagens agnósticas permitem explicar as
    predições independente do modelo de
    aprendizado de máquina utilizado.
    (MENGNAN et al., 2019)
    Abordagem que são específicas para um
    determinado modelo (ex: redes neurais).
    

    View Slide

35. Explicações locais Explicações globais
    Fornecer um entendimento global sobre o
    conhecimento adquirido pelo modelo
    pré-treinado e apresentar os padrões ou
    representações aprendidas de uma maneira
    intuitiva para os humanos.
    Identificar as contribuições de cada atributo
    dos dados de entrada em uma predição
    específica.
    

    View Slide

36. Cenário
    Algoritmo para decidir se o banco deve ou não aceitar sua solicitação
    de empréstimo
    Modelo de crédito
    Solicitação empréstimo
    Solicitação negada
    Retorna da resposta
    Execução do modelo
    

    View Slide

37. Consumidores
    

    View Slide

38. Explicações contrafactutais
    

    View Slide

39. http://aix360.mybluemix.net/explanation_cust#
    Explicações contrafactutais
    

    View Slide

40. Bibliotecas e ferramentas
    

    View Slide

41. Google Model Cards
    

    View Slide

42. LIME (RIBEIRO et al., 2016)
    - Método agnóstico para explicações locais.
    SHAP (LUND-BERG e LEE, 2017)
    - explicação local a partir da importância de atributos. Conecta LIME e os valores Shapley,
    ajudando a unificar o campo do aprendizado de máquina interpretável.
    Explicações contrafactuais (SHARMA et al., 2020; MOTHILAL et al., 2020)
    - são usadas para explicar previsões de instâncias individuais, utilizando perturbações
    dos dados
    Principais métodos
    

    View Slide

43. Como avaliar as explicações geradas pelos métodos?
    Como definir explicabilidade/fairness/transparência de modelos?
    Como construir técnicas centradas nas comunidades impactadas por essas
    tecnologias?
    Desafios
    

    View Slide

44. “What this new wave of XAI
    researchers agree on is that if AI
    systems are to be used by more
    people, those people must be part of
    the design from the start—and
    different people need different kinds
    of explanations.”
    

    View Slide

45. “Qualquer tecnologia que criamos reflete tanto
    nossas aspirações quanto nossas limitações. Se
    formos limitados na hora de pensar em inclusão,
    isso vai ser refletido e incorporado na tecnologia
    que criamos”.
    Joy Buolamwini
    

    View Slide

46. Obrigada!
    Carla Vieira
    carlavieira.dev | @carlaprvieira
    youtube.com/eaicarla
    

    View Slide

47. Notícias
    Amazon (2018)
    Dissecting racial bias in an algorithm used to manage the health of populations
    Wrongfully Accused by an Algorithm
    Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial no
    Brasil são negros
    

    View Slide

48. Newsletters
    − MIT Review – The Download (en): tecnologias emergentes
    − MIT Review – The Algorithm (en): Inteligência Artificial
    − Data & Society (en): Data & Society advances public understanding of the social implications of
    data-centric technologies and automation.
    − AI Weekly by Khari Johson (en)
    − Data Hackers (pt):
    − Desvelar (Tecnologia e Sociedade) (pt):
    Podcasts
    − Artificial Intelligence: AI Podcast by Lex Fridman (en)
    − Crazy for data (pt)
    − The Received Wisdom Podcast (en)
    − 10 TED Talks about AI
    

    View Slide

49. Livros sobre IA e sociedade
    

    View Slide

50. • Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código
    • The How of Explainable AI: Post-modelling Explainability
    • Lista de artigos sobre ética e IA
    • Relatórios do AI NOW
    • Notícias sobre reconhecimento facial no Brasil
    • Racial and Gender bias in Amazon Rekognition
    • Diversity in faces (IBM)
    • Google video – Machine Learning and Human Bias
    • Visão Computacional e Vieses Racializados
    • Estudo Machine Bias on Compas
    • Machine Learning Explainability Kaggle
    • Predictive modeling: striking a balance between accuracy and interpretability
    • Neural Network Bias: Bias Neuron, Overfitting and Underfitting
    

    View Slide

51. Referências
    BARAKAT, N. H.; BRADLEY, A. P. (2007) Rule extraction from support vector machines: Asequential covering approach.
    IEEE Transactions on Knowledge and Data Engineering. Disponível em: https://doi.org/10.1109/TKDE.2007.190610
    Doran, D., Schulz, S.C. e Besold, T. R. 2018. What Does Explainable AI Really Mean? A New Conceptualization of
    Perspectives. CEUR Workshop Proceedings, 2018. Disponível em: https://arxiv.org/abs/1710.00794
    Freitas, A. 2014. Comprehensible classification models: A position paper. Disponível em:
    https://doi.org/10.1145/2594473.2594475
    Guidotti, R., Monreale, A., Ruggieri, S., Turini, F.,Pedreschi, D. e Giannotti, F. 2018. A survey of methods for explaining
    black box models. Disponível em: https://arxiv.org/abs/1802.01933
    Hymas, C. (2019) AI used for first time in job interviews in UK to find best applicants. The Telegraph Disponível em:
    https://www.telegraph.co.uk/news/2019/09/27/ai-facial-recognition-used-first-time-job-interviews-uk-find/
    Ribeiro, M. T., Singh, S. e Guestrin, C. 2016.Model-agnostic interpretability of machine learning,Cornell University.
    Disponível em: https://arxiv.org/abs/1606.05386
    Ledford, H. 2019. Millions of black people affected by racial bias in health-care algorithms. Nature. Disponível em:
    https://www.nature.com/articles/d41586-019-03228-6
    51
    

    View Slide

52. Referências
    LUNDBERG, S. M.; ERION, G. G.; CHEN, H.; DEGRAVE, A.; PRUTKIN, J. M.; NAIR,B.; KATZ, R.; HIMMELFARB, J.; BANSAL, N.; LEE, S.
    2019. Explainable AI for trees: From local explanations to global understanding. Disponível em:http://arxiv.org/abs/1905.04610
    LUNDBERG, S. M.; LEE, S.-I. 2017. A unified approach to interpreting model predictions.In: GUYON, I.; LUXBURG, U. V.; BENGIO, S.;
    WALLACH, H.; FERGUS, R.;VISHWANATHAN, S.; GARNETT, R. (Ed.). Disponível
    em:http://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions.pdf
    Mengnan, D., Ninghao, L., e Xia, H. 2019. Techniques for interpretable machine learning. Disponível em:
    https://dl.acm.org/doi/10.1145/3359786
    Obermeyer, Z., Powers, B., Vogeli, C. e Mullainathan, S. 2019. Dissecting racial bias in an algorithm used to manage the health of
    populations. Disponível em: https://science.sciencemag.org/content/366/6464/447
    O’NEIL, C.Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. USA: Crown Publishing
    Group, 2016. ISBN 0553418815.
    Papadopoulos, P. e Walkinshaw, N. 2015. "Black-Box Test Generation from Inferred Models".Disponível em:
    https://ieeexplore.ieee.org/document/7168327
    Vieira, C. P. R.; Digiampietri, L. A. 2020. A study about Explainable Artificial Intelligence: using decision tree to explain SVM.
    Disponível em: http://seer.upf.br/index.php/rbca/article/view/10247
    52
    

    View Slide