Construindo sistemas de aprendizado de máquina explicáveis: desafios e aprendizados

Nos últimos anos, algoritmos de aprendizado de máquina têm trazido bons resultados em diferentes tarefas - às vezes até superando os humanos. No entanto, os modelos se tornaram muito complexos para serem inteligíveis para os seres humanos. A boa notícia é que é possível construir sistemas mais transparentes com os crescentes estudos nas áreas de Explainable AI, Justiça e Transparência. A má notícia é que essa tarefa é mais difícil do que muitos blogs e artigos têm relatado. Essa palestra tem como objetivo descrever os desafios que você enfrentará na construção de sistemas transparentes e apresentar técnicas viáveis ​​para explicação e teste de modelos de aprendizado de máquina.

https://www.youtube.com/watch?v=6DM2FtCZMAM

Transcript

1. Abrindo a caixa-preta da Inteligência Artificial... Desafios e aprendizados Carla Vieira
2. Engenheira de Software (python <3), mestranda em Inteligência Artificial e Google Developer Expert in Machine Learning. Co-organizadora da perifaCode. contato@carlavieira.dev | carlavieira.dev Carla Vieira
3. ?
7. ?
8. viés dados privacidade legislação ética
9. Ferramenta de recrutamento da Amazon com AI discriminava candidatas mulheres (2018)
10. Racismo algorítmico em modelos preditivos na saúde (2019)
11. 90,5% das pessoas presas por Reconhecimento Facial são negras (2019)
12. Homem acusado de forma injusta por um algoritmo (2020)
13. Pausa em P&D de reconhecimento facial por Amazon, Microsoft e IBM (2020)
14. Preconceito humano Tecnologia Mas, como isso acontece?
15. Tecnologia é neutra? "When the field of AI believes it is neutral, it both fails to notice biased data and builds systems that sanctify the status quo and advance the interests of the powerful. What is needed is a field that exposes and critiques systems that concentrate power, while co-creating new systems with impacted communities: AI by and for the people." Pratyusha Kalluri (PhD Computer Science, Stanford)
16. Nós (profissionais de tecnologia) não somos ensinados que tecnologia é política!
17. Preconceito humano Tecnologia Como remover o viés?
18. Preconceito humano Tecnologia Como evitar o viés?
19. Preconceito humano Tecnologia Diversidade
20. Quem está desenvolvendo Inteligência Artificial? “Only 22% of AI professionals globally are female, compared to 78% who are male.” (The Global Gender Gap Report 2018 - p.28)
21. Pesquisa #QuemCodaBR (2019) Fonte: https://www.pretalab.com/dados#/
22. Estes casos ilustram um problema maior: os algoritmos de I.A. são uma caixa opaca.
23. CAIXA PRETA ENTRADA SAÍDA
24. CAIXA PRETA ENTRADA SAÍDA ?
25. Modelos interpretáveis Modelos opacos Modelos como redes neurais que fornecem grande precisão. O funcionamento interno desses modelos é mais difícil de entender e não são inerentemente explicáveis. Modelos mais simples, baseados em regras, fornecem menos capacidade preditiva e nem sempre são capazes de modelar problemas complexos. Árvores de decisão, regressão linear etc. Redes Neurais, SVM, Random Forest
27. Como abrir a caixa preta?
28. Como abrir a caixa preta? CONFIANÇA EXPLICABILIDADE Entender a lógica por trás de cada decisão TRANSPARÊNCIA
29. Inteligência Artificial Explicável é a área de pesquisa que aborda essas questões, utilizando diferentes metodologias para explicar as predições dos modelos de aprendizado de máquina. eXplainable Artificial Intelligence
30. Transparência é oferecer uma explicação clara, facilmente compreensível e em linguagem simples do que algo é, o que faz e por que o faz. transparência
31. Explicações são descrições compreensíveis para seres humanos, do comportamento e das consequências das predições de modelos de IA, bem como as razões e justificativas para as decisões feitas pelos humanos que criaram esses modelos. explicações
32. Dados de treinamento Modelo de Aprendizado de Máquina Usuário Decisão ou recomendação - Por que o modelo fez essa predição? - Quando o modelo falha? - Quando o modelo tem sucesso? - Quando posso confiar? - Como posso corrigir um erro? HOJE Dados de treinamento Modelo de Aprendizado de Máquina Usuário - Eu entendo o porquê - Eu sei quando pode falhar - Eu sei quando pode funcionar - Eu sei quando posso confiar - Eu sei como corrigir erros XAI Modelo Explicável Explicações
33. Interpretabilidade intrínseca Interpretabilidade extrínseca (post-hoc) Utilizar modelos explicáveis para "imitar" o comportamento do modelo opaco. Trade-off: mantém acurácia do modelo original Limitação: não garante alta fidelidade Trabalhar a modelagem como modelos que são inerentemente explicáveis. Trade-off: mantém acurácia e fidelidade das explicações Limitação: não resolve problemas complexos 33 Modelo opaco Predições Dados XAI Explicações
34. Abordagem específica Abordagem agnóstica Abordagens agnósticas permitem explicar as predições independente do modelo de aprendizado de máquina utilizado. (MENGNAN et al., 2019) Abordagem que são específicas para um determinado modelo (ex: redes neurais).
35. Explicações locais Explicações globais Fornecer um entendimento global sobre o conhecimento adquirido pelo modelo pré-treinado e apresentar os padrões ou representações aprendidas de uma maneira intuitiva para os humanos. Identificar as contribuições de cada atributo dos dados de entrada em uma predição específica.
36. Cenário Algoritmo para decidir se o banco deve ou não aceitar sua solicitação de empréstimo Modelo de crédito Solicitação empréstimo Solicitação negada Retorna da resposta Execução do modelo
37. Consumidores
38. Explicações contrafactutais
39. http://aix360.mybluemix.net/explanation_cust# Explicações contrafactutais
40. Bibliotecas e ferramentas
41. Google Model Cards
42. LIME (RIBEIRO et al., 2016) - Método agnóstico para explicações locais. SHAP (LUND-BERG e LEE, 2017) - explicação local a partir da importância de atributos. Conecta LIME e os valores Shapley, ajudando a unificar o campo do aprendizado de máquina interpretável. Explicações contrafactuais (SHARMA et al., 2020; MOTHILAL et al., 2020) - são usadas para explicar previsões de instâncias individuais, utilizando perturbações dos dados Principais métodos
43. Como avaliar as explicações geradas pelos métodos? Como definir explicabilidade/fairness/transparência de modelos? Como construir técnicas centradas nas comunidades impactadas por essas tecnologias? Desafios
44. “What this new wave of XAI researchers agree on is that if AI systems are to be used by more people, those people must be part of the design from the start—and different people need different kinds of explanations.”
45. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas limitações. Se formos limitados na hora de pensar em inclusão, isso vai ser refletido e incorporado na tecnologia que criamos”. Joy Buolamwini
46. Obrigada! Carla Vieira carlavieira.dev | @carlaprvieira youtube.com/eaicarla
47. Notícias Amazon (2018) Dissecting racial bias in an algorithm used to manage the health of populations Wrongfully Accused by an Algorithm Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros
48. Newsletters − MIT Review – The Download (en): tecnologias emergentes − MIT Review – The Algorithm (en): Inteligência Artificial − Data & Society (en): Data & Society advances public understanding of the social implications of data-centric technologies and automation. − AI Weekly by Khari Johson (en) − Data Hackers (pt): − Desvelar (Tecnologia e Sociedade) (pt): Podcasts − Artificial Intelligence: AI Podcast by Lex Fridman (en) − Crazy for data (pt) − The Received Wisdom Podcast (en) − 10 TED Talks about AI
49. Livros sobre IA e sociedade
50. • Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código • The How of Explainable AI: Post-modelling Explainability • Lista de artigos sobre ética e IA • Relatórios do AI NOW • Notícias sobre reconhecimento facial no Brasil • Racial and Gender bias in Amazon Rekognition • Diversity in faces (IBM) • Google video – Machine Learning and Human Bias • Visão Computacional e Vieses Racializados • Estudo Machine Bias on Compas • Machine Learning Explainability Kaggle • Predictive modeling: striking a balance between accuracy and interpretability • Neural Network Bias: Bias Neuron, Overfitting and Underfitting
51. Referências BARAKAT, N. H.; BRADLEY, A. P. (2007) Rule extraction from support vector machines: Asequential covering approach. IEEE Transactions on Knowledge and Data Engineering. Disponível em: https://doi.org/10.1109/TKDE.2007.190610 Doran, D., Schulz, S.C. e Besold, T. R. 2018. What Does Explainable AI Really Mean? A New Conceptualization of Perspectives. CEUR Workshop Proceedings, 2018. Disponível em: https://arxiv.org/abs/1710.00794 Freitas, A. 2014. Comprehensible classification models: A position paper. Disponível em: https://doi.org/10.1145/2594473.2594475 Guidotti, R., Monreale, A., Ruggieri, S., Turini, F.,Pedreschi, D. e Giannotti, F. 2018. A survey of methods for explaining black box models. Disponível em: https://arxiv.org/abs/1802.01933 Hymas, C. (2019) AI used for first time in job interviews in UK to find best applicants. The Telegraph Disponível em: https://www.telegraph.co.uk/news/2019/09/27/ai-facial-recognition-used-first-time-job-interviews-uk-find/ Ribeiro, M. T., Singh, S. e Guestrin, C. 2016.Model-agnostic interpretability of machine learning,Cornell University. Disponível em: https://arxiv.org/abs/1606.05386 Ledford, H. 2019. Millions of black people affected by racial bias in health-care algorithms. Nature. Disponível em: https://www.nature.com/articles/d41586-019-03228-6 51
52. Referências LUNDBERG, S. M.; ERION, G. G.; CHEN, H.; DEGRAVE, A.; PRUTKIN, J. M.; NAIR,B.; KATZ, R.; HIMMELFARB, J.; BANSAL, N.; LEE, S. 2019. Explainable AI for trees: From local explanations to global understanding. Disponível em:http://arxiv.org/abs/1905.04610 LUNDBERG, S. M.; LEE, S.-I. 2017. A unified approach to interpreting model predictions.In: GUYON, I.; LUXBURG, U. V.; BENGIO, S.; WALLACH, H.; FERGUS, R.;VISHWANATHAN, S.; GARNETT, R. (Ed.). Disponível em:http://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions.pdf Mengnan, D., Ninghao, L., e Xia, H. 2019. Techniques for interpretable machine learning. Disponível em: https://dl.acm.org/doi/10.1145/3359786 Obermeyer, Z., Powers, B., Vogeli, C. e Mullainathan, S. 2019. Dissecting racial bias in an algorithm used to manage the health of populations. Disponível em: https://science.sciencemag.org/content/366/6464/447 O’NEIL, C.Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. USA: Crown Publishing Group, 2016. ISBN 0553418815. Papadopoulos, P. e Walkinshaw, N. 2015. "Black-Box Test Generation from Inferred Models".Disponível em: https://ieeexplore.ieee.org/document/7168327 Vieira, C. P. R.; Digiampietri, L. A. 2020. A study about Explainable Artificial Intelligence: using decision tree to explain SVM. Disponível em: http://seer.upf.br/index.php/rbca/article/view/10247 52