Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça

Apresentação no WIT - CSBC 2020

Transcript

1. Algoritmos de Opressão Carla Vieira Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça
2. Engenheira de Software na Loggi, mestranda em Inteligência Artificial (EACH-USP) e Google Developer Expert in Machine Learning. Co-organizadora da perifaCode. contato@carlavieira.dev | carlavieira.dev Carla Vieira
3. ?
7. ?
8. viés dados privacidade legislação ética
9. COMPAS Software e cálculo de reincidência: caso de racismo algorítmico (2016)
10. Algoritmos tendiam a classificar erroneamente homens como se fossem mulheres quando eles estavam na cozinha. (2018) Figura do resultado do algoritmo retirado do artigo: Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints
11. Estudo Gender Shades (2018)
12. Ferramenta de recrutamento da Amazon com AI discriminava candidatas mulheres (2018)
13. 90,5% das pessoas presas por Reconhecimento Facial são negras (2019)
14. Pesquisa em tecnologias de Reconhecimento Facial (2019) Joy Buolamwini Founder Algorithmic Justice League Deb Raji AI Now Institute Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact -of-publicly-naming-biased-performance-results-of-commercial-ai-products/
15. Pausa em P&D de reconhecimento facial por Amazon, Microsoft e IBM (2020)
16. Preconceito humano Tecnologia Mas, como isso acontece?
17. “A culpa não é do algoritmo, os dados é que estão enviesados”
18. “Algoritmos são matemática. A matemática é neutra....”
19. Existem decisões humanas que são delegadas em algoritmos. É o que se denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o algoritmo decidiu". É uma maneira de fugir da responsabilidade. mathwashing Fred Benenson
22. Um dos principais argumentos do livro é que sofremos de "tecnochauvinism" ou a crença de que mais “tecnologia” é sempre a solução. tecnochauvinismo
23. Algoritmos conseguem fazer análises subjetivas?
24. O que determina se um algoritmo é justo quando o que está em jogo é uma sentença criminal?
25. Para entender como as tecnologias digitais passaram de instrumentos para disseminar a democracia a armas para atacá-la, é preciso olhar além das próprias tecnologias. Zeynep Tufekci
26. Nem tudo que tem valor pode ser medido e codificado e a ética é um exemplo. Quanto mais cedo as pessoas deixarem de tentar encontrar uma equação precisa para "justiça" e começarem a perguntar "por que estou construindo essa ferramenta em primeiro lugar?". Mais justa e atenciosa a sociedade se tornará. Abeba Birhane Cognitive science PhD student - University College Dublin
27. Nós (profissionais de tecnologia) não somos ensinados que tecnologia é política!
28. Como evitar o viés?
29. Preconceito humano Tecnologia Diversidade
30. Quem está desenvolvendo tecnologia? Fonte: The Global Gender Gap Report 2020
31. Pesquisa #QuemCodaBR (2019) Fonte: PretaLab e ThoughtWorks
32. Somos a perifaCode, uma iniciativa brasileira que busca o protagonismo periférico na TI através do desenvolvimento profissional e econômico. perifacode.com perifaCode
33. perifaCode Aqui reunimos pessoas que moram em periferias, favelas e guetos do Brasil para criar uma rede de apoio para conseguirmos vencer as barreiras sociais que limitam a entrada ou evolução na área de programação. perifacode.com
34. Black In AI Grupo internacional para pessoas negras que atuam e pesquisam na área de Inteligência Artificial. blackinai2020.vercel.app
35. Pesquisa em Explicabilidade
36. CAIXA OPACA ENTRADA SAÍDA
37. CAIXA OPACA ENTRADA SAÍDA ?
38. Modelos interpretáveis Modelos opacos Modelos como redes neurais que fornecem grande precisão. O funcionamento interno desses modelos é mais difícil de entender e não são inerentemente explicáveis. Modelos mais simples, baseados em regras, fornecem menos capacidade preditiva e nem sempre são capazes de modelar problemas complexos. Árvores de decisão, regressão linear etc. Redes Neurais, SVM, Random Forest
39. Como abrir a caixa opaca?
40. Como abrir a caixa opaca? CONFIANÇA EXPLICABILIDADE Entender a lógica por trás de cada decisão TRANSPARÊNCIA
41. Dados de treinamento Modelo de Aprendizado de Máquina Usuário Decisão ou recomendação - Por que o modelo fez essa predição? - Quando o modelo falha? - Quando o modelo tem sucesso? - Quando posso confiar? - Como posso corrigir um erro? HOJE Dados de treinamento Modelo de Aprendizado de Máquina Usuário - Eu entendo o porquê - Eu sei quando pode falhar - Eu sei quando pode funcionar - Eu sei quando posso confiar - Eu sei como corrigir erros XAI Modelo Explicável Explicações
42. Compreender os limites dos algoritmos ajudará você a julgar seus julgamentos. Por sua própria definição, dados e algoritmos reduzem uma realidade complexa a uma visão mais simples do mundo. Apenas as partes do mundo que são facilmente mensuráveis podem ser usadas. Pense criticamente
43. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas limitações. Se formos limitados na hora de pensar em inclusão, isso vai ser refletido e incorporado na tecnologia que criamos”. Joy Buolamwini
44. Aos poucos, vamos hackeando as discriminações algorítmicas e construindo o futuro que queremos.
45. Canal E AI, Carla? Nesse canal, eu falo tecnologia, Inteligência Artificial, livros, séries, política, discussões de raça e gênero — e a relação entre todos esses tópicos. youtube.com/eaicarla
46. Carla Vieira youtube.com/eaicarla carlavieira.dev @carlaprvieira contato@carlavieira.dev
47. Recomendações para aprofundamento
48. Inteligência Artificial e Vieses Algorítmicos Debate sobre Inteligência Artificial Explicável (minha pesquisa de mestrado) e exemplo de aplicação na área de Dados da Loggi https://partiu.loggi.com/intelig%C3%AAncia-artificial-e-vie ses-algor%C3%ADtmicos-992ee4786ca
49. Newsletter: Desvelar A newsletter da Desvelar envia, semanalmente, conteúdos, notícias, chamadas e indicações de pesquisadores sobre sociedade e tecnologia. https://tarciziosilva.com.br/blog/newsletter/
50. Documentário: Coded Bias Em Coded Bias, quando a pesquisadora do MIT Media Lab, Joy Buolamwini, descobre que a maioria dos softwares de reconhecimento facial não identifica com precisão os rostos de pele mais escura e os rostos das mulheres, ela investiga uma investigação do viés generalizado dos algoritmos. Watch Coded Bias Online
51. Race After Technology Ruha Benjamin O livro de Benjamin dialoga com essa ideia de novas formas de segregação que perpetuam o racismo. O conceito de “novo Jim Code” defende que cotidianamente estamos usando novas tecnologias que refletem e reproduzem desigualdades. Como no passado o racismo se manifestava de formas que parecem mais explícitas e como tecnologias são vistas como “neutras”, frequentemente ignoramos a influência da tecnologia em questões raciais.
52. Weapons of Math Destruction Cathy O'Neil O'Neil usa o termo "arma de destruição matemática" para descrever as características dos piores tipos de modelos matemáticos. Ao longo do livro O'Neil comenta sobre uma variedade de sistemas e modelos matemáticos que impactam a vida de um grande número de pessoas enquanto elas tentam ir à faculdade, fazer empréstimos, são condenadas à prisão, e tentam encontrar ou manter um emprego.
53. Comunidades, Algoritmos e Ativismos Digitais Tarcízio Silva O livro “Comunidades, Algoritmos e Ativismos Digitais: olhares afrodiaspóricos” busca combater uma lacuna na academia brasileira: reflexões sobre a relação entre raça, racismo, negritude e branquitude com as tecnologias digitais como algoritmos, mídias sociais e comunidades online.
54. (Des)Inteligência Artificial Meredith Broussard Meredith Broussard argumenta que nosso entusiasmo coletivo para aplicar tecnologia em todos os aspectos da vida resultou em uma quantidade enorme de sistemas mal projetados. Com este livro, ela oferece um guia para compreender o funcionamento interno e os limites externos da tecnologia - e emite um aviso de que nunca devemos presumir que os computadores sempre acertam as coisas.