Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça

B6e0ee98a08a3863043dc3edc5789029?s=47 Carla Vieira
November 17, 2020

Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça

Apresentação no WIT - CSBC 2020

B6e0ee98a08a3863043dc3edc5789029?s=128

Carla Vieira

November 17, 2020
Tweet

Transcript

  1. Algoritmos de Opressão Carla Vieira Como algoritmos de inteligência artificial

    ampliam desigualdades de gênero e raça
  2. Engenheira de Software na Loggi, mestranda em Inteligência Artificial (EACH-USP)

    e Google Developer Expert in Machine Learning. Co-organizadora da perifaCode. contato@carlavieira.dev | carlavieira.dev Carla Vieira
  3. ?

  4. None
  5. None
  6. None
  7. ?

  8. viés dados privacidade legislação ética

  9. COMPAS Software e cálculo de reincidência: caso de racismo algorítmico

    (2016)
  10. Algoritmos tendiam a classificar erroneamente homens como se fossem mulheres

    quando eles estavam na cozinha. (2018) Figura do resultado do algoritmo retirado do artigo: Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints
  11. Estudo Gender Shades (2018)

  12. Ferramenta de recrutamento da Amazon com AI discriminava candidatas mulheres

    (2018)
  13. 90,5% das pessoas presas por Reconhecimento Facial são negras (2019)

  14. Pesquisa em tecnologias de Reconhecimento Facial (2019) Joy Buolamwini Founder

    Algorithmic Justice League Deb Raji AI Now Institute Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact -of-publicly-naming-biased-performance-results-of-commercial-ai-products/
  15. Pausa em P&D de reconhecimento facial por Amazon, Microsoft e

    IBM (2020)
  16. Preconceito humano Tecnologia Mas, como isso acontece?

  17. “A culpa não é do algoritmo, os dados é que

    estão enviesados”
  18. “Algoritmos são matemática. A matemática é neutra....”

  19. Existem decisões humanas que são delegadas em algoritmos. É o

    que se denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o algoritmo decidiu". É uma maneira de fugir da responsabilidade. mathwashing Fred Benenson
  20. None
  21. None
  22. Um dos principais argumentos do livro é que sofremos de

    "tecnochauvinism" ou a crença de que mais “tecnologia” é sempre a solução. tecnochauvinismo
  23. Algoritmos conseguem fazer análises subjetivas?

  24. O que determina se um algoritmo é justo quando o

    que está em jogo é uma sentença criminal?
  25. Para entender como as tecnologias digitais passaram de instrumentos para

    disseminar a democracia a armas para atacá-la, é preciso olhar além das próprias tecnologias. Zeynep Tufekci
  26. Nem tudo que tem valor pode ser medido e codificado

    e a ética é um exemplo. Quanto mais cedo as pessoas deixarem de tentar encontrar uma equação precisa para "justiça" e começarem a perguntar "por que estou construindo essa ferramenta em primeiro lugar?". Mais justa e atenciosa a sociedade se tornará. Abeba Birhane Cognitive science PhD student - University College Dublin
  27. Nós (profissionais de tecnologia) não somos ensinados que tecnologia é

    política!
  28. Como evitar o viés?

  29. Preconceito humano Tecnologia Diversidade

  30. Quem está desenvolvendo tecnologia? Fonte: The Global Gender Gap Report

    2020
  31. Pesquisa #QuemCodaBR (2019) Fonte: PretaLab e ThoughtWorks

  32. Somos a perifaCode, uma iniciativa brasileira que busca o protagonismo

    periférico na TI através do desenvolvimento profissional e econômico. perifacode.com perifaCode
  33. perifaCode Aqui reunimos pessoas que moram em periferias, favelas e

    guetos do Brasil para criar uma rede de apoio para conseguirmos vencer as barreiras sociais que limitam a entrada ou evolução na área de programação. perifacode.com
  34. Black In AI Grupo internacional para pessoas negras que atuam

    e pesquisam na área de Inteligência Artificial. blackinai2020.vercel.app
  35. Pesquisa em Explicabilidade

  36. CAIXA OPACA ENTRADA SAÍDA

  37. CAIXA OPACA ENTRADA SAÍDA ?

  38. Modelos interpretáveis Modelos opacos Modelos como redes neurais que fornecem

    grande precisão. O funcionamento interno desses modelos é mais difícil de entender e não são inerentemente explicáveis. Modelos mais simples, baseados em regras, fornecem menos capacidade preditiva e nem sempre são capazes de modelar problemas complexos. Árvores de decisão, regressão linear etc. Redes Neurais, SVM, Random Forest
  39. Como abrir a caixa opaca?

  40. Como abrir a caixa opaca? CONFIANÇA EXPLICABILIDADE Entender a lógica

    por trás de cada decisão TRANSPARÊNCIA
  41. Dados de treinamento Modelo de Aprendizado de Máquina Usuário Decisão

    ou recomendação - Por que o modelo fez essa predição? - Quando o modelo falha? - Quando o modelo tem sucesso? - Quando posso confiar? - Como posso corrigir um erro? HOJE Dados de treinamento Modelo de Aprendizado de Máquina Usuário - Eu entendo o porquê - Eu sei quando pode falhar - Eu sei quando pode funcionar - Eu sei quando posso confiar - Eu sei como corrigir erros XAI Modelo Explicável Explicações
  42. Compreender os limites dos algoritmos ajudará você a julgar seus

    julgamentos. Por sua própria definição, dados e algoritmos reduzem uma realidade complexa a uma visão mais simples do mundo. Apenas as partes do mundo que são facilmente mensuráveis podem ser usadas. Pense criticamente
  43. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas

    limitações. Se formos limitados na hora de pensar em inclusão, isso vai ser refletido e incorporado na tecnologia que criamos”. Joy Buolamwini
  44. Aos poucos, vamos hackeando as discriminações algorítmicas e construindo o

    futuro que queremos.
  45. Canal E AI, Carla? Nesse canal, eu falo tecnologia, Inteligência

    Artificial, livros, séries, política, discussões de raça e gênero — e a relação entre todos esses tópicos. youtube.com/eaicarla
  46. Carla Vieira youtube.com/eaicarla carlavieira.dev @carlaprvieira contato@carlavieira.dev

  47. Recomendações para aprofundamento

  48. Inteligência Artificial e Vieses Algorítmicos Debate sobre Inteligência Artificial Explicável

    (minha pesquisa de mestrado) e exemplo de aplicação na área de Dados da Loggi https://partiu.loggi.com/intelig%C3%AAncia-artificial-e-vie ses-algor%C3%ADtmicos-992ee4786ca
  49. Newsletter: Desvelar A newsletter da Desvelar envia, semanalmente, conteúdos, notícias,

    chamadas e indicações de pesquisadores sobre sociedade e tecnologia. https://tarciziosilva.com.br/blog/newsletter/
  50. Documentário: Coded Bias Em Coded Bias, quando a pesquisadora do

    MIT Media Lab, Joy Buolamwini, descobre que a maioria dos softwares de reconhecimento facial não identifica com precisão os rostos de pele mais escura e os rostos das mulheres, ela investiga uma investigação do viés generalizado dos algoritmos. Watch Coded Bias Online
  51. Race After Technology Ruha Benjamin O livro de Benjamin dialoga

    com essa ideia de novas formas de segregação que perpetuam o racismo. O conceito de “novo Jim Code” defende que cotidianamente estamos usando novas tecnologias que refletem e reproduzem desigualdades. Como no passado o racismo se manifestava de formas que parecem mais explícitas e como tecnologias são vistas como “neutras”, frequentemente ignoramos a influência da tecnologia em questões raciais.
  52. Weapons of Math Destruction Cathy O'Neil O'Neil usa o termo

    "arma de destruição matemática" para descrever as características dos piores tipos de modelos matemáticos. Ao longo do livro O'Neil comenta sobre uma variedade de sistemas e modelos matemáticos que impactam a vida de um grande número de pessoas enquanto elas tentam ir à faculdade, fazer empréstimos, são condenadas à prisão, e tentam encontrar ou manter um emprego.
  53. Comunidades, Algoritmos e Ativismos Digitais Tarcízio Silva O livro “Comunidades,

    Algoritmos e Ativismos Digitais: olhares afrodiaspóricos” busca combater uma lacuna na academia brasileira: reflexões sobre a relação entre raça, racismo, negritude e branquitude com as tecnologias digitais como algoritmos, mídias sociais e comunidades online.
  54. (Des)Inteligência Artificial Meredith Broussard Meredith Broussard argumenta que nosso entusiasmo

    coletivo para aplicar tecnologia em todos os aspectos da vida resultou em uma quantidade enorme de sistemas mal projetados. Com este livro, ela oferece um guia para compreender o funcionamento interno e os limites externos da tecnologia - e emite um aviso de que nunca devemos presumir que os computadores sempre acertam as coisas.