Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Big Data e Math Washing

B6e0ee98a08a3863043dc3edc5789029?s=47 Carla Vieira
October 07, 2020

Big Data e Math Washing

Os algoritmos são criados para automatizar decisões e facilitar a vida das pessoas, mas as programações podem dar escala a comportamentos indesejáveis como racismo, misoginia e homofobia. Algoritmos captam preferências dos usuários e podem captar preferências políticas. Podemos perpetuar preconceitos partindo da premissa ingênua de que a matemática é neutra, isentando quem dela se beneficia da responsabilidade, como um mathwhasing. A programação pode ser responsável pelo preconceito embutido nos resultados?

B6e0ee98a08a3863043dc3edc5789029?s=128

Carla Vieira

October 07, 2020
Tweet

Transcript

  1. Big Data e Mathwashing Carla Vieira MAC0485 - Implicações Sociais

    da Computação
  2. Engenheira de Software (python <3), mestranda em Inteligência Artificial e

    Google Developer Expert in Machine Learning. Co-organizadora da perifaCode. contato@carlavieira.dev | carlavieira.dev Carla Vieira
  3. ?

  4. None
  5. None
  6. None
  7. ?

  8. viés dados privacidade legislação ética

  9. COMPAS Software e cálculo de reincidência: caso de racismo algorítmico

    (2016)
  10. COMPAS Software e cálculo de reincidência: caso de racismo algorítmico

    (2016)
  11. Estudo Gender Shades (2018)

  12. Ferramenta de recrutamento da Amazon com AI discriminava candidatas mulheres

    (2018)
  13. Racismo algorítmico em modelos preditivos na saúde (2019)

  14. 90,5% das pessoas presas por Reconhecimento Facial são negras (2019)

  15. Pesquisa em tecnologias de Reconhecimento Facial (2019) Joy Buolamwini Founder

    Algorithmic Justice League Deb Raji AI Now Institute Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact -of-publicly-naming-biased-performance-results-of-commercial-ai-products/
  16. Homem acusado de forma injusta por um algoritmo (2020)

  17. Pausa em P&D de reconhecimento facial por Amazon, Microsoft e

    IBM (2020)
  18. Desenvolvedor cria ferramenta que reforça racismo algorítmico (2020) https://altdeep.substack.com/p/two-things-you-might-have-missed

  19. MIT remove dataset por racismo e sexismo (2020) https://www.theregister.com/2020/07/01/mit_dataset_removed/

  20. Algoritmos de Reconhecimento Facial em recrutamento (2020) https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-incre asingly-decides-whether-you-deserve-job/

  21. Preconceito humano Tecnologia Mas, como isso acontece?

  22. Mas, como isso acontece? Viés de seleção

  23. Mas, como isso acontece?

  24. Mas, como isso acontece? Viés de sobrevivência

  25. Mas, como isso acontece? Causa e efeito Só porque (A)

    acontece juntamente com (B) não significa que (A) causa (B).
  26. Mas, como isso acontece? Causa e efeito 1. (A) causa

    realmente (B); 2. (B) pode ser a causa de (A); 3. Um terceiro fator (C) pode ser causa tanto de (A) como de (B); 4. Pode ser uma combinação das três situações anteriores. Por exemplo, (A) causa (B) e ao mesmo tempo (B) causa também (A); 5. A correlação pode ser apenas uma coincidência, ou seja, os dois eventos não têm qualquer relação.
  27. Mas, como isso acontece? Causa e efeito Fonte: Spurious Correlations

  28. “Correlation is not causation.”

  29. “A correlação é suficiente.” Podemos parar de procurar modelos. Podemos

    analisar os dados sem hipóteses sobre o que eles podem mostrar. Podemos (...) permitir que algoritmos estatísticos encontrem padrões onde a ciência não consegue. Chris Anderson
  30. Essas visões grandiosas sugerem uma falha em compreender os limites

    da computação força bruta. Embora seja possível detectar correlações úteis aplicando poder de computação a big data, por si só as correlações não podem responder a perguntas sobre a eficácia das intervenções nem podem explicar os mecanismos causais subjacentes, cujo conhecimento é frequentemente crítico para a tomada de decisões (...). Para abordar essas questões, precisamos considerar a causalidade, e isso não é uma questão de força bruta. Nick Barrowman
  31. ALGORITMO CAIXA PRETA ENTRADA SAÍDA vieses vieses

  32. “A culpa não é do algoritmo, os dados é que

    estão enviesados”
  33. “Algoritmos são matemática. A matemática é neutra....”

  34. Existem decisões humanas que são delegadas em algoritmos. É o

    que se denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o algoritmo decidiu". É uma maneira de fugir da responsabilidade. mathwashing Fred Benenson
  35. None
  36. None
  37. None
  38. Um dos principais argumentos do livro é que sofremos de

    "tecnochauvinism" ou a crença de que mais “tecnologia” é sempre a solução. tecnochauvinismo
  39. None
  40. Afirma que mesmo a matemática de números inteiros não pode

    provar sua própria consistência. Na matemática, existem axiomas, que são um nome bonito para obviedades. Axiomas são como as regras do xadrez. Não precisam de prova. A matemática aceita os axiomas como verdades de antemão, e se constrói em cima deles. Teorema da incompletude de Gödel Kurt Gödel
  41. None
  42. Algoritmos conseguem fazer análises subjetivas?

  43. O que determina se um algoritmo é justo quando o

    que está em jogo é uma sentença criminal?
  44. Nem tudo que tem valor pode ser medido e codificado

    e a ética é um exemplo. Quanto mais cedo as pessoas deixarem de tentar encontrar uma equação precisa para "justiça" e começarem a perguntar "por que estou construindo essa ferramenta em primeiro lugar?". Mais justa e atenciosa a sociedade se tornará. Abeba Birhane Cognitive science PhD student - University College Dublin
  45. Tecnologia é neutra? "Quando acreditamos que tecnologia e IA são

    neutras, falhamos em perceber dados tendenciosos e criamos sistemas que automatizam o status quo e promovem os interesses dos poderosos. O que é necessário é um campo que exponha e critique sistemas que concentram poder, enquanto criamos novos sistemas com comunidades impactadas: IA feita por pessoas e para as pessoas." Pratyusha Kalluri (PhD Computer Science, Stanford)
  46. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas

    limitações. Se formos limitados na hora de pensar em inclusão, isso vai ser refletido e incorporado na tecnologia que criamos”. Joy Buolamwini
  47. Nós (profissionais de tecnologia) não somos ensinados que tecnologia é

    política!
  48. Como evitar o viés?

  49. Preconceito humano Tecnologia Diversidade

  50. Quem está desenvolvendo Inteligência Artificial? “Only 22% of AI professionals

    globally are female, compared to 78% who are male.” (The Global Gender Gap Report 2018 - p.28)
  51. Pesquisa #QuemCodaBR (2019) Fonte: https://www.pretalab.com/dados#/

  52. Como abrir a caixa preta dos algoritmos?

  53. CAIXA PRETA ENTRADA SAÍDA ?

  54. Como abrir a caixa preta?

  55. Como abrir a caixa preta? CONFIANÇA EXPLICABILIDADE Entender a lógica

    por trás de cada decisão TRANSPARÊNCIA
  56. Inteligência Artificial Explicável é a área de pesquisa que aborda

    essas questões, utilizando diferentes metodologias para explicar as predições dos modelos de aprendizado de máquina. eXplainable Artificial Intelligence
  57. Transparência é oferecer uma explicação clara, facilmente compreensível e em

    linguagem simples do que algo é, o que faz e por que o faz. transparência
  58. Explicações são descrições compreensíveis para seres humanos, do comportamento e

    das consequências das predições de modelos de IA, bem como as razões e justificativas para as decisões feitas pelos humanos que criaram esses modelos. explicações
  59. Como conscientizar pessoas de tecnologia?

  60. Compreender os limites dos algoritmos ajudará você a julgar seus

    julgamentos. Por sua própria definição, dados e algoritmos reduzem uma realidade complexa a uma visão mais simples do mundo. Apenas as partes do mundo que são facilmente mensuráveis podem ser usadas. Pense criticamente
  61. Recomendações para aprofundamento

  62. Newsletter: Desvelar A newsletter da Desvelar envia, semanalmente, conteúdos, notícias,

    chamadas e indicações de pesquisadores sobre sociedade e tecnologia. https://tarciziosilva.com.br/blog/newsletter/
  63. Documentário: Coded Bias Em Coded Bias, quando a pesquisadora do

    MIT Media Lab, Joy Buolamwini, descobre que a maioria dos softwares de reconhecimento facial não identifica com precisão os rostos de pele mais escura e os rostos das mulheres, ela investiga uma investigação do viés generalizado dos algoritmos. Watch Coded Bias Online
  64. Race After Technology Ruha Benjamin O livro de Benjamin dialoga

    com essa ideia de novas formas de segregação que perpetuam o racismo. O conceito de “novo Jim Code” defende que cotidianamente estamos usando novas tecnologias que refletem e reproduzem desigualdades. Como no passado o racismo se manifestava de formas que parecem mais explícitas e como tecnologias são vistas como “neutras”, frequentemente ignoramos a influência da tecnologia em questões raciais.
  65. Weapons of Math Destruction Cathy O'Neil O'Neil usa o termo

    "arma de destruição matemática" para descrever as características dos piores tipos de modelos matemáticos. Ao longo do livro O'Neil comenta sobre uma variedade de sistemas e modelos matemáticos que impactam a vida de um grande número de pessoas enquanto elas tentam ir à faculdade, fazer empréstimos, são condenadas à prisão, e tentam encontrar ou manter um emprego.
  66. Comunidades, Algoritmos e Ativismos Digitais Tarcízio Silva O livro “Comunidades,

    Algoritmos e Ativismos Digitais: olhares afrodiaspóricos” busca combater uma lacuna na academia brasileira: reflexões sobre a relação entre raça, racismo, negritude e branquitude com as tecnologias digitais como algoritmos, mídias sociais e comunidades online.
  67. (Des)Inteligência Artificial Meredith Broussard Meredith Broussard argumenta que nosso entusiasmo

    coletivo para aplicar tecnologia em todos os aspectos da vida resultou em uma quantidade enorme de sistemas mal projetados. Com este livro, ela oferece um guia para compreender o funcionamento interno e os limites externos da tecnologia - e emite um aviso de que nunca devemos presumir que os computadores sempre acertam as coisas.
  68. Canal E AI, Carla? Nesse canal, eu falo tecnologia, Inteligência

    Artificial, livros, séries, política, discussões de raça e gênero — e a relação entre todos esses tópicos. youtube.com/eaicarla
  69. Carla Vieira carlavieira.dev | @carlaprvieira | carlaprv@usp.br youtube.com/eaicarla