Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Big Data e Math Washing

Carla Vieira
October 07, 2020

Big Data e Math Washing

Os algoritmos são criados para automatizar decisões e facilitar a vida das pessoas, mas as programações podem dar escala a comportamentos indesejáveis como racismo, misoginia e homofobia. Algoritmos captam preferências dos usuários e podem captar preferências políticas. Podemos perpetuar preconceitos partindo da premissa ingênua de que a matemática é neutra, isentando quem dela se beneficia da responsabilidade, como um mathwhasing. A programação pode ser responsável pelo preconceito embutido nos resultados?

Carla Vieira

October 07, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Research

Transcript

  1. Engenheira de Software (python <3), mestranda em Inteligência Artificial e

    Google Developer Expert in Machine Learning. Co-organizadora da perifaCode. [email protected] | carlavieira.dev Carla Vieira
  2. ?

  3. ?

  4. Pesquisa em tecnologias de Reconhecimento Facial (2019) Joy Buolamwini Founder

    Algorithmic Justice League Deb Raji AI Now Institute Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact -of-publicly-naming-biased-performance-results-of-commercial-ai-products/
  5. Mas, como isso acontece? Causa e efeito Só porque (A)

    acontece juntamente com (B) não significa que (A) causa (B).
  6. Mas, como isso acontece? Causa e efeito 1. (A) causa

    realmente (B); 2. (B) pode ser a causa de (A); 3. Um terceiro fator (C) pode ser causa tanto de (A) como de (B); 4. Pode ser uma combinação das três situações anteriores. Por exemplo, (A) causa (B) e ao mesmo tempo (B) causa também (A); 5. A correlação pode ser apenas uma coincidência, ou seja, os dois eventos não têm qualquer relação.
  7. “A correlação é suficiente.” Podemos parar de procurar modelos. Podemos

    analisar os dados sem hipóteses sobre o que eles podem mostrar. Podemos (...) permitir que algoritmos estatísticos encontrem padrões onde a ciência não consegue. Chris Anderson
  8. Essas visões grandiosas sugerem uma falha em compreender os limites

    da computação força bruta. Embora seja possível detectar correlações úteis aplicando poder de computação a big data, por si só as correlações não podem responder a perguntas sobre a eficácia das intervenções nem podem explicar os mecanismos causais subjacentes, cujo conhecimento é frequentemente crítico para a tomada de decisões (...). Para abordar essas questões, precisamos considerar a causalidade, e isso não é uma questão de força bruta. Nick Barrowman
  9. Existem decisões humanas que são delegadas em algoritmos. É o

    que se denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o algoritmo decidiu". É uma maneira de fugir da responsabilidade. mathwashing Fred Benenson
  10. Um dos principais argumentos do livro é que sofremos de

    "tecnochauvinism" ou a crença de que mais “tecnologia” é sempre a solução. tecnochauvinismo
  11. Afirma que mesmo a matemática de números inteiros não pode

    provar sua própria consistência. Na matemática, existem axiomas, que são um nome bonito para obviedades. Axiomas são como as regras do xadrez. Não precisam de prova. A matemática aceita os axiomas como verdades de antemão, e se constrói em cima deles. Teorema da incompletude de Gödel Kurt Gödel
  12. O que determina se um algoritmo é justo quando o

    que está em jogo é uma sentença criminal?
  13. Nem tudo que tem valor pode ser medido e codificado

    e a ética é um exemplo. Quanto mais cedo as pessoas deixarem de tentar encontrar uma equação precisa para "justiça" e começarem a perguntar "por que estou construindo essa ferramenta em primeiro lugar?". Mais justa e atenciosa a sociedade se tornará. Abeba Birhane Cognitive science PhD student - University College Dublin
  14. Tecnologia é neutra? "Quando acreditamos que tecnologia e IA são

    neutras, falhamos em perceber dados tendenciosos e criamos sistemas que automatizam o status quo e promovem os interesses dos poderosos. O que é necessário é um campo que exponha e critique sistemas que concentram poder, enquanto criamos novos sistemas com comunidades impactadas: IA feita por pessoas e para as pessoas." Pratyusha Kalluri (PhD Computer Science, Stanford)
  15. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas

    limitações. Se formos limitados na hora de pensar em inclusão, isso vai ser refletido e incorporado na tecnologia que criamos”. Joy Buolamwini
  16. Quem está desenvolvendo Inteligência Artificial? “Only 22% of AI professionals

    globally are female, compared to 78% who are male.” (The Global Gender Gap Report 2018 - p.28)
  17. Inteligência Artificial Explicável é a área de pesquisa que aborda

    essas questões, utilizando diferentes metodologias para explicar as predições dos modelos de aprendizado de máquina. eXplainable Artificial Intelligence
  18. Transparência é oferecer uma explicação clara, facilmente compreensível e em

    linguagem simples do que algo é, o que faz e por que o faz. transparência
  19. Explicações são descrições compreensíveis para seres humanos, do comportamento e

    das consequências das predições de modelos de IA, bem como as razões e justificativas para as decisões feitas pelos humanos que criaram esses modelos. explicações
  20. Compreender os limites dos algoritmos ajudará você a julgar seus

    julgamentos. Por sua própria definição, dados e algoritmos reduzem uma realidade complexa a uma visão mais simples do mundo. Apenas as partes do mundo que são facilmente mensuráveis podem ser usadas. Pense criticamente
  21. Newsletter: Desvelar A newsletter da Desvelar envia, semanalmente, conteúdos, notícias,

    chamadas e indicações de pesquisadores sobre sociedade e tecnologia. https://tarciziosilva.com.br/blog/newsletter/
  22. Documentário: Coded Bias Em Coded Bias, quando a pesquisadora do

    MIT Media Lab, Joy Buolamwini, descobre que a maioria dos softwares de reconhecimento facial não identifica com precisão os rostos de pele mais escura e os rostos das mulheres, ela investiga uma investigação do viés generalizado dos algoritmos. Watch Coded Bias Online
  23. Race After Technology Ruha Benjamin O livro de Benjamin dialoga

    com essa ideia de novas formas de segregação que perpetuam o racismo. O conceito de “novo Jim Code” defende que cotidianamente estamos usando novas tecnologias que refletem e reproduzem desigualdades. Como no passado o racismo se manifestava de formas que parecem mais explícitas e como tecnologias são vistas como “neutras”, frequentemente ignoramos a influência da tecnologia em questões raciais.
  24. Weapons of Math Destruction Cathy O'Neil O'Neil usa o termo

    "arma de destruição matemática" para descrever as características dos piores tipos de modelos matemáticos. Ao longo do livro O'Neil comenta sobre uma variedade de sistemas e modelos matemáticos que impactam a vida de um grande número de pessoas enquanto elas tentam ir à faculdade, fazer empréstimos, são condenadas à prisão, e tentam encontrar ou manter um emprego.
  25. Comunidades, Algoritmos e Ativismos Digitais Tarcízio Silva O livro “Comunidades,

    Algoritmos e Ativismos Digitais: olhares afrodiaspóricos” busca combater uma lacuna na academia brasileira: reflexões sobre a relação entre raça, racismo, negritude e branquitude com as tecnologias digitais como algoritmos, mídias sociais e comunidades online.
  26. (Des)Inteligência Artificial Meredith Broussard Meredith Broussard argumenta que nosso entusiasmo

    coletivo para aplicar tecnologia em todos os aspectos da vida resultou em uma quantidade enorme de sistemas mal projetados. Com este livro, ela oferece um guia para compreender o funcionamento interno e os limites externos da tecnologia - e emite um aviso de que nunca devemos presumir que os computadores sempre acertam as coisas.
  27. Canal E AI, Carla? Nesse canal, eu falo tecnologia, Inteligência

    Artificial, livros, séries, política, discussões de raça e gênero — e a relação entre todos esses tópicos. youtube.com/eaicarla