Big Data e Math Washing

Os algoritmos são criados para automatizar decisões e facilitar a vida das pessoas, mas as programações podem dar escala a comportamentos indesejáveis como racismo, misoginia e homofobia. Algoritmos captam preferências dos usuários e podem captar preferências políticas. Podemos perpetuar preconceitos partindo da premissa ingênua de que a matemática é neutra, isentando quem dela se beneficia da responsabilidade, como um mathwhasing. A programação pode ser responsável pelo preconceito embutido nos resultados?

Transcript

1. Big Data e Mathwashing Carla Vieira MAC0485 - Implicações Sociais da Computação
2. Engenheira de Software (python <3), mestranda em Inteligência Artificial e Google Developer Expert in Machine Learning. Co-organizadora da perifaCode. contato@carlavieira.dev | carlavieira.dev Carla Vieira
3. ?
7. ?
8. viés dados privacidade legislação ética
9. COMPAS Software e cálculo de reincidência: caso de racismo algorítmico (2016)
10. COMPAS Software e cálculo de reincidência: caso de racismo algorítmico (2016)
11. Estudo Gender Shades (2018)
12. Ferramenta de recrutamento da Amazon com AI discriminava candidatas mulheres (2018)
13. Racismo algorítmico em modelos preditivos na saúde (2019)
14. 90,5% das pessoas presas por Reconhecimento Facial são negras (2019)
15. Pesquisa em tecnologias de Reconhecimento Facial (2019) Joy Buolamwini Founder Algorithmic Justice League Deb Raji AI Now Institute Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact -of-publicly-naming-biased-performance-results-of-commercial-ai-products/
16. Homem acusado de forma injusta por um algoritmo (2020)
17. Pausa em P&D de reconhecimento facial por Amazon, Microsoft e IBM (2020)
18. Desenvolvedor cria ferramenta que reforça racismo algorítmico (2020) https://altdeep.substack.com/p/two-things-you-might-have-missed
19. MIT remove dataset por racismo e sexismo (2020) https://www.theregister.com/2020/07/01/mit_dataset_removed/
20. Algoritmos de Reconhecimento Facial em recrutamento (2020) https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-incre asingly-decides-whether-you-deserve-job/
21. Preconceito humano Tecnologia Mas, como isso acontece?
22. Mas, como isso acontece? Viés de seleção
23. Mas, como isso acontece?
24. Mas, como isso acontece? Viés de sobrevivência
25. Mas, como isso acontece? Causa e efeito Só porque (A) acontece juntamente com (B) não significa que (A) causa (B).
26. Mas, como isso acontece? Causa e efeito 1. (A) causa realmente (B); 2. (B) pode ser a causa de (A); 3. Um terceiro fator (C) pode ser causa tanto de (A) como de (B); 4. Pode ser uma combinação das três situações anteriores. Por exemplo, (A) causa (B) e ao mesmo tempo (B) causa também (A); 5. A correlação pode ser apenas uma coincidência, ou seja, os dois eventos não têm qualquer relação.
27. Mas, como isso acontece? Causa e efeito Fonte: Spurious Correlations
28. “Correlation is not causation.”
29. “A correlação é suficiente.” Podemos parar de procurar modelos. Podemos analisar os dados sem hipóteses sobre o que eles podem mostrar. Podemos (...) permitir que algoritmos estatísticos encontrem padrões onde a ciência não consegue. Chris Anderson
30. Essas visões grandiosas sugerem uma falha em compreender os limites da computação força bruta. Embora seja possível detectar correlações úteis aplicando poder de computação a big data, por si só as correlações não podem responder a perguntas sobre a eficácia das intervenções nem podem explicar os mecanismos causais subjacentes, cujo conhecimento é frequentemente crítico para a tomada de decisões (...). Para abordar essas questões, precisamos considerar a causalidade, e isso não é uma questão de força bruta. Nick Barrowman
31. ALGORITMO CAIXA PRETA ENTRADA SAÍDA vieses vieses
32. “A culpa não é do algoritmo, os dados é que estão enviesados”
33. “Algoritmos são matemática. A matemática é neutra....”
34. Existem decisões humanas que são delegadas em algoritmos. É o que se denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o algoritmo decidiu". É uma maneira de fugir da responsabilidade. mathwashing Fred Benenson
38. Um dos principais argumentos do livro é que sofremos de "tecnochauvinism" ou a crença de que mais “tecnologia” é sempre a solução. tecnochauvinismo
40. Afirma que mesmo a matemática de números inteiros não pode provar sua própria consistência. Na matemática, existem axiomas, que são um nome bonito para obviedades. Axiomas são como as regras do xadrez. Não precisam de prova. A matemática aceita os axiomas como verdades de antemão, e se constrói em cima deles. Teorema da incompletude de Gödel Kurt Gödel
42. Algoritmos conseguem fazer análises subjetivas?
43. O que determina se um algoritmo é justo quando o que está em jogo é uma sentença criminal?
44. Nem tudo que tem valor pode ser medido e codificado e a ética é um exemplo. Quanto mais cedo as pessoas deixarem de tentar encontrar uma equação precisa para "justiça" e começarem a perguntar "por que estou construindo essa ferramenta em primeiro lugar?". Mais justa e atenciosa a sociedade se tornará. Abeba Birhane Cognitive science PhD student - University College Dublin
45. Tecnologia é neutra? "Quando acreditamos que tecnologia e IA são neutras, falhamos em perceber dados tendenciosos e criamos sistemas que automatizam o status quo e promovem os interesses dos poderosos. O que é necessário é um campo que exponha e critique sistemas que concentram poder, enquanto criamos novos sistemas com comunidades impactadas: IA feita por pessoas e para as pessoas." Pratyusha Kalluri (PhD Computer Science, Stanford)
46. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas limitações. Se formos limitados na hora de pensar em inclusão, isso vai ser refletido e incorporado na tecnologia que criamos”. Joy Buolamwini
47. Nós (profissionais de tecnologia) não somos ensinados que tecnologia é política!
48. Como evitar o viés?
49. Preconceito humano Tecnologia Diversidade
50. Quem está desenvolvendo Inteligência Artificial? “Only 22% of AI professionals globally are female, compared to 78% who are male.” (The Global Gender Gap Report 2018 - p.28)
51. Pesquisa #QuemCodaBR (2019) Fonte: https://www.pretalab.com/dados#/
52. Como abrir a caixa preta dos algoritmos?
53. CAIXA PRETA ENTRADA SAÍDA ?
54. Como abrir a caixa preta?
55. Como abrir a caixa preta? CONFIANÇA EXPLICABILIDADE Entender a lógica por trás de cada decisão TRANSPARÊNCIA
56. Inteligência Artificial Explicável é a área de pesquisa que aborda essas questões, utilizando diferentes metodologias para explicar as predições dos modelos de aprendizado de máquina. eXplainable Artificial Intelligence
57. Transparência é oferecer uma explicação clara, facilmente compreensível e em linguagem simples do que algo é, o que faz e por que o faz. transparência
58. Explicações são descrições compreensíveis para seres humanos, do comportamento e das consequências das predições de modelos de IA, bem como as razões e justificativas para as decisões feitas pelos humanos que criaram esses modelos. explicações
59. Como conscientizar pessoas de tecnologia?
60. Compreender os limites dos algoritmos ajudará você a julgar seus julgamentos. Por sua própria definição, dados e algoritmos reduzem uma realidade complexa a uma visão mais simples do mundo. Apenas as partes do mundo que são facilmente mensuráveis podem ser usadas. Pense criticamente
61. Recomendações para aprofundamento
62. Newsletter: Desvelar A newsletter da Desvelar envia, semanalmente, conteúdos, notícias, chamadas e indicações de pesquisadores sobre sociedade e tecnologia. https://tarciziosilva.com.br/blog/newsletter/
63. Documentário: Coded Bias Em Coded Bias, quando a pesquisadora do MIT Media Lab, Joy Buolamwini, descobre que a maioria dos softwares de reconhecimento facial não identifica com precisão os rostos de pele mais escura e os rostos das mulheres, ela investiga uma investigação do viés generalizado dos algoritmos. Watch Coded Bias Online
64. Race After Technology Ruha Benjamin O livro de Benjamin dialoga com essa ideia de novas formas de segregação que perpetuam o racismo. O conceito de “novo Jim Code” defende que cotidianamente estamos usando novas tecnologias que refletem e reproduzem desigualdades. Como no passado o racismo se manifestava de formas que parecem mais explícitas e como tecnologias são vistas como “neutras”, frequentemente ignoramos a influência da tecnologia em questões raciais.
65. Weapons of Math Destruction Cathy O'Neil O'Neil usa o termo "arma de destruição matemática" para descrever as características dos piores tipos de modelos matemáticos. Ao longo do livro O'Neil comenta sobre uma variedade de sistemas e modelos matemáticos que impactam a vida de um grande número de pessoas enquanto elas tentam ir à faculdade, fazer empréstimos, são condenadas à prisão, e tentam encontrar ou manter um emprego.
66. Comunidades, Algoritmos e Ativismos Digitais Tarcízio Silva O livro “Comunidades, Algoritmos e Ativismos Digitais: olhares afrodiaspóricos” busca combater uma lacuna na academia brasileira: reflexões sobre a relação entre raça, racismo, negritude e branquitude com as tecnologias digitais como algoritmos, mídias sociais e comunidades online.
67. (Des)Inteligência Artificial Meredith Broussard Meredith Broussard argumenta que nosso entusiasmo coletivo para aplicar tecnologia em todos os aspectos da vida resultou em uma quantidade enorme de sistemas mal projetados. Com este livro, ela oferece um guia para compreender o funcionamento interno e os limites externos da tecnologia - e emite um aviso de que nunca devemos presumir que os computadores sempre acertam as coisas.
68. Canal E AI, Carla? Nesse canal, eu falo tecnologia, Inteligência Artificial, livros, séries, política, discussões de raça e gênero — e a relação entre todos esses tópicos. youtube.com/eaicarla
69. Carla Vieira carlavieira.dev | @carlaprvieira | carlaprv@usp.br youtube.com/eaicarla