SESC SOROCABA - Algoritmos de Opressão

Imagens de falência das democracias no mundo, incitação ao ódio, polarização política e vício nas telas são sobrepostas a uma série de explicações sobre autonomia dos algoritmos e inteligência artificial das mídias sociais e suas interferências negativas em nossa sociabilidade.

Transcript

1. Algoritmos de Opressão Carla Vieira Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça
2. Engenheira de Software, mestranda em Inteligência Artificial e Google Developer Expert in Machine Learning. Co-organizadora da perifaCode. contato@carlavieira.dev | carlavieira.dev Carla Vieira
3. ?
4. Hal 9000 Eu, robô Skynet Sophia
8. ?
9. viés dados privacidade legislação ética
10. COMPAS Software e cálculo de reincidência: caso de racismo algorítmico (2016)
11. COMPAS Software e cálculo de reincidência: caso de racismo algorítmico (2016)
12. 90,5% das pessoas presas por Reconhecimento Facial são negras (2019)
13. Homem acusado de forma injusta por um algoritmo (2020)
14. Pausa em P&D de reconhecimento facial por Amazon, Microsoft e IBM (2020)
15. Estudo Gender Shades (2018)
16. Pesquisa em tecnologias de Reconhecimento Facial (2019) Joy Buolamwini Founder Algorithmic Justice League Deb Raji AI Now Institute Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact -of-publicly-naming-biased-performance-results-of-commercial-ai-products/
17. Preconceito humano Tecnologia
18. “Algoritmos são matemática. A matemática é neutra....”
21. Existem decisões humanas que são delegadas em algoritmos. É o que se denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o algoritmo decidiu". É uma maneira de fugir da responsabilidade. mathwashing Fred Benenson
22. Um dos principais argumentos do livro é que sofremos de "tecnochauvinism" ou a crença de que mais “tecnologia” é sempre a solução. tecnochauvinismo
23. Algoritmos conseguem fazer análises subjetivas?
24. O que determina se um algoritmo é justo quando o que está em jogo é uma sentença criminal?
25. Por sua própria definição, dados e algoritmos reduzem uma realidade complexa a uma visão mais simples do mundo. Apenas as partes do mundo que são facilmente mensuráveis podem ser usadas.
26. Nem tudo que tem valor pode ser medido e codificado e a ética é um exemplo. Quanto mais cedo as pessoas deixarem de tentar encontrar uma equação precisa para "justiça" e começarem a perguntar "por que estou construindo essa ferramenta em primeiro lugar?". Mais justa e atenciosa a sociedade se tornará. Abeba Birhane Cognitive science PhD student - University College Dublin
27. Para entender como as tecnologias digitais passaram de instrumentos para disseminar a democracia a armas para atacá-la, é preciso olhar além das próprias tecnologias. Zeynep Tufekci
28. Instrumentalismo Tecnologia é neutra, submissa aos valores estabelecidos e é vista como progresso e desenvolvimento. Substantivismo Tecnologias como forma de exercer autoridade no ser humano, sendo que a própria tecnologia estabelece livremente seu progresso. Teoria Crítica da Tecnologia (Feenberg, 2004) Entendimento e foco no papel dos indivíduos na apropriação, construção e reconstrução das tecnologias. Faz-se necessário o resgate da discussão do desenvolvimento tecnológico do campo técnico e científico para o campo político. Determinismo Redução da capacidade de influência social sobre os processos tecnológicos.
29. A opressão algorítmica trata da subordinação injusta de um grupo social e o privilégio de outro - mantida por uma "rede complexa de restrições sociais" que vai desde normas sociais, leis, regras institucionais, preconceitos implícitos e estereótipos. opressão algorítmica
30. O design social da tecnologia concebido a partir da colonialidade é racista. (Queiroz, 2013)
31. "Os algoritmos não tornam as coisas justas, eles apenas automatizam o status quo". Cathy O'Neil (Cientista de Dados)
32. Nós (profissionais de tecnologia) não somos ensinados que tecnologia é política!
33. Como decolonizar a IA?
34. "O que é necessário é um campo que exponha e critique sistemas que concentram poder, enquanto criamos novos sistemas com comunidades impactadas: IA feita por pessoas e para as pessoas." Pratyusha Kalluri (PhD Computer Science, Stanford)
35. Diversidade 1 Preconceito humano Tecnologia
36. Quem está desenvolvendo tecnologia? Fonte: The Global Gender Gap Report 2020
37. Pesquisa #QuemCodaBR (2019) Fonte: PretaLab e ThoughtWorks
38. Somos a perifaCode, uma iniciativa brasileira que busca o protagonismo periférico na TI através do desenvolvimento profissional e econômico. perifacode.com perifaCode
39. perifaCode Aqui reunimos pessoas que moram em periferias, favelas e guetos do Brasil para criar uma rede de apoio para conseguirmos vencer as barreiras sociais que limitam a entrada ou evolução na área de programação. perifacode.com
40. Black In AI Grupo internacional para pessoas negras que atuam e pesquisam na área de Inteligência Artificial. blackinai2020.vercel.app
41. Um framework decolonial ajuda a conectar instâncias de opressão algorítmica a contextos sociopolíticos e culturais mais amplos, permitindo uma análise geográfica, histórica e interseccional ampla de riscos e oportunidades pertencentes a sistemas de IA. Desenvolvimento técnico ciente do contexto 2
42. Benjamin (2019) nos pede para reformular a solidariedade e reimaginar a justiça, repensando o design e desenvolvendo ferramentas abolicionistas que reimaginam a tecnologia. Desenvolvimento técnico ciente do contexto 2
43. Decidir o que conta como conhecimento válido, o que é incluído em um conjunto de dados e o que é ignorado e não questionado, é uma forma de poder mantida pelos pesquisadores de IA que não pode ser deixada sem reconhecimento. Tutela Reverssa 3
44. "A pesquisa em estudos pós-coloniais destaca cada vez mais o papel essencial que os próprios povos colonizados, por meio do ativismo e da organização, tiveram na mudança da visão colonial na metrópole" (Gopal, 2019; Gandhi, 2006). Tutela Reverssa 3
45. Inteligência Artificial Explicável é área de pesquisa que busca explicar as predições dos modelos de inteligência artificial de forma inteligível para seres humanos e pessoas não-técnicas dessa área. Explicabilidade 4
46. Como abrir a caixa opaca?
47. CAIXA OPACA ENTRADA SAÍDA
48. CAIXA OPACA ENTRADA SAÍDA ?
49. Aos poucos, vamos hackeando as discriminações algorítmicas e construindo o futuro que queremos.
50. Canal E AI, Carla? Nesse canal, eu falo tecnologia, Inteligência Artificial, livros, séries, política, discussões de raça e gênero — e a relação entre todos esses tópicos. youtube.com/eaicarla
51. Carla Vieira youtube.com/eaicarla carlavieira.dev @carlaprvieira contato@carlavieira.dev
52. Recomendações para aprofundamento
53. Leituras • Mohamed, S., Png, M.-T., & Isaac, W. (2020). Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence. Philosophy & Technology. doi:10.1007/s13347-020-00405-8 • Birhane A. & Guest O. Towards decolonising computational sciences. (2020). Disponível em: https://arxiv.org/abs/2009.14258 • Assis, W. F. T. (2014). Do colonialismo à colonialidade: expropriação territorial na periferia do capitalismo. Caderno CRH, 27(72), 613–627. doi:10.1590/s0103-49792014000300011 • Queiroz, P. Ivo. Fanon, O Reconhecimento o Negro e o Novo Humanismo: Horizontes Descoloniais Da Tecnologia. (2013). http://repositorio.utfpr.edu.br:8080/jspui/handle/1/492 • Ciência, tecnologia e sociedade pelo olhar da Tecnologia Social: um estudo a partir da Teoria Crítica da Tecnologia. https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1679-39512014000200009
54. Newsletter: Desvelar A newsletter da Desvelar envia, semanalmente, conteúdos, notícias, chamadas e indicações de pesquisadores sobre sociedade e tecnologia. https://tarciziosilva.com.br/blog/newsletter/
55. Documentário: Coded Bias Em Coded Bias, quando a pesquisadora do MIT Media Lab, Joy Buolamwini, descobre que a maioria dos softwares de reconhecimento facial não identifica com precisão os rostos de pele mais escura e os rostos das mulheres, ela investiga uma investigação do viés generalizado dos algoritmos. Watch Coded Bias Online
56. Race After Technology Ruha Benjamin O livro de Benjamin dialoga com essa ideia de novas formas de segregação que perpetuam o racismo. O conceito de “novo Jim Code” defende que cotidianamente estamos usando novas tecnologias que refletem e reproduzem desigualdades. Como no passado o racismo se manifestava de formas que parecem mais explícitas e como tecnologias são vistas como “neutras”, frequentemente ignoramos a influência da tecnologia em questões raciais.
57. Weapons of Math Destruction Cathy O'Neil O'Neil usa o termo "arma de destruição matemática" para descrever as características dos piores tipos de modelos matemáticos. Ao longo do livro O'Neil comenta sobre uma variedade de sistemas e modelos matemáticos que impactam a vida de um grande número de pessoas enquanto elas tentam ir à faculdade, fazer empréstimos, são condenadas à prisão, e tentam encontrar ou manter um emprego.
58. Comunidades, Algoritmos e Ativismos Digitais Tarcízio Silva O livro “Comunidades, Algoritmos e Ativismos Digitais: olhares afrodiaspóricos” busca combater uma lacuna na academia brasileira: reflexões sobre a relação entre raça, racismo, negritude e branquitude com as tecnologias digitais como algoritmos, mídias sociais e comunidades online.
59. (Des)Inteligência Artificial Meredith Broussard Meredith Broussard argumenta que nosso entusiasmo coletivo para aplicar tecnologia em todos os aspectos da vida resultou em uma quantidade enorme de sistemas mal projetados. Com este livro, ela oferece um guia para compreender o funcionamento interno e os limites externos da tecnologia - e emite um aviso de que nunca devemos presumir que os computadores sempre acertam as coisas.