SESC SOROCABA - Algoritmos de Opressão

Imagens de falência das democracias no mundo, incitação ao ódio, polarização política e vício nas telas são sobrepostas a uma série de explicações sobre autonomia dos algoritmos e inteligência artificial das mídias sociais e suas interferências negativas em nossa sociabilidade.

Transcript

1. Algoritmos de
   Opressão
   Carla Vieira
   Como algoritmos de inteligência artificial
   ampliam desigualdades de gênero e raça
   

   View Slide

2. Engenheira de Software, mestranda em Inteligência
   Artificial e Google Developer Expert in Machine
   Learning. Co-organizadora da perifaCode.
   contato@carlavieira.dev | carlavieira.dev
   Carla Vieira
   

   View Slide

3. ?
   

   View Slide

4. Hal 9000 Eu, robô
   Skynet Sophia
   

   View Slide

5. View Slide

6. View Slide

7. View Slide

8. ?
   

   View Slide

9. viés
   dados
   privacidade legislação
   ética
   

   View Slide

10. COMPAS Software e
    cálculo de reincidência:
    caso de racismo
    algorítmico
    (2016)
    

    View Slide

11. COMPAS Software e
    cálculo de
    reincidência: caso de
    racismo algorítmico
    (2016)
    

    View Slide

12. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)
    

    View Slide

13. Homem acusado de
    forma injusta por um
    algoritmo
    (2020)
    

    View Slide

14. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)
    

    View Slide

15. Estudo Gender Shades
    (2018)
    

    View Slide

16. Pesquisa em
    tecnologias de
    Reconhecimento Facial
    (2019)
    Joy Buolamwini
    Founder Algorithmic
    Justice League
    Deb Raji
    AI Now Institute
    Actionable Auditing: Investigating
    the Impact of Publicly Naming Biased
    Performance Results of Commercial
    AI Products
    https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact
    -of-publicly-naming-biased-performance-results-of-commercial-ai-products/
    

    View Slide

17. Preconceito humano Tecnologia
    

    View Slide

18. “Algoritmos são matemática. A matemática é
    neutra....”
    

    View Slide

19. View Slide

20. View Slide

21. Existem decisões humanas que são delegadas em algoritmos. É o que se
    denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o
    algoritmo decidiu". É uma maneira de fugir da responsabilidade.
    mathwashing
    Fred Benenson
    

    View Slide

22. Um dos principais argumentos do livro é que
    sofremos de "tecnochauvinism" ou a crença de
    que mais “tecnologia” é sempre a solução.
    tecnochauvinismo
    

    View Slide

23. Algoritmos conseguem fazer análises
    subjetivas?
    

    View Slide

24. O que determina se um algoritmo é justo
    quando o que está em jogo é uma sentença
    criminal?
    

    View Slide

25. Por sua própria definição, dados e algoritmos reduzem
    uma realidade complexa a uma visão mais simples do
    mundo. Apenas as partes do mundo que são facilmente
    mensuráveis podem ser usadas.
    

    View Slide

26. Nem tudo que tem valor pode ser medido
    e codificado e a ética é um exemplo.
    Quanto mais cedo as pessoas deixarem de
    tentar encontrar uma equação precisa
    para "justiça" e começarem a perguntar
    "por que estou construindo essa ferramenta
    em primeiro lugar?". Mais justa e
    atenciosa a sociedade se tornará.
    Abeba Birhane
    Cognitive science PhD student - University College Dublin
    

    View Slide

27. Para entender como as tecnologias
    digitais passaram de instrumentos para
    disseminar a democracia a armas para
    atacá-la, é preciso olhar além das
    próprias tecnologias.
    Zeynep Tufekci
    

    View Slide

28. Instrumentalismo
    Tecnologia é neutra, submissa aos
    valores estabelecidos e é vista como
    progresso e desenvolvimento.
    Substantivismo
    Tecnologias como forma de exercer
    autoridade no ser humano, sendo
    que a própria tecnologia estabelece
    livremente seu progresso.
    Teoria Crítica da Tecnologia (Feenberg, 2004)
    Entendimento e foco no papel dos indivíduos na apropriação, construção e reconstrução das tecnologias.
    Faz-se necessário o resgate da discussão do desenvolvimento tecnológico do campo técnico e científico para o
    campo político.
    Determinismo
    Redução da capacidade de influência
    social sobre os processos
    tecnológicos.
    

    View Slide

29. A opressão algorítmica trata da
    subordinação injusta de um grupo social e
    o privilégio de outro - mantida por uma
    "rede complexa de restrições sociais" que
    vai desde normas sociais, leis, regras
    institucionais, preconceitos implícitos e
    estereótipos.
    opressão algorítmica
    

    View Slide

30. O design social da tecnologia concebido a partir da
    colonialidade é racista.
    (Queiroz, 2013)
    

    View Slide

31. "Os algoritmos não tornam as coisas justas, eles apenas
    automatizam o status quo".
    Cathy O'Neil (Cientista de Dados)
    

    View Slide

32. Nós (profissionais de tecnologia) não somos
    ensinados que tecnologia é política!
    

    View Slide

33. Como decolonizar a IA?
    

    View Slide

34. "O que é necessário é um campo que exponha e critique
    sistemas que concentram poder, enquanto criamos novos
    sistemas com comunidades impactadas: IA feita por pessoas
    e para as pessoas."
    Pratyusha Kalluri (PhD Computer Science, Stanford)
    

    View Slide

35. Diversidade
    1
    Preconceito humano Tecnologia
    

    View Slide

36. Quem está desenvolvendo tecnologia?
    Fonte: The Global Gender Gap Report 2020
    

    View Slide

37. Pesquisa #QuemCodaBR (2019)
    Fonte: PretaLab e ThoughtWorks
    

    View Slide

38. Somos a perifaCode, uma iniciativa
    brasileira que busca o protagonismo
    periférico na TI através do desenvolvimento
    profissional e econômico.
    perifacode.com
    perifaCode
    

    View Slide

39. perifaCode
    Aqui reunimos pessoas que
    moram em periferias, favelas e
    guetos do Brasil para criar uma
    rede de apoio para conseguirmos
    vencer as barreiras sociais que
    limitam a entrada ou evolução na
    área de programação.
    perifacode.com
    

    View Slide

40. Black In AI
    Grupo internacional para pessoas
    negras que atuam e pesquisam na
    área de Inteligência Artificial.
    blackinai2020.vercel.app
    

    View Slide

41. Um framework decolonial ajuda a conectar instâncias de
    opressão algorítmica a contextos sociopolíticos e culturais
    mais amplos, permitindo uma análise geográfica, histórica e
    interseccional ampla de riscos e oportunidades pertencentes a
    sistemas de IA.
    Desenvolvimento técnico ciente do
    contexto
    2
    

    View Slide

42. Benjamin (2019) nos pede para reformular a
    solidariedade e reimaginar a justiça, repensando o design
    e desenvolvendo ferramentas abolicionistas que
    reimaginam a tecnologia.
    Desenvolvimento técnico ciente do
    contexto
    2
    

    View Slide

43. Decidir o que conta como conhecimento válido, o que é
    incluído em um conjunto de dados e o que é ignorado e não
    questionado, é uma forma de poder mantida pelos
    pesquisadores de IA que não pode ser deixada sem
    reconhecimento.
    Tutela Reverssa
    3
    

    View Slide

44. "A pesquisa em estudos pós-coloniais destaca cada vez
    mais o papel essencial que os próprios povos colonizados,
    por meio do ativismo e da organização, tiveram na
    mudança da visão colonial na metrópole"
    (Gopal, 2019; Gandhi, 2006).
    Tutela Reverssa
    3
    

    View Slide

45. Inteligência Artificial Explicável é área de pesquisa que
    busca explicar as predições dos modelos de inteligência
    artificial de forma inteligível para seres humanos e pessoas
    não-técnicas dessa área.
    Explicabilidade
    4
    

    View Slide

46. Como abrir a caixa opaca?
    

    View Slide

47. CAIXA OPACA
    ENTRADA SAÍDA
    

    View Slide

48. CAIXA OPACA
    ENTRADA SAÍDA
    ?
    

    View Slide

49. Aos poucos, vamos hackeando as
    discriminações algorítmicas e construindo o
    futuro que queremos.
    

    View Slide

50. Canal E AI, Carla?
    Nesse canal, eu falo tecnologia, Inteligência Artificial,
    livros, séries, política, discussões de raça e gênero — e
    a relação entre todos esses tópicos.
    youtube.com/eaicarla
    

    View Slide

51. Carla Vieira
    youtube.com/eaicarla
    carlavieira.dev
    @carlaprvieira
    contato@carlavieira.dev
    

    View Slide

52. Recomendações para
    aprofundamento
    

    View Slide

53. Leituras
    ● Mohamed, S., Png, M.-T., & Isaac, W. (2020). Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial
    Intelligence. Philosophy & Technology. doi:10.1007/s13347-020-00405-8
    ● Birhane A. & Guest O. Towards decolonising computational sciences. (2020). Disponível em:
    https://arxiv.org/abs/2009.14258
    ● Assis, W. F. T. (2014). Do colonialismo à colonialidade: expropriação territorial na periferia do capitalismo. Caderno
    CRH, 27(72), 613–627. doi:10.1590/s0103-49792014000300011
    ● Queiroz, P. Ivo. Fanon, O Reconhecimento o Negro e o Novo Humanismo: Horizontes Descoloniais Da Tecnologia.
    (2013). http://repositorio.utfpr.edu.br:8080/jspui/handle/1/492
    ● Ciência, tecnologia e sociedade pelo olhar da Tecnologia Social: um estudo a partir da Teoria Crítica da Tecnologia.
    https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1679-39512014000200009
    

    View Slide

54. Newsletter: Desvelar
    A newsletter da Desvelar envia, semanalmente,
    conteúdos, notícias, chamadas e indicações de
    pesquisadores sobre sociedade e tecnologia.
    https://tarciziosilva.com.br/blog/newsletter/
    

    View Slide

55. Documentário: Coded Bias
    Em Coded Bias, quando a pesquisadora do MIT Media Lab,
    Joy Buolamwini, descobre que a maioria dos softwares de
    reconhecimento facial não identifica com precisão os
    rostos de pele mais escura e os rostos das mulheres, ela
    investiga uma investigação do viés generalizado dos
    algoritmos.
    Watch Coded Bias Online
    

    View Slide

56. Race After Technology
    Ruha Benjamin
    O livro de Benjamin dialoga com essa ideia de novas formas
    de segregação que perpetuam o racismo. O conceito de
    “novo Jim Code” defende que cotidianamente estamos
    usando novas tecnologias que refletem e reproduzem
    desigualdades. Como no passado o racismo se manifestava
    de formas que parecem mais explícitas e como tecnologias
    são vistas como “neutras”, frequentemente ignoramos a
    influência da tecnologia em questões raciais.
    

    View Slide

57. Weapons of Math Destruction
    Cathy O'Neil
    O'Neil usa o termo "arma de destruição matemática" para
    descrever as características dos piores tipos de modelos
    matemáticos.
    Ao longo do livro O'Neil comenta sobre uma variedade de
    sistemas e modelos matemáticos que impactam a vida de
    um grande número de pessoas enquanto elas tentam ir à
    faculdade, fazer empréstimos, são condenadas à prisão, e
    tentam encontrar ou manter um emprego.
    

    View Slide

58. Comunidades, Algoritmos e
    Ativismos Digitais
    Tarcízio Silva
    O livro “Comunidades, Algoritmos e Ativismos Digitais:
    olhares afrodiaspóricos” busca combater uma lacuna na
    academia brasileira: reflexões sobre a relação entre raça,
    racismo, negritude e branquitude com as tecnologias
    digitais como algoritmos, mídias sociais e comunidades
    online.
    

    View Slide

59. (Des)Inteligência Artificial
    Meredith Broussard
    Meredith Broussard argumenta que nosso entusiasmo
    coletivo para aplicar tecnologia em todos os aspectos da vida
    resultou em uma quantidade enorme de sistemas mal
    projetados. Com este livro, ela oferece um guia para
    compreender o funcionamento interno e os limites externos
    da tecnologia - e emite um aviso de que nunca devemos
    presumir que os computadores sempre acertam as coisas.
    

    View Slide