$30 off During Our Annual Pro Sale. View Details »

SESC SOROCABA - Algoritmos de Opressão

Carla Vieira
November 21, 2020

SESC SOROCABA - Algoritmos de Opressão

Imagens de falência das democracias no mundo, incitação ao ódio, polarização política e vício nas telas são sobrepostas a uma série de explicações sobre autonomia dos algoritmos e inteligência artificial das mídias sociais e suas interferências negativas em nossa sociabilidade.

Carla Vieira

November 21, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Technology

Transcript

  1. Algoritmos de
    Opressão
    Carla Vieira
    Como algoritmos de inteligência artificial
    ampliam desigualdades de gênero e raça

    View Slide

  2. Engenheira de Software, mestranda em Inteligência
    Artificial e Google Developer Expert in Machine
    Learning. Co-organizadora da perifaCode.
    [email protected] | carlavieira.dev
    Carla Vieira

    View Slide

  3. ?

    View Slide

  4. Hal 9000 Eu, robô
    Skynet Sophia

    View Slide

  5. View Slide

  6. View Slide

  7. View Slide

  8. ?

    View Slide

  9. viés
    dados
    privacidade legislação
    ética

    View Slide

  10. COMPAS Software e
    cálculo de reincidência:
    caso de racismo
    algorítmico
    (2016)

    View Slide

  11. COMPAS Software e
    cálculo de
    reincidência: caso de
    racismo algorítmico
    (2016)

    View Slide

  12. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)

    View Slide

  13. Homem acusado de
    forma injusta por um
    algoritmo
    (2020)

    View Slide

  14. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)

    View Slide

  15. Estudo Gender Shades
    (2018)

    View Slide

  16. Pesquisa em
    tecnologias de
    Reconhecimento Facial
    (2019)
    Joy Buolamwini
    Founder Algorithmic
    Justice League
    Deb Raji
    AI Now Institute
    Actionable Auditing: Investigating
    the Impact of Publicly Naming Biased
    Performance Results of Commercial
    AI Products
    https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact
    -of-publicly-naming-biased-performance-results-of-commercial-ai-products/

    View Slide

  17. Preconceito humano Tecnologia

    View Slide

  18. “Algoritmos são matemática. A matemática é
    neutra....”

    View Slide

  19. View Slide

  20. View Slide

  21. Existem decisões humanas que são delegadas em algoritmos. É o que se
    denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o
    algoritmo decidiu". É uma maneira de fugir da responsabilidade.
    mathwashing
    Fred Benenson

    View Slide

  22. Um dos principais argumentos do livro é que
    sofremos de "tecnochauvinism" ou a crença de
    que mais “tecnologia” é sempre a solução.
    tecnochauvinismo

    View Slide

  23. Algoritmos conseguem fazer análises
    subjetivas?

    View Slide

  24. O que determina se um algoritmo é justo
    quando o que está em jogo é uma sentença
    criminal?

    View Slide

  25. Por sua própria definição, dados e algoritmos reduzem
    uma realidade complexa a uma visão mais simples do
    mundo. Apenas as partes do mundo que são facilmente
    mensuráveis podem ser usadas.

    View Slide

  26. Nem tudo que tem valor pode ser medido
    e codificado e a ética é um exemplo.
    Quanto mais cedo as pessoas deixarem de
    tentar encontrar uma equação precisa
    para "justiça" e começarem a perguntar
    "por que estou construindo essa ferramenta
    em primeiro lugar?". Mais justa e
    atenciosa a sociedade se tornará.
    Abeba Birhane
    Cognitive science PhD student - University College Dublin

    View Slide

  27. Para entender como as tecnologias
    digitais passaram de instrumentos para
    disseminar a democracia a armas para
    atacá-la, é preciso olhar além das
    próprias tecnologias.
    Zeynep Tufekci

    View Slide

  28. Instrumentalismo
    Tecnologia é neutra, submissa aos
    valores estabelecidos e é vista como
    progresso e desenvolvimento.
    Substantivismo
    Tecnologias como forma de exercer
    autoridade no ser humano, sendo
    que a própria tecnologia estabelece
    livremente seu progresso.
    Teoria Crítica da Tecnologia (Feenberg, 2004)
    Entendimento e foco no papel dos indivíduos na apropriação, construção e reconstrução das tecnologias.
    Faz-se necessário o resgate da discussão do desenvolvimento tecnológico do campo técnico e científico para o
    campo político.
    Determinismo
    Redução da capacidade de influência
    social sobre os processos
    tecnológicos.

    View Slide

  29. A opressão algorítmica trata da
    subordinação injusta de um grupo social e
    o privilégio de outro - mantida por uma
    "rede complexa de restrições sociais" que
    vai desde normas sociais, leis, regras
    institucionais, preconceitos implícitos e
    estereótipos.
    opressão algorítmica

    View Slide

  30. O design social da tecnologia concebido a partir da
    colonialidade é racista.
    (Queiroz, 2013)

    View Slide

  31. "Os algoritmos não tornam as coisas justas, eles apenas
    automatizam o status quo".
    Cathy O'Neil (Cientista de Dados)

    View Slide

  32. Nós (profissionais de tecnologia) não somos
    ensinados que tecnologia é política!

    View Slide

  33. Como decolonizar a IA?

    View Slide

  34. "O que é necessário é um campo que exponha e critique
    sistemas que concentram poder, enquanto criamos novos
    sistemas com comunidades impactadas: IA feita por pessoas
    e para as pessoas."
    Pratyusha Kalluri (PhD Computer Science, Stanford)

    View Slide

  35. Diversidade
    1
    Preconceito humano Tecnologia

    View Slide

  36. Quem está desenvolvendo tecnologia?
    Fonte: The Global Gender Gap Report 2020

    View Slide

  37. Pesquisa #QuemCodaBR (2019)
    Fonte: PretaLab e ThoughtWorks

    View Slide

  38. Somos a perifaCode, uma iniciativa
    brasileira que busca o protagonismo
    periférico na TI através do desenvolvimento
    profissional e econômico.
    perifacode.com
    perifaCode

    View Slide

  39. perifaCode
    Aqui reunimos pessoas que
    moram em periferias, favelas e
    guetos do Brasil para criar uma
    rede de apoio para conseguirmos
    vencer as barreiras sociais que
    limitam a entrada ou evolução na
    área de programação.
    perifacode.com

    View Slide

  40. Black In AI
    Grupo internacional para pessoas
    negras que atuam e pesquisam na
    área de Inteligência Artificial.
    blackinai2020.vercel.app

    View Slide

  41. Um framework decolonial ajuda a conectar instâncias de
    opressão algorítmica a contextos sociopolíticos e culturais
    mais amplos, permitindo uma análise geográfica, histórica e
    interseccional ampla de riscos e oportunidades pertencentes a
    sistemas de IA.
    Desenvolvimento técnico ciente do
    contexto
    2

    View Slide

  42. Benjamin (2019) nos pede para reformular a
    solidariedade e reimaginar a justiça, repensando o design
    e desenvolvendo ferramentas abolicionistas que
    reimaginam a tecnologia.
    Desenvolvimento técnico ciente do
    contexto
    2

    View Slide

  43. Decidir o que conta como conhecimento válido, o que é
    incluído em um conjunto de dados e o que é ignorado e não
    questionado, é uma forma de poder mantida pelos
    pesquisadores de IA que não pode ser deixada sem
    reconhecimento.
    Tutela Reverssa
    3

    View Slide

  44. "A pesquisa em estudos pós-coloniais destaca cada vez
    mais o papel essencial que os próprios povos colonizados,
    por meio do ativismo e da organização, tiveram na
    mudança da visão colonial na metrópole"
    (Gopal, 2019; Gandhi, 2006).
    Tutela Reverssa
    3

    View Slide

  45. Inteligência Artificial Explicável é área de pesquisa que
    busca explicar as predições dos modelos de inteligência
    artificial de forma inteligível para seres humanos e pessoas
    não-técnicas dessa área.
    Explicabilidade
    4

    View Slide

  46. Como abrir a caixa opaca?

    View Slide

  47. CAIXA OPACA
    ENTRADA SAÍDA

    View Slide

  48. CAIXA OPACA
    ENTRADA SAÍDA
    ?

    View Slide

  49. Aos poucos, vamos hackeando as
    discriminações algorítmicas e construindo o
    futuro que queremos.

    View Slide

  50. Canal E AI, Carla?
    Nesse canal, eu falo tecnologia, Inteligência Artificial,
    livros, séries, política, discussões de raça e gênero — e
    a relação entre todos esses tópicos.
    youtube.com/eaicarla

    View Slide

  51. Carla Vieira
    youtube.com/eaicarla
    carlavieira.dev
    @carlaprvieira
    [email protected]

    View Slide

  52. Recomendações para
    aprofundamento

    View Slide

  53. Leituras
    ● Mohamed, S., Png, M.-T., & Isaac, W. (2020). Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial
    Intelligence. Philosophy & Technology. doi:10.1007/s13347-020-00405-8
    ● Birhane A. & Guest O. Towards decolonising computational sciences. (2020). Disponível em:
    https://arxiv.org/abs/2009.14258
    ● Assis, W. F. T. (2014). Do colonialismo à colonialidade: expropriação territorial na periferia do capitalismo. Caderno
    CRH, 27(72), 613–627. doi:10.1590/s0103-49792014000300011
    ● Queiroz, P. Ivo. Fanon, O Reconhecimento o Negro e o Novo Humanismo: Horizontes Descoloniais Da Tecnologia.
    (2013). http://repositorio.utfpr.edu.br:8080/jspui/handle/1/492
    ● Ciência, tecnologia e sociedade pelo olhar da Tecnologia Social: um estudo a partir da Teoria Crítica da Tecnologia.
    https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1679-39512014000200009

    View Slide

  54. Newsletter: Desvelar
    A newsletter da Desvelar envia, semanalmente,
    conteúdos, notícias, chamadas e indicações de
    pesquisadores sobre sociedade e tecnologia.
    https://tarciziosilva.com.br/blog/newsletter/

    View Slide

  55. Documentário: Coded Bias
    Em Coded Bias, quando a pesquisadora do MIT Media Lab,
    Joy Buolamwini, descobre que a maioria dos softwares de
    reconhecimento facial não identifica com precisão os
    rostos de pele mais escura e os rostos das mulheres, ela
    investiga uma investigação do viés generalizado dos
    algoritmos.
    Watch Coded Bias Online

    View Slide

  56. Race After Technology
    Ruha Benjamin
    O livro de Benjamin dialoga com essa ideia de novas formas
    de segregação que perpetuam o racismo. O conceito de
    “novo Jim Code” defende que cotidianamente estamos
    usando novas tecnologias que refletem e reproduzem
    desigualdades. Como no passado o racismo se manifestava
    de formas que parecem mais explícitas e como tecnologias
    são vistas como “neutras”, frequentemente ignoramos a
    influência da tecnologia em questões raciais.

    View Slide

  57. Weapons of Math Destruction
    Cathy O'Neil
    O'Neil usa o termo "arma de destruição matemática" para
    descrever as características dos piores tipos de modelos
    matemáticos.
    Ao longo do livro O'Neil comenta sobre uma variedade de
    sistemas e modelos matemáticos que impactam a vida de
    um grande número de pessoas enquanto elas tentam ir à
    faculdade, fazer empréstimos, são condenadas à prisão, e
    tentam encontrar ou manter um emprego.

    View Slide

  58. Comunidades, Algoritmos e
    Ativismos Digitais
    Tarcízio Silva
    O livro “Comunidades, Algoritmos e Ativismos Digitais:
    olhares afrodiaspóricos” busca combater uma lacuna na
    academia brasileira: reflexões sobre a relação entre raça,
    racismo, negritude e branquitude com as tecnologias
    digitais como algoritmos, mídias sociais e comunidades
    online.

    View Slide

  59. (Des)Inteligência Artificial
    Meredith Broussard
    Meredith Broussard argumenta que nosso entusiasmo
    coletivo para aplicar tecnologia em todos os aspectos da vida
    resultou em uma quantidade enorme de sistemas mal
    projetados. Com este livro, ela oferece um guia para
    compreender o funcionamento interno e os limites externos
    da tecnologia - e emite um aviso de que nunca devemos
    presumir que os computadores sempre acertam as coisas.

    View Slide