Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça

Carla Vieira
November 17, 2020

Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça

Apresentação no WIT - CSBC 2020

Carla Vieira

November 17, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Research

Transcript

  1. Algoritmos de
    Opressão
    Carla Vieira
    Como algoritmos de inteligência artificial
    ampliam desigualdades de gênero e raça

    View full-size slide

  2. Engenheira de Software na Loggi, mestranda em
    Inteligência Artificial (EACH-USP) e Google
    Developer Expert in Machine Learning.
    Co-organizadora da perifaCode.
    [email protected] | carlavieira.dev
    Carla Vieira

    View full-size slide

  3. viés
    dados
    privacidade legislação
    ética

    View full-size slide

  4. COMPAS Software e
    cálculo de reincidência:
    caso de racismo
    algorítmico
    (2016)

    View full-size slide

  5. Algoritmos tendiam a
    classificar
    erroneamente homens
    como se fossem
    mulheres quando eles
    estavam na cozinha.
    (2018)
    Figura do resultado do algoritmo retirado do artigo: Men Also Like Shopping: Reducing Gender
    Bias Amplification using Corpus-level Constraints

    View full-size slide

  6. Estudo Gender Shades
    (2018)

    View full-size slide

  7. Ferramenta de
    recrutamento da
    Amazon com AI
    discriminava
    candidatas mulheres
    (2018)

    View full-size slide

  8. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)

    View full-size slide

  9. Pesquisa em
    tecnologias de
    Reconhecimento Facial
    (2019)
    Joy Buolamwini
    Founder Algorithmic
    Justice League
    Deb Raji
    AI Now Institute
    Actionable Auditing: Investigating
    the Impact of Publicly Naming Biased
    Performance Results of Commercial
    AI Products
    https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact
    -of-publicly-naming-biased-performance-results-of-commercial-ai-products/

    View full-size slide

  10. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)

    View full-size slide

  11. Preconceito humano Tecnologia
    Mas, como isso acontece?

    View full-size slide

  12. “A culpa não é do algoritmo, os dados é que
    estão enviesados”

    View full-size slide

  13. “Algoritmos são matemática. A matemática é
    neutra....”

    View full-size slide

  14. Existem decisões humanas que são delegadas em algoritmos. É o que se
    denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o
    algoritmo decidiu". É uma maneira de fugir da responsabilidade.
    mathwashing
    Fred Benenson

    View full-size slide

  15. Um dos principais argumentos do livro é que
    sofremos de "tecnochauvinism" ou a crença de
    que mais “tecnologia” é sempre a solução.
    tecnochauvinismo

    View full-size slide

  16. Algoritmos conseguem fazer análises
    subjetivas?

    View full-size slide

  17. O que determina se um algoritmo é justo
    quando o que está em jogo é uma sentença
    criminal?

    View full-size slide

  18. Para entender como as tecnologias
    digitais passaram de instrumentos para
    disseminar a democracia a armas para
    atacá-la, é preciso olhar além das
    próprias tecnologias.
    Zeynep Tufekci

    View full-size slide

  19. Nem tudo que tem valor pode ser medido
    e codificado e a ética é um exemplo.
    Quanto mais cedo as pessoas deixarem de
    tentar encontrar uma equação precisa
    para "justiça" e começarem a perguntar
    "por que estou construindo essa ferramenta
    em primeiro lugar?". Mais justa e
    atenciosa a sociedade se tornará.
    Abeba Birhane
    Cognitive science PhD student - University College Dublin

    View full-size slide

  20. Nós (profissionais de tecnologia) não somos
    ensinados que tecnologia é política!

    View full-size slide

  21. Como evitar o viés?

    View full-size slide

  22. Preconceito humano Tecnologia
    Diversidade

    View full-size slide

  23. Quem está desenvolvendo tecnologia?
    Fonte: The Global Gender Gap Report 2020

    View full-size slide

  24. Pesquisa #QuemCodaBR (2019)
    Fonte: PretaLab e ThoughtWorks

    View full-size slide

  25. Somos a perifaCode, uma iniciativa
    brasileira que busca o protagonismo
    periférico na TI através do desenvolvimento
    profissional e econômico.
    perifacode.com
    perifaCode

    View full-size slide

  26. perifaCode
    Aqui reunimos pessoas que
    moram em periferias, favelas e
    guetos do Brasil para criar uma
    rede de apoio para conseguirmos
    vencer as barreiras sociais que
    limitam a entrada ou evolução na
    área de programação.
    perifacode.com

    View full-size slide

  27. Black In AI
    Grupo internacional para pessoas
    negras que atuam e pesquisam na
    área de Inteligência Artificial.
    blackinai2020.vercel.app

    View full-size slide

  28. Pesquisa em Explicabilidade

    View full-size slide

  29. CAIXA OPACA
    ENTRADA SAÍDA

    View full-size slide

  30. CAIXA OPACA
    ENTRADA SAÍDA
    ?

    View full-size slide

  31. Modelos interpretáveis Modelos opacos
    Modelos como redes neurais que fornecem grande
    precisão. O funcionamento interno desses modelos é mais
    difícil de entender e não são inerentemente explicáveis.
    Modelos mais simples, baseados em regras, fornecem
    menos capacidade preditiva e nem sempre são capazes de
    modelar problemas complexos.
    Árvores de decisão, regressão linear etc. Redes Neurais, SVM, Random Forest

    View full-size slide

  32. Como abrir a caixa opaca?

    View full-size slide

  33. Como abrir a caixa opaca?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás
    de cada decisão
    TRANSPARÊNCIA

    View full-size slide

  34. Dados de
    treinamento
    Modelo de
    Aprendizado
    de Máquina
    Usuário
    Decisão ou
    recomendação
    - Por que o modelo fez essa predição?
    - Quando o modelo falha?
    - Quando o modelo tem sucesso?
    - Quando posso confiar?
    - Como posso corrigir um erro?
    HOJE
    Dados de
    treinamento
    Modelo de
    Aprendizado
    de Máquina
    Usuário
    - Eu entendo o porquê
    - Eu sei quando pode falhar
    - Eu sei quando pode funcionar
    - Eu sei quando posso confiar
    - Eu sei como corrigir erros
    XAI
    Modelo
    Explicável
    Explicações

    View full-size slide

  35. Compreender os limites dos algoritmos ajudará você a julgar seus
    julgamentos. Por sua própria definição, dados e algoritmos reduzem
    uma realidade complexa a uma visão mais simples do mundo. Apenas
    as partes do mundo que são facilmente mensuráveis podem ser
    usadas.
    Pense criticamente

    View full-size slide

  36. “Qualquer tecnologia que criamos reflete tanto nossas
    aspirações quanto nossas limitações. Se formos limitados
    na hora de pensar em inclusão, isso vai ser refletido e
    incorporado na tecnologia que criamos”.
    Joy Buolamwini

    View full-size slide

  37. Aos poucos, vamos hackeando as
    discriminações algorítmicas e construindo o
    futuro que queremos.

    View full-size slide

  38. Canal E AI, Carla?
    Nesse canal, eu falo tecnologia, Inteligência Artificial,
    livros, séries, política, discussões de raça e gênero — e
    a relação entre todos esses tópicos.
    youtube.com/eaicarla

    View full-size slide

  39. Carla Vieira
    youtube.com/eaicarla
    carlavieira.dev
    @carlaprvieira
    [email protected]

    View full-size slide

  40. Recomendações para
    aprofundamento

    View full-size slide

  41. Inteligência Artificial e Vieses
    Algorítmicos
    Debate sobre Inteligência Artificial Explicável
    (minha pesquisa de mestrado) e exemplo de
    aplicação na área de Dados da Loggi
    https://partiu.loggi.com/intelig%C3%AAncia-artificial-e-vie
    ses-algor%C3%ADtmicos-992ee4786ca

    View full-size slide

  42. Newsletter: Desvelar
    A newsletter da Desvelar envia, semanalmente,
    conteúdos, notícias, chamadas e indicações de
    pesquisadores sobre sociedade e tecnologia.
    https://tarciziosilva.com.br/blog/newsletter/

    View full-size slide

  43. Documentário: Coded Bias
    Em Coded Bias, quando a pesquisadora do MIT Media Lab,
    Joy Buolamwini, descobre que a maioria dos softwares de
    reconhecimento facial não identifica com precisão os
    rostos de pele mais escura e os rostos das mulheres, ela
    investiga uma investigação do viés generalizado dos
    algoritmos.
    Watch Coded Bias Online

    View full-size slide

  44. Race After Technology
    Ruha Benjamin
    O livro de Benjamin dialoga com essa ideia de novas formas
    de segregação que perpetuam o racismo. O conceito de
    “novo Jim Code” defende que cotidianamente estamos
    usando novas tecnologias que refletem e reproduzem
    desigualdades. Como no passado o racismo se manifestava
    de formas que parecem mais explícitas e como tecnologias
    são vistas como “neutras”, frequentemente ignoramos a
    influência da tecnologia em questões raciais.

    View full-size slide

  45. Weapons of Math Destruction
    Cathy O'Neil
    O'Neil usa o termo "arma de destruição matemática" para
    descrever as características dos piores tipos de modelos
    matemáticos.
    Ao longo do livro O'Neil comenta sobre uma variedade de
    sistemas e modelos matemáticos que impactam a vida de
    um grande número de pessoas enquanto elas tentam ir à
    faculdade, fazer empréstimos, são condenadas à prisão, e
    tentam encontrar ou manter um emprego.

    View full-size slide

  46. Comunidades, Algoritmos e
    Ativismos Digitais
    Tarcízio Silva
    O livro “Comunidades, Algoritmos e Ativismos Digitais:
    olhares afrodiaspóricos” busca combater uma lacuna na
    academia brasileira: reflexões sobre a relação entre raça,
    racismo, negritude e branquitude com as tecnologias
    digitais como algoritmos, mídias sociais e comunidades
    online.

    View full-size slide

  47. (Des)Inteligência Artificial
    Meredith Broussard
    Meredith Broussard argumenta que nosso entusiasmo
    coletivo para aplicar tecnologia em todos os aspectos da vida
    resultou em uma quantidade enorme de sistemas mal
    projetados. Com este livro, ela oferece um guia para
    compreender o funcionamento interno e os limites externos
    da tecnologia - e emite um aviso de que nunca devemos
    presumir que os computadores sempre acertam as coisas.

    View full-size slide