Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça

Carla Vieira
November 17, 2020

Como algoritmos de inteligência artificial ampliam desigualdades de gênero e raça

Apresentação no WIT - CSBC 2020

Carla Vieira

November 17, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Research

Transcript

  1. Algoritmos de
    Opressão
    Carla Vieira
    Como algoritmos de inteligência artificial
    ampliam desigualdades de gênero e raça

    View Slide

  2. Engenheira de Software na Loggi, mestranda em
    Inteligência Artificial (EACH-USP) e Google
    Developer Expert in Machine Learning.
    Co-organizadora da perifaCode.
    [email protected] | carlavieira.dev
    Carla Vieira

    View Slide

  3. ?

    View Slide

  4. View Slide

  5. View Slide

  6. View Slide

  7. ?

    View Slide

  8. viés
    dados
    privacidade legislação
    ética

    View Slide

  9. COMPAS Software e
    cálculo de reincidência:
    caso de racismo
    algorítmico
    (2016)

    View Slide

  10. Algoritmos tendiam a
    classificar
    erroneamente homens
    como se fossem
    mulheres quando eles
    estavam na cozinha.
    (2018)
    Figura do resultado do algoritmo retirado do artigo: Men Also Like Shopping: Reducing Gender
    Bias Amplification using Corpus-level Constraints

    View Slide

  11. Estudo Gender Shades
    (2018)

    View Slide

  12. Ferramenta de
    recrutamento da
    Amazon com AI
    discriminava
    candidatas mulheres
    (2018)

    View Slide

  13. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)

    View Slide

  14. Pesquisa em
    tecnologias de
    Reconhecimento Facial
    (2019)
    Joy Buolamwini
    Founder Algorithmic
    Justice League
    Deb Raji
    AI Now Institute
    Actionable Auditing: Investigating
    the Impact of Publicly Naming Biased
    Performance Results of Commercial
    AI Products
    https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact
    -of-publicly-naming-biased-performance-results-of-commercial-ai-products/

    View Slide

  15. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)

    View Slide

  16. Preconceito humano Tecnologia
    Mas, como isso acontece?

    View Slide

  17. “A culpa não é do algoritmo, os dados é que
    estão enviesados”

    View Slide

  18. “Algoritmos são matemática. A matemática é
    neutra....”

    View Slide

  19. Existem decisões humanas que são delegadas em algoritmos. É o que se
    denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o
    algoritmo decidiu". É uma maneira de fugir da responsabilidade.
    mathwashing
    Fred Benenson

    View Slide

  20. View Slide

  21. View Slide

  22. Um dos principais argumentos do livro é que
    sofremos de "tecnochauvinism" ou a crença de
    que mais “tecnologia” é sempre a solução.
    tecnochauvinismo

    View Slide

  23. Algoritmos conseguem fazer análises
    subjetivas?

    View Slide

  24. O que determina se um algoritmo é justo
    quando o que está em jogo é uma sentença
    criminal?

    View Slide

  25. Para entender como as tecnologias
    digitais passaram de instrumentos para
    disseminar a democracia a armas para
    atacá-la, é preciso olhar além das
    próprias tecnologias.
    Zeynep Tufekci

    View Slide

  26. Nem tudo que tem valor pode ser medido
    e codificado e a ética é um exemplo.
    Quanto mais cedo as pessoas deixarem de
    tentar encontrar uma equação precisa
    para "justiça" e começarem a perguntar
    "por que estou construindo essa ferramenta
    em primeiro lugar?". Mais justa e
    atenciosa a sociedade se tornará.
    Abeba Birhane
    Cognitive science PhD student - University College Dublin

    View Slide

  27. Nós (profissionais de tecnologia) não somos
    ensinados que tecnologia é política!

    View Slide

  28. Como evitar o viés?

    View Slide

  29. Preconceito humano Tecnologia
    Diversidade

    View Slide

  30. Quem está desenvolvendo tecnologia?
    Fonte: The Global Gender Gap Report 2020

    View Slide

  31. Pesquisa #QuemCodaBR (2019)
    Fonte: PretaLab e ThoughtWorks

    View Slide

  32. Somos a perifaCode, uma iniciativa
    brasileira que busca o protagonismo
    periférico na TI através do desenvolvimento
    profissional e econômico.
    perifacode.com
    perifaCode

    View Slide

  33. perifaCode
    Aqui reunimos pessoas que
    moram em periferias, favelas e
    guetos do Brasil para criar uma
    rede de apoio para conseguirmos
    vencer as barreiras sociais que
    limitam a entrada ou evolução na
    área de programação.
    perifacode.com

    View Slide

  34. Black In AI
    Grupo internacional para pessoas
    negras que atuam e pesquisam na
    área de Inteligência Artificial.
    blackinai2020.vercel.app

    View Slide

  35. Pesquisa em Explicabilidade

    View Slide

  36. CAIXA OPACA
    ENTRADA SAÍDA

    View Slide

  37. CAIXA OPACA
    ENTRADA SAÍDA
    ?

    View Slide

  38. Modelos interpretáveis Modelos opacos
    Modelos como redes neurais que fornecem grande
    precisão. O funcionamento interno desses modelos é mais
    difícil de entender e não são inerentemente explicáveis.
    Modelos mais simples, baseados em regras, fornecem
    menos capacidade preditiva e nem sempre são capazes de
    modelar problemas complexos.
    Árvores de decisão, regressão linear etc. Redes Neurais, SVM, Random Forest

    View Slide

  39. Como abrir a caixa opaca?

    View Slide

  40. Como abrir a caixa opaca?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás
    de cada decisão
    TRANSPARÊNCIA

    View Slide

  41. Dados de
    treinamento
    Modelo de
    Aprendizado
    de Máquina
    Usuário
    Decisão ou
    recomendação
    - Por que o modelo fez essa predição?
    - Quando o modelo falha?
    - Quando o modelo tem sucesso?
    - Quando posso confiar?
    - Como posso corrigir um erro?
    HOJE
    Dados de
    treinamento
    Modelo de
    Aprendizado
    de Máquina
    Usuário
    - Eu entendo o porquê
    - Eu sei quando pode falhar
    - Eu sei quando pode funcionar
    - Eu sei quando posso confiar
    - Eu sei como corrigir erros
    XAI
    Modelo
    Explicável
    Explicações

    View Slide

  42. Compreender os limites dos algoritmos ajudará você a julgar seus
    julgamentos. Por sua própria definição, dados e algoritmos reduzem
    uma realidade complexa a uma visão mais simples do mundo. Apenas
    as partes do mundo que são facilmente mensuráveis podem ser
    usadas.
    Pense criticamente

    View Slide

  43. “Qualquer tecnologia que criamos reflete tanto nossas
    aspirações quanto nossas limitações. Se formos limitados
    na hora de pensar em inclusão, isso vai ser refletido e
    incorporado na tecnologia que criamos”.
    Joy Buolamwini

    View Slide

  44. Aos poucos, vamos hackeando as
    discriminações algorítmicas e construindo o
    futuro que queremos.

    View Slide

  45. Canal E AI, Carla?
    Nesse canal, eu falo tecnologia, Inteligência Artificial,
    livros, séries, política, discussões de raça e gênero — e
    a relação entre todos esses tópicos.
    youtube.com/eaicarla

    View Slide

  46. Carla Vieira
    youtube.com/eaicarla
    carlavieira.dev
    @carlaprvieira
    [email protected]

    View Slide

  47. Recomendações para
    aprofundamento

    View Slide

  48. Inteligência Artificial e Vieses
    Algorítmicos
    Debate sobre Inteligência Artificial Explicável
    (minha pesquisa de mestrado) e exemplo de
    aplicação na área de Dados da Loggi
    https://partiu.loggi.com/intelig%C3%AAncia-artificial-e-vie
    ses-algor%C3%ADtmicos-992ee4786ca

    View Slide

  49. Newsletter: Desvelar
    A newsletter da Desvelar envia, semanalmente,
    conteúdos, notícias, chamadas e indicações de
    pesquisadores sobre sociedade e tecnologia.
    https://tarciziosilva.com.br/blog/newsletter/

    View Slide

  50. Documentário: Coded Bias
    Em Coded Bias, quando a pesquisadora do MIT Media Lab,
    Joy Buolamwini, descobre que a maioria dos softwares de
    reconhecimento facial não identifica com precisão os
    rostos de pele mais escura e os rostos das mulheres, ela
    investiga uma investigação do viés generalizado dos
    algoritmos.
    Watch Coded Bias Online

    View Slide

  51. Race After Technology
    Ruha Benjamin
    O livro de Benjamin dialoga com essa ideia de novas formas
    de segregação que perpetuam o racismo. O conceito de
    “novo Jim Code” defende que cotidianamente estamos
    usando novas tecnologias que refletem e reproduzem
    desigualdades. Como no passado o racismo se manifestava
    de formas que parecem mais explícitas e como tecnologias
    são vistas como “neutras”, frequentemente ignoramos a
    influência da tecnologia em questões raciais.

    View Slide

  52. Weapons of Math Destruction
    Cathy O'Neil
    O'Neil usa o termo "arma de destruição matemática" para
    descrever as características dos piores tipos de modelos
    matemáticos.
    Ao longo do livro O'Neil comenta sobre uma variedade de
    sistemas e modelos matemáticos que impactam a vida de
    um grande número de pessoas enquanto elas tentam ir à
    faculdade, fazer empréstimos, são condenadas à prisão, e
    tentam encontrar ou manter um emprego.

    View Slide

  53. Comunidades, Algoritmos e
    Ativismos Digitais
    Tarcízio Silva
    O livro “Comunidades, Algoritmos e Ativismos Digitais:
    olhares afrodiaspóricos” busca combater uma lacuna na
    academia brasileira: reflexões sobre a relação entre raça,
    racismo, negritude e branquitude com as tecnologias
    digitais como algoritmos, mídias sociais e comunidades
    online.

    View Slide

  54. (Des)Inteligência Artificial
    Meredith Broussard
    Meredith Broussard argumenta que nosso entusiasmo
    coletivo para aplicar tecnologia em todos os aspectos da vida
    resultou em uma quantidade enorme de sistemas mal
    projetados. Com este livro, ela oferece um guia para
    compreender o funcionamento interno e os limites externos
    da tecnologia - e emite um aviso de que nunca devemos
    presumir que os computadores sempre acertam as coisas.

    View Slide