Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Empatia, ética, algoritmos e o futuro

Carla Vieira
November 02, 2020

Empatia, ética, algoritmos e o futuro

Carla Vieira

November 02, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Technology

Transcript

  1. Empatia, ética,
    algoritmos e o futuro
    Carla Vieira
    @carlaprvieira | [email protected]

    View full-size slide

  2. Engenheira de Software, mestranda em Inteligência
    Artificial e Google Developer Expert in Machine
    Learning. Co-organizadora da perifaCode.
    [email protected] | carlavieira.dev
    Carla Vieira

    View full-size slide

  3. Parte da filosofia responsável pela investigação dos
    princípios que motivam, distorcem, disciplinam ou
    orientam o comportamento humano, refletindo a respeito
    da essência das normas e valores presentes em qualquer
    realidade social.
    ética

    View full-size slide

  4. Fonte: ProPublica

    View full-size slide

  5. Fonte: ProPublica

    View full-size slide

  6. Se fosse você solicitado para você criar a funcionalidade
    que permite segmentar públicos de anúncios baseado na
    raça dos usuários e com potencial de, por exemplo,
    excluir pessoas negras dentro da rede: O que você faria?

    View full-size slide

  7. 1Entenda os piores cenários em
    que seu produto está inserido!

    View full-size slide

  8. 2Desenhe todos os tipos de
    personas, inclusive as antiéticas,
    racistas ou machistas

    View full-size slide

  9. 3Para entender como as tecnologias
    digitais passaram de instrumentos para
    disseminar a democracia a armas para
    atacá-la, é preciso olhar além das
    próprias tecnologias.
    Zeynep Tufekci

    View full-size slide

  10. "Esta visão nos convida a examinar a prática científica para
    colocar as necessidades das populações marginalizadas no
    centro do processo de pesquisa e perguntar de onde vem o
    conhecimento - quem é incluído e deixado de fora, em cujo
    interesse está a ciência aplicada, quem é silenciado e quais
    suposições não reconhecidas podem estar em jogo".
    (McDowell e Chinchilla, 2016)
    decolonização

    View full-size slide

  11. COMPAS Software e
    cálculo de reincidência:
    caso de racismo
    algorítmico
    (2016)

    View full-size slide

  12. COMPAS Software e
    cálculo de
    reincidência: caso de
    racismo algorítmico
    (2016)

    View full-size slide

  13. Algoritmos tendiam a
    classificar
    erroneamente homens
    como se fossem
    mulheres quando eles
    estavam na cozinha.
    (2018)
    Figura do resultado do algoritmo retirado do artigo: Men Also Like Shopping: Reducing Gender
    Bias Amplification using Corpus-level Constraints

    View full-size slide

  14. RECRUTAMENTO CONCLUÍDO!

    View full-size slide

  15. Ferramenta de
    recrutamento da
    Amazon com AI
    discriminava
    candidatas mulheres
    (2018)

    View full-size slide

  16. Racismo algorítmico
    em modelos preditivos
    na saúde
    (2019)

    View full-size slide

  17. Estudo Gender Shades
    (2018)

    View full-size slide

  18. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)

    View full-size slide

  19. Desenvolvedor cria
    ferramenta que reforça
    racismo algorítmico
    (2020)
    https://altdeep.substack.com/p/two-things-you-might-have-missed

    View full-size slide

  20. 3Reconhecer o papel da tecnologia das
    dinâmicas de poder que moldaram a
    sociedade (colonialismo, escravidão)
    é também encerrar projetos...

    View full-size slide

  21. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)

    View full-size slide

  22. MIT remove dataset
    por racismo e sexismo
    (2020)
    https://www.theregister.com/2020/07/01/mit_dataset_removed/

    View full-size slide

  23. 4"Quando acreditamos que tecnologia e IA são neutras,
    falhamos em perceber dados tendenciosos e criamos sistemas
    que automatizam o status quo e promovem os interesses dos
    poderosos."
    Pratyusha Kalluri (PhD Computer Science, Stanford)

    View full-size slide

  24. 4"O que é necessário é um campo que exponha e critique
    sistemas que concentram poder, enquanto criamos novos
    sistemas com comunidades impactadas: IA feita por pessoas e
    para as pessoas."
    Pratyusha Kalluri (PhD Computer Science, Stanford)

    View full-size slide

  25. 5O código que nós criamos afeta
    vidas reais

    View full-size slide

  26. “Ninguém teve a intenção de criar uma
    ferramenta racista”

    View full-size slide

  27. Preconceito humano Tecnologia

    View full-size slide

  28. Quem está desenvolvendo tecnologia?
    Fonte: The Global Gender Gap Report 2020

    View full-size slide

  29. Pesquisa #QuemCodaBR (2019)
    Fonte: PretaLab e ThoughtWorks

    View full-size slide

  30. “Algoritmos são matemática. A matemática é
    neutra....”

    View full-size slide

  31. Existem decisões humanas que são delegadas em algoritmos. É o que se
    denominou mathwashing. É a desculpa de "não fui eu quem decidiu, o
    algoritmo decidiu". É uma maneira de fugir da responsabilidade.
    mathwashing
    Fred Benenson

    View full-size slide

  32. Um dos principais argumentos do livro é que
    sofremos de "tecnochauvinism" ou a crença de
    que mais “tecnologia” é sempre a solução.
    tecnochauvinismo

    View full-size slide

  33. Algoritmos conseguem fazer análises
    subjetivas?

    View full-size slide

  34. O que determina se um algoritmo é justo
    quando o que está em jogo é uma sentença
    criminal?

    View full-size slide

  35. Compreender os limites dos algoritmos ajudará você a julgar seus
    julgamentos. Por sua própria definição, dados e algoritmos reduzem
    uma realidade complexa a uma visão mais simples do mundo. Apenas
    as partes do mundo que são facilmente mensuráveis podem ser
    usadas.
    Pense criticamente

    View full-size slide

  36. Nem tudo que tem valor pode ser medido
    e codificado e a ética é um exemplo.
    Quanto mais cedo as pessoas deixarem de
    tentar encontrar uma equação precisa
    para "justiça" e começarem a perguntar
    "por que estou construindo essa ferramenta
    em primeiro lugar?". Mais justa e
    atenciosa a sociedade se tornará.
    Abeba Birhane
    Cognitive science PhD student - University College Dublin

    View full-size slide

  37. Nós (profissionais de tecnologia) não somos
    ensinados que tecnologia é política!

    View full-size slide

  38. “Qualquer tecnologia que criamos reflete tanto nossas
    aspirações quanto nossas limitações. Se formos limitados
    na hora de pensar em inclusão, isso vai ser refletido e
    incorporado na tecnologia que criamos”.
    Joy Buolamwini

    View full-size slide

  39. Aos poucos, vamos hackeando as
    discriminações algorítmicas e construindo o
    futuro que queremos.

    View full-size slide

  40. Canal E AI, Carla?
    Nesse canal, eu falo tecnologia, Inteligência Artificial,
    livros, séries, política, discussões de raça e gênero — e
    a relação entre todos esses tópicos.
    youtube.com/eaicarla

    View full-size slide

  41. Carla Vieira
    youtube.com/eaicarla
    carlavieira.dev | @carlaprvieira (instagram/twitter)
    [email protected]

    View full-size slide

  42. Newsletter: Desvelar
    A newsletter da Desvelar envia, semanalmente,
    conteúdos, notícias, chamadas e indicações de
    pesquisadores sobre sociedade e tecnologia.
    https://tarciziosilva.com.br/blog/newsletter/

    View full-size slide

  43. Documentário: Coded Bias
    Em Coded Bias, quando a pesquisadora do MIT Media Lab,
    Joy Buolamwini, descobre que a maioria dos softwares de
    reconhecimento facial não identifica com precisão os
    rostos de pele mais escura e os rostos das mulheres, ela
    investiga uma investigação do viés generalizado dos
    algoritmos.
    Watch Coded Bias Online

    View full-size slide

  44. Race After Technology
    Ruha Benjamin
    O livro de Benjamin dialoga com essa ideia de novas formas
    de segregação que perpetuam o racismo. O conceito de
    “novo Jim Code” defende que cotidianamente estamos
    usando novas tecnologias que refletem e reproduzem
    desigualdades. Como no passado o racismo se manifestava
    de formas que parecem mais explícitas e como tecnologias
    são vistas como “neutras”, frequentemente ignoramos a
    influência da tecnologia em questões raciais.

    View full-size slide

  45. Weapons of Math Destruction
    Cathy O'Neil
    O'Neil usa o termo "arma de destruição matemática" para
    descrever as características dos piores tipos de modelos
    matemáticos.
    Ao longo do livro O'Neil comenta sobre uma variedade de
    sistemas e modelos matemáticos que impactam a vida de
    um grande número de pessoas enquanto elas tentam ir à
    faculdade, fazer empréstimos, são condenadas à prisão, e
    tentam encontrar ou manter um emprego.

    View full-size slide

  46. Comunidades, Algoritmos e
    Ativismos Digitais
    Tarcízio Silva
    O livro “Comunidades, Algoritmos e Ativismos Digitais:
    olhares afrodiaspóricos” busca combater uma lacuna na
    academia brasileira: reflexões sobre a relação entre raça,
    racismo, negritude e branquitude com as tecnologias
    digitais como algoritmos, mídias sociais e comunidades
    online.

    View full-size slide

  47. (Des)Inteligência Artificial
    Meredith Broussard
    Meredith Broussard argumenta que nosso entusiasmo
    coletivo para aplicar tecnologia em todos os aspectos da vida
    resultou em uma quantidade enorme de sistemas mal
    projetados. Com este livro, ela oferece um guia para
    compreender o funcionamento interno e os limites externos
    da tecnologia - e emite um aviso de que nunca devemos
    presumir que os computadores sempre acertam as coisas.

    View full-size slide