$30 off During Our Annual Pro Sale. View Details »

Big Data e Math Washing

Carla Vieira
October 07, 2020

Big Data e Math Washing

Os algoritmos são criados para automatizar decisões e facilitar a vida das pessoas, mas as programações podem dar escala a comportamentos indesejáveis como racismo, misoginia e homofobia. Algoritmos captam preferências dos usuários e podem captar preferências políticas. Podemos perpetuar preconceitos partindo da premissa ingênua de que a matemática é neutra, isentando quem dela se beneficia da responsabilidade, como um mathwhasing. A programação pode ser responsável pelo preconceito embutido nos resultados?

Carla Vieira

October 07, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Research

Transcript

  1. Big Data e
    Mathwashing
    Carla Vieira
    MAC0485 - Implicações Sociais da Computação

    View Slide

  2. Engenheira de Software (python <3), mestranda em
    Inteligência Artificial e Google Developer Expert in
    Machine Learning. Co-organizadora da perifaCode.
    [email protected] | carlavieira.dev
    Carla Vieira

    View Slide

  3. ?

    View Slide

  4. View Slide

  5. View Slide

  6. View Slide

  7. ?

    View Slide

  8. viés
    dados
    privacidade legislação
    ética

    View Slide

  9. COMPAS Software e
    cálculo de reincidência:
    caso de racismo
    algorítmico
    (2016)

    View Slide

  10. COMPAS Software e
    cálculo de
    reincidência: caso de
    racismo algorítmico
    (2016)

    View Slide

  11. Estudo Gender Shades
    (2018)

    View Slide

  12. Ferramenta de
    recrutamento da
    Amazon com AI
    discriminava
    candidatas mulheres
    (2018)

    View Slide

  13. Racismo algorítmico
    em modelos preditivos
    na saúde
    (2019)

    View Slide

  14. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)

    View Slide

  15. Pesquisa em
    tecnologias de
    Reconhecimento Facial
    (2019)
    Joy Buolamwini
    Founder Algorithmic
    Justice League
    Deb Raji
    AI Now Institute
    Actionable Auditing: Investigating
    the Impact of Publicly Naming Biased
    Performance Results of Commercial
    AI Products
    https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact
    -of-publicly-naming-biased-performance-results-of-commercial-ai-products/

    View Slide

  16. Homem acusado de
    forma injusta por um
    algoritmo
    (2020)

    View Slide

  17. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)

    View Slide

  18. Desenvolvedor cria
    ferramenta que reforça
    racismo algorítmico
    (2020)
    https://altdeep.substack.com/p/two-things-you-might-have-missed

    View Slide

  19. MIT remove dataset
    por racismo e sexismo
    (2020)
    https://www.theregister.com/2020/07/01/mit_dataset_removed/

    View Slide

  20. Algoritmos de
    Reconhecimento Facial
    em recrutamento
    (2020)
    https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-incre
    asingly-decides-whether-you-deserve-job/

    View Slide

  21. Preconceito humano Tecnologia
    Mas, como isso acontece?

    View Slide

  22. Mas, como isso acontece?
    Viés de seleção

    View Slide

  23. Mas, como isso acontece?

    View Slide

  24. Mas, como isso acontece?
    Viés de sobrevivência

    View Slide

  25. Mas, como isso acontece?
    Causa e efeito
    Só porque (A) acontece juntamente com (B) não significa que (A) causa (B).

    View Slide

  26. Mas, como isso acontece?
    Causa e efeito
    1. (A) causa realmente (B);
    2. (B) pode ser a causa de (A);
    3. Um terceiro fator (C) pode ser causa tanto de (A) como de (B);
    4. Pode ser uma combinação das três situações anteriores. Por exemplo, (A) causa
    (B) e ao mesmo tempo (B) causa também (A);
    5. A correlação pode ser apenas uma coincidência, ou seja, os dois eventos não têm
    qualquer relação.

    View Slide

  27. Mas, como isso acontece?
    Causa e efeito
    Fonte: Spurious Correlations

    View Slide

  28. “Correlation is not causation.”

    View Slide

  29. “A correlação é suficiente.” Podemos parar de procurar modelos.
    Podemos analisar os dados sem hipóteses sobre o que eles podem
    mostrar. Podemos (...) permitir que algoritmos estatísticos encontrem
    padrões onde a ciência não consegue.
    Chris Anderson

    View Slide

  30. Essas visões grandiosas sugerem uma falha em compreender os limites da
    computação força bruta. Embora seja possível detectar correlações úteis aplicando
    poder de computação a big data, por si só as correlações não podem responder a
    perguntas sobre a eficácia das intervenções nem podem explicar os mecanismos
    causais subjacentes, cujo conhecimento é frequentemente crítico para a tomada de
    decisões (...). Para abordar essas questões, precisamos considerar a causalidade, e
    isso não é uma questão de força bruta.
    Nick Barrowman

    View Slide

  31. ALGORITMO
    CAIXA PRETA
    ENTRADA SAÍDA
    vieses vieses

    View Slide

  32. “A culpa não é do algoritmo, os dados é que
    estão enviesados”

    View Slide

  33. “Algoritmos são matemática. A matemática é
    neutra....”

    View Slide

  34. Existem decisões humanas que são delegadas em
    algoritmos. É o que se denominou mathwashing.
    É a desculpa de "não fui eu quem decidiu, o
    algoritmo decidiu". É uma maneira de fugir da
    responsabilidade.
    mathwashing
    Fred Benenson

    View Slide

  35. View Slide

  36. View Slide

  37. View Slide

  38. Um dos principais argumentos do livro é que
    sofremos de "tecnochauvinism" ou a crença de
    que mais “tecnologia” é sempre a solução.
    tecnochauvinismo

    View Slide

  39. View Slide

  40. Afirma que mesmo a matemática de números inteiros não
    pode provar sua própria consistência. Na matemática,
    existem axiomas, que são um nome bonito para obviedades.
    Axiomas são como as regras do xadrez. Não precisam de prova.
    A matemática aceita os axiomas como verdades de antemão, e
    se constrói em cima deles.
    Teorema da incompletude de Gödel
    Kurt Gödel

    View Slide

  41. View Slide

  42. Algoritmos conseguem fazer análises
    subjetivas?

    View Slide

  43. O que determina se um algoritmo é justo
    quando o que está em jogo é uma sentença
    criminal?

    View Slide

  44. Nem tudo que tem valor pode ser medido
    e codificado e a ética é um exemplo.
    Quanto mais cedo as pessoas deixarem de
    tentar encontrar uma equação precisa
    para "justiça" e começarem a perguntar
    "por que estou construindo essa ferramenta
    em primeiro lugar?". Mais justa e
    atenciosa a sociedade se tornará.
    Abeba Birhane
    Cognitive science PhD student - University College Dublin

    View Slide

  45. Tecnologia é neutra?
    "Quando acreditamos que tecnologia e IA são neutras, falhamos em
    perceber dados tendenciosos e criamos sistemas que automatizam o status
    quo e promovem os interesses dos poderosos. O que é necessário é um
    campo que exponha e critique sistemas que concentram poder, enquanto
    criamos novos sistemas com comunidades impactadas: IA feita por pessoas
    e para as pessoas."
    Pratyusha Kalluri (PhD Computer Science, Stanford)

    View Slide

  46. “Qualquer tecnologia que criamos reflete tanto nossas
    aspirações quanto nossas limitações. Se formos limitados
    na hora de pensar em inclusão, isso vai ser refletido e
    incorporado na tecnologia que criamos”.
    Joy Buolamwini

    View Slide

  47. Nós (profissionais de tecnologia) não somos
    ensinados que tecnologia é política!

    View Slide

  48. Como evitar o viés?

    View Slide

  49. Preconceito humano Tecnologia
    Diversidade

    View Slide

  50. Quem está desenvolvendo Inteligência Artificial?
    “Only 22% of AI professionals globally are female,
    compared to 78% who are male.”
    (The Global Gender Gap Report 2018 - p.28)

    View Slide

  51. Pesquisa #QuemCodaBR (2019)
    Fonte: https://www.pretalab.com/dados#/

    View Slide

  52. Como abrir a caixa preta dos
    algoritmos?

    View Slide

  53. CAIXA PRETA
    ENTRADA SAÍDA
    ?

    View Slide

  54. Como abrir a caixa preta?

    View Slide

  55. Como abrir a caixa preta?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás
    de cada decisão
    TRANSPARÊNCIA

    View Slide

  56. Inteligência Artificial Explicável é a área de pesquisa que
    aborda essas questões, utilizando diferentes metodologias
    para explicar as predições dos modelos de aprendizado de
    máquina.
    eXplainable Artificial Intelligence

    View Slide

  57. Transparência é oferecer uma explicação clara, facilmente
    compreensível e em linguagem simples do que algo é, o que
    faz e por que o faz.
    transparência

    View Slide

  58. Explicações são descrições compreensíveis para seres
    humanos, do comportamento e das consequências das
    predições de modelos de IA, bem como as razões e
    justificativas para as decisões feitas pelos humanos que
    criaram esses modelos.
    explicações

    View Slide

  59. Como conscientizar pessoas de
    tecnologia?

    View Slide

  60. Compreender os limites dos algoritmos ajudará você a julgar seus
    julgamentos. Por sua própria definição, dados e algoritmos reduzem
    uma realidade complexa a uma visão mais simples do mundo. Apenas
    as partes do mundo que são facilmente mensuráveis podem ser
    usadas.
    Pense criticamente

    View Slide

  61. Recomendações para
    aprofundamento

    View Slide

  62. Newsletter: Desvelar
    A newsletter da Desvelar envia, semanalmente,
    conteúdos, notícias, chamadas e indicações de
    pesquisadores sobre sociedade e tecnologia.
    https://tarciziosilva.com.br/blog/newsletter/

    View Slide

  63. Documentário: Coded Bias
    Em Coded Bias, quando a pesquisadora do MIT Media Lab,
    Joy Buolamwini, descobre que a maioria dos softwares de
    reconhecimento facial não identifica com precisão os
    rostos de pele mais escura e os rostos das mulheres, ela
    investiga uma investigação do viés generalizado dos
    algoritmos.
    Watch Coded Bias Online

    View Slide

  64. Race After Technology
    Ruha Benjamin
    O livro de Benjamin dialoga com essa ideia de novas formas
    de segregação que perpetuam o racismo. O conceito de
    “novo Jim Code” defende que cotidianamente estamos
    usando novas tecnologias que refletem e reproduzem
    desigualdades. Como no passado o racismo se manifestava
    de formas que parecem mais explícitas e como tecnologias
    são vistas como “neutras”, frequentemente ignoramos a
    influência da tecnologia em questões raciais.

    View Slide

  65. Weapons of Math Destruction
    Cathy O'Neil
    O'Neil usa o termo "arma de destruição matemática" para
    descrever as características dos piores tipos de modelos
    matemáticos.
    Ao longo do livro O'Neil comenta sobre uma variedade de
    sistemas e modelos matemáticos que impactam a vida de
    um grande número de pessoas enquanto elas tentam ir à
    faculdade, fazer empréstimos, são condenadas à prisão, e
    tentam encontrar ou manter um emprego.

    View Slide

  66. Comunidades, Algoritmos e
    Ativismos Digitais
    Tarcízio Silva
    O livro “Comunidades, Algoritmos e Ativismos Digitais:
    olhares afrodiaspóricos” busca combater uma lacuna na
    academia brasileira: reflexões sobre a relação entre raça,
    racismo, negritude e branquitude com as tecnologias
    digitais como algoritmos, mídias sociais e comunidades
    online.

    View Slide

  67. (Des)Inteligência Artificial
    Meredith Broussard
    Meredith Broussard argumenta que nosso entusiasmo
    coletivo para aplicar tecnologia em todos os aspectos da vida
    resultou em uma quantidade enorme de sistemas mal
    projetados. Com este livro, ela oferece um guia para
    compreender o funcionamento interno e os limites externos
    da tecnologia - e emite um aviso de que nunca devemos
    presumir que os computadores sempre acertam as coisas.

    View Slide

  68. Canal E AI, Carla?
    Nesse canal, eu falo tecnologia, Inteligência Artificial,
    livros, séries, política, discussões de raça e gênero — e
    a relação entre todos esses tópicos.
    youtube.com/eaicarla

    View Slide

  69. Carla Vieira
    carlavieira.dev | @carlaprvieira | [email protected]
    youtube.com/eaicarla

    View Slide