Big Data e Math Washing

Os algoritmos são criados para automatizar decisões e facilitar a vida das pessoas, mas as programações podem dar escala a comportamentos indesejáveis como racismo, misoginia e homofobia. Algoritmos captam preferências dos usuários e podem captar preferências políticas. Podemos perpetuar preconceitos partindo da premissa ingênua de que a matemática é neutra, isentando quem dela se beneficia da responsabilidade, como um mathwhasing. A programação pode ser responsável pelo preconceito embutido nos resultados?

Transcript

1. Big Data e
   Mathwashing
   Carla Vieira
   MAC0485 - Implicações Sociais da Computação
   

   View Slide

2. Engenheira de Software (python <3), mestranda em
   Inteligência Artificial e Google Developer Expert in
   Machine Learning. Co-organizadora da perifaCode.
   contato@carlavieira.dev | carlavieira.dev
   Carla Vieira
   

   View Slide

3. ?
   

   View Slide

4. View Slide

5. View Slide

6. View Slide

7. ?
   

   View Slide

8. viés
   dados
   privacidade legislação
   ética
   

   View Slide

9. COMPAS Software e
   cálculo de reincidência:
   caso de racismo
   algorítmico
   (2016)
   

   View Slide

10. COMPAS Software e
    cálculo de
    reincidência: caso de
    racismo algorítmico
    (2016)
    

    View Slide

11. Estudo Gender Shades
    (2018)
    

    View Slide

12. Ferramenta de
    recrutamento da
    Amazon com AI
    discriminava
    candidatas mulheres
    (2018)
    

    View Slide

13. Racismo algorítmico
    em modelos preditivos
    na saúde
    (2019)
    

    View Slide

14. 90,5% das pessoas
    presas por
    Reconhecimento Facial
    são negras
    (2019)
    

    View Slide

15. Pesquisa em
    tecnologias de
    Reconhecimento Facial
    (2019)
    Joy Buolamwini
    Founder Algorithmic
    Justice League
    Deb Raji
    AI Now Institute
    Actionable Auditing: Investigating
    the Impact of Publicly Naming Biased
    Performance Results of Commercial
    AI Products
    https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact
    -of-publicly-naming-biased-performance-results-of-commercial-ai-products/
    

    View Slide

16. Homem acusado de
    forma injusta por um
    algoritmo
    (2020)
    

    View Slide

17. Pausa em P&D de
    reconhecimento facial
    por Amazon, Microsoft
    e IBM
    (2020)
    

    View Slide

18. Desenvolvedor cria
    ferramenta que reforça
    racismo algorítmico
    (2020)
    https://altdeep.substack.com/p/two-things-you-might-have-missed
    

    View Slide

19. MIT remove dataset
    por racismo e sexismo
    (2020)
    https://www.theregister.com/2020/07/01/mit_dataset_removed/
    

    View Slide

20. Algoritmos de
    Reconhecimento Facial
    em recrutamento
    (2020)
    https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-incre
    asingly-decides-whether-you-deserve-job/
    

    View Slide

21. Preconceito humano Tecnologia
    Mas, como isso acontece?
    

    View Slide

22. Mas, como isso acontece?
    Viés de seleção
    

    View Slide

23. Mas, como isso acontece?
    

    View Slide

24. Mas, como isso acontece?
    Viés de sobrevivência
    

    View Slide

25. Mas, como isso acontece?
    Causa e efeito
    Só porque (A) acontece juntamente com (B) não significa que (A) causa (B).
    

    View Slide

26. Mas, como isso acontece?
    Causa e efeito
    1. (A) causa realmente (B);
    2. (B) pode ser a causa de (A);
    3. Um terceiro fator (C) pode ser causa tanto de (A) como de (B);
    4. Pode ser uma combinação das três situações anteriores. Por exemplo, (A) causa
    (B) e ao mesmo tempo (B) causa também (A);
    5. A correlação pode ser apenas uma coincidência, ou seja, os dois eventos não têm
    qualquer relação.
    

    View Slide

27. Mas, como isso acontece?
    Causa e efeito
    Fonte: Spurious Correlations
    

    View Slide

28. “Correlation is not causation.”
    

    View Slide

29. “A correlação é suficiente.” Podemos parar de procurar modelos.
    Podemos analisar os dados sem hipóteses sobre o que eles podem
    mostrar. Podemos (...) permitir que algoritmos estatísticos encontrem
    padrões onde a ciência não consegue.
    Chris Anderson
    

    View Slide

30. Essas visões grandiosas sugerem uma falha em compreender os limites da
    computação força bruta. Embora seja possível detectar correlações úteis aplicando
    poder de computação a big data, por si só as correlações não podem responder a
    perguntas sobre a eficácia das intervenções nem podem explicar os mecanismos
    causais subjacentes, cujo conhecimento é frequentemente crítico para a tomada de
    decisões (...). Para abordar essas questões, precisamos considerar a causalidade, e
    isso não é uma questão de força bruta.
    Nick Barrowman
    

    View Slide

31. ALGORITMO
    CAIXA PRETA
    ENTRADA SAÍDA
    vieses vieses
    

    View Slide

32. “A culpa não é do algoritmo, os dados é que
    estão enviesados”
    

    View Slide

33. “Algoritmos são matemática. A matemática é
    neutra....”
    

    View Slide

34. Existem decisões humanas que são delegadas em
    algoritmos. É o que se denominou mathwashing.
    É a desculpa de "não fui eu quem decidiu, o
    algoritmo decidiu". É uma maneira de fugir da
    responsabilidade.
    mathwashing
    Fred Benenson
    

    View Slide

35. View Slide

36. View Slide

37. View Slide

38. Um dos principais argumentos do livro é que
    sofremos de "tecnochauvinism" ou a crença de
    que mais “tecnologia” é sempre a solução.
    tecnochauvinismo
    

    View Slide

39. View Slide

40. Afirma que mesmo a matemática de números inteiros não
    pode provar sua própria consistência. Na matemática,
    existem axiomas, que são um nome bonito para obviedades.
    Axiomas são como as regras do xadrez. Não precisam de prova.
    A matemática aceita os axiomas como verdades de antemão, e
    se constrói em cima deles.
    Teorema da incompletude de Gödel
    Kurt Gödel
    

    View Slide

41. View Slide

42. Algoritmos conseguem fazer análises
    subjetivas?
    

    View Slide

43. O que determina se um algoritmo é justo
    quando o que está em jogo é uma sentença
    criminal?
    

    View Slide

44. Nem tudo que tem valor pode ser medido
    e codificado e a ética é um exemplo.
    Quanto mais cedo as pessoas deixarem de
    tentar encontrar uma equação precisa
    para "justiça" e começarem a perguntar
    "por que estou construindo essa ferramenta
    em primeiro lugar?". Mais justa e
    atenciosa a sociedade se tornará.
    Abeba Birhane
    Cognitive science PhD student - University College Dublin
    

    View Slide

45. Tecnologia é neutra?
    "Quando acreditamos que tecnologia e IA são neutras, falhamos em
    perceber dados tendenciosos e criamos sistemas que automatizam o status
    quo e promovem os interesses dos poderosos. O que é necessário é um
    campo que exponha e critique sistemas que concentram poder, enquanto
    criamos novos sistemas com comunidades impactadas: IA feita por pessoas
    e para as pessoas."
    Pratyusha Kalluri (PhD Computer Science, Stanford)
    

    View Slide

46. “Qualquer tecnologia que criamos reflete tanto nossas
    aspirações quanto nossas limitações. Se formos limitados
    na hora de pensar em inclusão, isso vai ser refletido e
    incorporado na tecnologia que criamos”.
    Joy Buolamwini
    

    View Slide

47. Nós (profissionais de tecnologia) não somos
    ensinados que tecnologia é política!
    

    View Slide

48. Como evitar o viés?
    

    View Slide

49. Preconceito humano Tecnologia
    Diversidade
    

    View Slide

50. Quem está desenvolvendo Inteligência Artificial?
    “Only 22% of AI professionals globally are female,
    compared to 78% who are male.”
    (The Global Gender Gap Report 2018 - p.28)
    

    View Slide

51. Pesquisa #QuemCodaBR (2019)
    Fonte: https://www.pretalab.com/dados#/
    

    View Slide

52. Como abrir a caixa preta dos
    algoritmos?
    

    View Slide

53. CAIXA PRETA
    ENTRADA SAÍDA
    ?
    

    View Slide

54. Como abrir a caixa preta?
    

    View Slide

55. Como abrir a caixa preta?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás
    de cada decisão
    TRANSPARÊNCIA
    

    View Slide

56. Inteligência Artificial Explicável é a área de pesquisa que
    aborda essas questões, utilizando diferentes metodologias
    para explicar as predições dos modelos de aprendizado de
    máquina.
    eXplainable Artificial Intelligence
    

    View Slide

57. Transparência é oferecer uma explicação clara, facilmente
    compreensível e em linguagem simples do que algo é, o que
    faz e por que o faz.
    transparência
    

    View Slide

58. Explicações são descrições compreensíveis para seres
    humanos, do comportamento e das consequências das
    predições de modelos de IA, bem como as razões e
    justificativas para as decisões feitas pelos humanos que
    criaram esses modelos.
    explicações
    

    View Slide

59. Como conscientizar pessoas de
    tecnologia?
    

    View Slide

60. Compreender os limites dos algoritmos ajudará você a julgar seus
    julgamentos. Por sua própria definição, dados e algoritmos reduzem
    uma realidade complexa a uma visão mais simples do mundo. Apenas
    as partes do mundo que são facilmente mensuráveis podem ser
    usadas.
    Pense criticamente
    

    View Slide

61. Recomendações para
    aprofundamento
    

    View Slide

62. Newsletter: Desvelar
    A newsletter da Desvelar envia, semanalmente,
    conteúdos, notícias, chamadas e indicações de
    pesquisadores sobre sociedade e tecnologia.
    https://tarciziosilva.com.br/blog/newsletter/
    

    View Slide

63. Documentário: Coded Bias
    Em Coded Bias, quando a pesquisadora do MIT Media Lab,
    Joy Buolamwini, descobre que a maioria dos softwares de
    reconhecimento facial não identifica com precisão os
    rostos de pele mais escura e os rostos das mulheres, ela
    investiga uma investigação do viés generalizado dos
    algoritmos.
    Watch Coded Bias Online
    

    View Slide

64. Race After Technology
    Ruha Benjamin
    O livro de Benjamin dialoga com essa ideia de novas formas
    de segregação que perpetuam o racismo. O conceito de
    “novo Jim Code” defende que cotidianamente estamos
    usando novas tecnologias que refletem e reproduzem
    desigualdades. Como no passado o racismo se manifestava
    de formas que parecem mais explícitas e como tecnologias
    são vistas como “neutras”, frequentemente ignoramos a
    influência da tecnologia em questões raciais.
    

    View Slide

65. Weapons of Math Destruction
    Cathy O'Neil
    O'Neil usa o termo "arma de destruição matemática" para
    descrever as características dos piores tipos de modelos
    matemáticos.
    Ao longo do livro O'Neil comenta sobre uma variedade de
    sistemas e modelos matemáticos que impactam a vida de
    um grande número de pessoas enquanto elas tentam ir à
    faculdade, fazer empréstimos, são condenadas à prisão, e
    tentam encontrar ou manter um emprego.
    

    View Slide

66. Comunidades, Algoritmos e
    Ativismos Digitais
    Tarcízio Silva
    O livro “Comunidades, Algoritmos e Ativismos Digitais:
    olhares afrodiaspóricos” busca combater uma lacuna na
    academia brasileira: reflexões sobre a relação entre raça,
    racismo, negritude e branquitude com as tecnologias
    digitais como algoritmos, mídias sociais e comunidades
    online.
    

    View Slide

67. (Des)Inteligência Artificial
    Meredith Broussard
    Meredith Broussard argumenta que nosso entusiasmo
    coletivo para aplicar tecnologia em todos os aspectos da vida
    resultou em uma quantidade enorme de sistemas mal
    projetados. Com este livro, ela oferece um guia para
    compreender o funcionamento interno e os limites externos
    da tecnologia - e emite um aviso de que nunca devemos
    presumir que os computadores sempre acertam as coisas.
    

    View Slide

68. Canal E AI, Carla?
    Nesse canal, eu falo tecnologia, Inteligência Artificial,
    livros, séries, política, discussões de raça e gênero — e
    a relação entre todos esses tópicos.
    youtube.com/eaicarla
    

    View Slide

69. Carla Vieira
    carlavieira.dev | @carlaprvieira | carlaprv@usp.br
    youtube.com/eaicarla
    

    View Slide