Interpretabilidade, Justiça e representatividade

Ao mesmo tempo em que os algoritmos de Inteligência Artificial trazem possibilidades magníficas de otimização do trabalho e outras transformações positivas, também trazem riscos e desafios que precisam ser conhecidos e considerados antes de sua adoção. Precisamos ampliar o nosso conhecimento e interesse sobre o funcionamento dessas novas tecnologias, assim como criarmos mecanismos e regras para seu uso, de modo a ter controle sobre o aumento de seu poder de influência sobre os usuários e não dependermos de caixas pretas sobre as quais não temos nenhum controle. O objetivo da palestra é discutir sobre uma série de questões éticas que grandes empresas como Google e IBM já estão discutindo e pouco se discute no Brasil.

Transcript

1. A caixa preta da
   Inteligência Artificial
   Carla Vieira
   @carlaprvieira
   Ilustração: Hanne Mostard
   

   View Slide

2. INTERPRETABILIDADE
   JUSTIÇA
   REPRESENTATIVIDADE
   

   View Slide

3. Engenheira de Software, coordenadora do perifaCode e
   mestranda em Inteligência Artificial (USP).
   Carla Vieira
   

   View Slide

4. ?
   

   View Slide

5. View Slide

6. View Slide

7. Inteligência Artificial?
   

   View Slide

8. View Slide

9. View Slide

10. View Slide

11. View Slide

12. ?
    

    View Slide

13. Conferências de tecnologia e inovação
    

    View Slide

14. viés
    dados
    privacidade legislação
    ética
    

    View Slide

15. View Slide

16. View Slide

17. “A culpa não é do algoritmo, os dados é que estão
    enviesados”
    SIM gênio! E você viu isso e fez o que? Normalizou!? Balanceou!?
    Não né, só continuou reproduzindo...
    (Diego – Professor de Deep Learning na UnB)
    

    View Slide

18. View Slide

19. Precisamos falar menos sobre o hype da
    Inteligência Artificial…
    … e mais sobre como estamos usando a
    tecnologia.
    

    View Slide

20. Google Photos
    (2015)
    

    View Slide

21. Estudo Gender
    Shades
    (2018)
    Joy Buolamwini
    

    View Slide

22. Estudo Gender
    Shades
    (2018)
    

    View Slide

23. COMPAS
    Software
    (2016)
    Estudo do software COMPAS
    

    View Slide

24. Brasil
    (2019) 5 estados: Bahia, Santa Catarina, Paraíba, Rio e
    Ceará
    

    View Slide

25. China
    (2019)
    

    View Slide

26. EUA
    (2019)
    

    View Slide

27. EUA
    (2019)
    

    View Slide

28. EUA
    (2020)
    https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-increasingly-decide
    s-whether-you-deserve-job/
    

    View Slide

29. “Qualquer tecnologia que criamos reflete tanto
    nossas aspirações quanto nossas limitações. Se
    formos limitados na hora de pensar em inclusão,
    isso vai ser refletido e incorporado na tecnologia que
    criamos”.
    Joy Buolamwini
    

    View Slide

30. Preconceito humano Tecnologia
    Como remover o viés?
    

    View Slide

31. Quem está desenvolvendo Inteligência Artificial?
    “Only 22% of AI professionals globally are female,
    compared to 78% who are male.”
    (The Global Gender Gap Report 2018 - p.28)
    

    View Slide

32. A inteligência artificial precisa
    aprender com o mundo real.
    Não basta criar um computador
    inteligente, é preciso ensinar a
    ele as coisas certas.
    https://about.google/stories/gender-balance-diversity-important-to-mac
    hine-learning/?hl=pt-BR
    

    View Slide

33. Preconceito humano Tecnologia
    DIVERSIDADE
    

    View Slide

34. Estes casos ilustram um problema maior: os
    algoritmos de I.A. são uma caixa-preta,
    opaca e cheia de segredos.
    

    View Slide

35. View Slide

36. CAIXA PRETA
    ENTRADA SAÍDA
    

    View Slide

37. CAIXA PRETA
    ENTRADA SAÍDA
    ?
    

    View Slide

38. View Slide

39. O que são algoritmos caixa-preta?
    RANDOM FOREST
    SVM
    REDES NEURAIS
    PROFUNDAS
    

    View Slide

40. Como abrir a caixa preta?
    

    View Slide

41. Como abrir a caixa preta?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás de
    cada decisão
    TRANSPARÊNCIA
    

    View Slide

42. Mas, o que é explicabilidade?
    As soluções de interpretabilidade se dividem em:
    • Transparência: trata sobre o entendimento de como o modelo funciona
    • Explicabilidade: trata-se sobre a capacidade do modelo de oferecer
    alguma explicação (post-hoc) sobre seus resultados
    (LIPTON, 2018)
    

    View Slide

43. MODELOS CAIXA BRANCA
    EXPLICAÇÃO DE MODELOS
    CAIXA PRETA
    EXPLICAÇÃO DAS SAÍDAS
    EXPLICAÇÃO DO MODELO INSPEÇÃO DO MODELO
    ABRIR A CAIXA PRETA
    Métodos para explicabilidade (GUIDOTTI et al., 2018)
    

    View Slide

44. View Slide

45. 1) Explicação do Modelo
    O problema de explicação da caixa preta consiste em fornecer uma explicação global
    do modelo caixa preta por meio de um modelo interpretável e transparente. Esse
    modelo deve ser capaz de imitar o comportamento da caixa preta e também deve ser
    compreensível pelos seres humanos
    

    View Slide

46. View Slide

47. 2) Explicação das saídas
    Dado um modelo caixa preta e uma instância de entrada, o problema da
    explicação das saídas consiste em fornecer uma explicação para o resultado do
    modelo dada uma instância.
    

    View Slide

48. 3) Inspeção do Modelo
    O problema de inspeção do modelo consiste em fornecer uma representação
    (visual ou textual) para entender algumas propriedades específicas do modelo de
    caixa preta ou de suas previsões.
    

    View Slide

49. Como abrir a caixa preta?
    CONFIANÇA
    HUMAN-CENTERED AI
    Interação humano-computador
    TRANSPARÊNCIA
    

    View Slide

50. “What this new wave of XAI
    researchers agree on is that if AI
    systems are to be used by more
    people, those people must be part of
    the design from the start—and
    different people need different kinds
    of explanations.”
    

    View Slide

51. http://aix360.mybluemix.net/explanation_cust#
    

    View Slide

52. https://pair.withgoogle.com/
    

    View Slide

53. “O sucesso na criação da IA será o maior
    acontecimento na história da humanidade.
    Infelizmente, também poderá ser o último, a
    menos que aprendamos como evitar os riscos.”
    - Stephen Hawking
    

    View Slide

54. Entenda seu
    papel no mundo,
    como ser humano
    Máquinas podem
    fazer o mundo
    melhor
    

    View Slide

55. @carlaprvieira
    contato@carlavieira.dev
    perifacode.com
    carlavieira.dev
    Obrigada!
    

    View Slide

56. − Newsletters
    − MIT Review – The Download (en): tecnologias emergentes
    − MIT Review – The Algorithm (en): Inteligência Artificial
    − Data & Society (en): Data & Society advances public understanding of the social implications of
    data-centric technologies and automation.
    − AI Weekly by Khari Johson (en)
    − Data Hackers (pt):
    − Desvelar (Tecnologia e Sociedade) (pt):
    − Podcasts
    − Artificial Intelligence: AI Podcast by Lex Fridman (en)
    − Crazy for data (pt)
    − The Received Wisdom Podcast (en)
    − 10 TED Talks about AI
    

    View Slide

57. Livros sobre IA e sociedade
    

    View Slide

58. Iniciativas/empresas em IA
    

    View Slide

59. Artigos
    1. Lipton, Zachary C. (2018).The Mythos of Model Interpretability
    https://dl.acm.org/doi/10.1145/3236386.3241340
    2. Guidotti et al. (2018). A Survey Of Methods For Explaining Black Box Models
    https://arxiv.org/abs/1802.01933
    3. Gajane, P. and Pechenizkiy, M (2018). On Formalizing Fairness in Prediction with Machine
    Learning https://arxiv.org/pdf/1710.03184.pdf
    4. Hoffman et al. (2018). Metrics for Explainable AI: Challenges and Prospects
    https://arxiv.org/abs/1812.04608
    

    View Slide

60. • Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em
    código
    • The How of Explainable AI: Post-modelling Explainability
    • Lista de artigos sobre ética e IA
    • Relatórios do AI NOW
    • Notícias sobre reconhecimento facial no Brasil
    • Racial and Gender bias in Amazon Rekognition
    • Diversity in faces (IBM)
    • Google video – Machine Learning and Human Bias
    • Visão Computacional e Vieses Racializados
    • Estudo Machine Bias on Compas
    • Machine Learning Explainability Kaggle
    • Predictive modeling: striking a balance between accuracy and interpretability
    • Neural Network Bias: Bias Neuron, Overfitting and Underfitting
    

    View Slide