Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Interpretabilidade, Justiça e representatividade

Interpretabilidade, Justiça e representatividade

Ao mesmo tempo em que os algoritmos de Inteligência Artificial trazem possibilidades magníficas de otimização do trabalho e outras transformações positivas, também trazem riscos e desafios que precisam ser conhecidos e considerados antes de sua adoção. Precisamos ampliar o nosso conhecimento e interesse sobre o funcionamento dessas novas tecnologias, assim como criarmos mecanismos e regras para seu uso, de modo a ter controle sobre o aumento de seu poder de influência sobre os usuários e não dependermos de caixas pretas sobre as quais não temos nenhum controle. O objetivo da palestra é discutir sobre uma série de questões éticas que grandes empresas como Google e IBM já estão discutindo e pouco se discute no Brasil.

Carla Vieira

April 29, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Technology

Transcript

  1. A caixa preta da
    Inteligência Artificial
    Carla Vieira
    @carlaprvieira
    Ilustração: Hanne Mostard

    View Slide

  2. INTERPRETABILIDADE
    JUSTIÇA
    REPRESENTATIVIDADE

    View Slide

  3. Engenheira de Software, coordenadora do perifaCode e
    mestranda em Inteligência Artificial (USP).
    Carla Vieira

    View Slide

  4. ?

    View Slide

  5. View Slide

  6. View Slide

  7. Inteligência Artificial?

    View Slide

  8. View Slide

  9. View Slide

  10. View Slide

  11. View Slide

  12. ?

    View Slide

  13. Conferências de tecnologia e inovação

    View Slide

  14. viés
    dados
    privacidade legislação
    ética

    View Slide

  15. View Slide

  16. View Slide

  17. “A culpa não é do algoritmo, os dados é que estão
    enviesados”
    SIM gênio! E você viu isso e fez o que? Normalizou!? Balanceou!?
    Não né, só continuou reproduzindo...
    (Diego – Professor de Deep Learning na UnB)

    View Slide

  18. View Slide

  19. Precisamos falar menos sobre o hype da
    Inteligência Artificial…
    … e mais sobre como estamos usando a
    tecnologia.

    View Slide

  20. Google Photos
    (2015)

    View Slide

  21. Estudo Gender
    Shades
    (2018)
    Joy Buolamwini

    View Slide

  22. Estudo Gender
    Shades
    (2018)

    View Slide

  23. COMPAS
    Software
    (2016)
    Estudo do software COMPAS

    View Slide

  24. Brasil
    (2019) 5 estados: Bahia, Santa Catarina, Paraíba, Rio e
    Ceará

    View Slide

  25. China
    (2019)

    View Slide

  26. EUA
    (2019)

    View Slide

  27. EUA
    (2019)

    View Slide

  28. EUA
    (2020)
    https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-increasingly-decide
    s-whether-you-deserve-job/

    View Slide

  29. “Qualquer tecnologia que criamos reflete tanto
    nossas aspirações quanto nossas limitações. Se
    formos limitados na hora de pensar em inclusão,
    isso vai ser refletido e incorporado na tecnologia que
    criamos”.
    Joy Buolamwini

    View Slide

  30. Preconceito humano Tecnologia
    Como remover o viés?

    View Slide

  31. Quem está desenvolvendo Inteligência Artificial?
    “Only 22% of AI professionals globally are female,
    compared to 78% who are male.”
    (The Global Gender Gap Report 2018 - p.28)

    View Slide

  32. A inteligência artificial precisa
    aprender com o mundo real.
    Não basta criar um computador
    inteligente, é preciso ensinar a
    ele as coisas certas.
    https://about.google/stories/gender-balance-diversity-important-to-mac
    hine-learning/?hl=pt-BR

    View Slide

  33. Preconceito humano Tecnologia
    DIVERSIDADE

    View Slide

  34. Estes casos ilustram um problema maior: os
    algoritmos de I.A. são uma caixa-preta,
    opaca e cheia de segredos.

    View Slide

  35. View Slide

  36. CAIXA PRETA
    ENTRADA SAÍDA

    View Slide

  37. CAIXA PRETA
    ENTRADA SAÍDA
    ?

    View Slide

  38. View Slide

  39. O que são algoritmos caixa-preta?
    RANDOM FOREST
    SVM
    REDES NEURAIS
    PROFUNDAS

    View Slide

  40. Como abrir a caixa preta?

    View Slide

  41. Como abrir a caixa preta?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás de
    cada decisão
    TRANSPARÊNCIA

    View Slide

  42. Mas, o que é explicabilidade?
    As soluções de interpretabilidade se dividem em:
    • Transparência: trata sobre o entendimento de como o modelo funciona
    • Explicabilidade: trata-se sobre a capacidade do modelo de oferecer
    alguma explicação (post-hoc) sobre seus resultados
    (LIPTON, 2018)

    View Slide

  43. MODELOS CAIXA BRANCA
    EXPLICAÇÃO DE MODELOS
    CAIXA PRETA
    EXPLICAÇÃO DAS SAÍDAS
    EXPLICAÇÃO DO MODELO INSPEÇÃO DO MODELO
    ABRIR A CAIXA PRETA
    Métodos para explicabilidade (GUIDOTTI et al., 2018)

    View Slide

  44. View Slide

  45. 1) Explicação do Modelo
    O problema de explicação da caixa preta consiste em fornecer uma explicação global
    do modelo caixa preta por meio de um modelo interpretável e transparente. Esse
    modelo deve ser capaz de imitar o comportamento da caixa preta e também deve ser
    compreensível pelos seres humanos

    View Slide

  46. View Slide

  47. 2) Explicação das saídas
    Dado um modelo caixa preta e uma instância de entrada, o problema da
    explicação das saídas consiste em fornecer uma explicação para o resultado do
    modelo dada uma instância.

    View Slide

  48. 3) Inspeção do Modelo
    O problema de inspeção do modelo consiste em fornecer uma representação
    (visual ou textual) para entender algumas propriedades específicas do modelo de
    caixa preta ou de suas previsões.

    View Slide

  49. Como abrir a caixa preta?
    CONFIANÇA
    HUMAN-CENTERED AI
    Interação humano-computador
    TRANSPARÊNCIA

    View Slide

  50. “What this new wave of XAI
    researchers agree on is that if AI
    systems are to be used by more
    people, those people must be part of
    the design from the start—and
    different people need different kinds
    of explanations.”

    View Slide

  51. http://aix360.mybluemix.net/explanation_cust#

    View Slide

  52. https://pair.withgoogle.com/

    View Slide

  53. “O sucesso na criação da IA será o maior
    acontecimento na história da humanidade.
    Infelizmente, também poderá ser o último, a
    menos que aprendamos como evitar os riscos.”
    - Stephen Hawking

    View Slide

  54. Entenda seu
    papel no mundo,
    como ser humano
    Máquinas podem
    fazer o mundo
    melhor

    View Slide

  55. @carlaprvieira
    [email protected]
    perifacode.com
    carlavieira.dev
    Obrigada!

    View Slide

  56. − Newsletters
    − MIT Review – The Download (en): tecnologias emergentes
    − MIT Review – The Algorithm (en): Inteligência Artificial
    − Data & Society (en): Data & Society advances public understanding of the social implications of
    data-centric technologies and automation.
    − AI Weekly by Khari Johson (en)
    − Data Hackers (pt):
    − Desvelar (Tecnologia e Sociedade) (pt):
    − Podcasts
    − Artificial Intelligence: AI Podcast by Lex Fridman (en)
    − Crazy for data (pt)
    − The Received Wisdom Podcast (en)
    − 10 TED Talks about AI

    View Slide

  57. Livros sobre IA e sociedade

    View Slide

  58. Iniciativas/empresas em IA

    View Slide

  59. Artigos
    1. Lipton, Zachary C. (2018).The Mythos of Model Interpretability
    https://dl.acm.org/doi/10.1145/3236386.3241340
    2. Guidotti et al. (2018). A Survey Of Methods For Explaining Black Box Models
    https://arxiv.org/abs/1802.01933
    3. Gajane, P. and Pechenizkiy, M (2018). On Formalizing Fairness in Prediction with Machine
    Learning https://arxiv.org/pdf/1710.03184.pdf
    4. Hoffman et al. (2018). Metrics for Explainable AI: Challenges and Prospects
    https://arxiv.org/abs/1812.04608

    View Slide

  60. • Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em
    código
    • The How of Explainable AI: Post-modelling Explainability
    • Lista de artigos sobre ética e IA
    • Relatórios do AI NOW
    • Notícias sobre reconhecimento facial no Brasil
    • Racial and Gender bias in Amazon Rekognition
    • Diversity in faces (IBM)
    • Google video – Machine Learning and Human Bias
    • Visão Computacional e Vieses Racializados
    • Estudo Machine Bias on Compas
    • Machine Learning Explainability Kaggle
    • Predictive modeling: striking a balance between accuracy and interpretability
    • Neural Network Bias: Bias Neuron, Overfitting and Underfitting

    View Slide