Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Interpretabilidade, Justiça e representatividade

Interpretabilidade, Justiça e representatividade

Ao mesmo tempo em que os algoritmos de Inteligência Artificial trazem possibilidades magníficas de otimização do trabalho e outras transformações positivas, também trazem riscos e desafios que precisam ser conhecidos e considerados antes de sua adoção. Precisamos ampliar o nosso conhecimento e interesse sobre o funcionamento dessas novas tecnologias, assim como criarmos mecanismos e regras para seu uso, de modo a ter controle sobre o aumento de seu poder de influência sobre os usuários e não dependermos de caixas pretas sobre as quais não temos nenhum controle. O objetivo da palestra é discutir sobre uma série de questões éticas que grandes empresas como Google e IBM já estão discutindo e pouco se discute no Brasil.

Carla Vieira

April 29, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Technology

Transcript

  1. A caixa preta da
    Inteligência Artificial
    Carla Vieira
    @carlaprvieira
    Ilustração: Hanne Mostard

    View full-size slide

  2. INTERPRETABILIDADE
    JUSTIÇA
    REPRESENTATIVIDADE

    View full-size slide

  3. Engenheira de Software, coordenadora do perifaCode e
    mestranda em Inteligência Artificial (USP).
    Carla Vieira

    View full-size slide

  4. Inteligência Artificial?

    View full-size slide

  5. Conferências de tecnologia e inovação

    View full-size slide

  6. viés
    dados
    privacidade legislação
    ética

    View full-size slide

  7. “A culpa não é do algoritmo, os dados é que estão
    enviesados”
    SIM gênio! E você viu isso e fez o que? Normalizou!? Balanceou!?
    Não né, só continuou reproduzindo...
    (Diego – Professor de Deep Learning na UnB)

    View full-size slide

  8. Precisamos falar menos sobre o hype da
    Inteligência Artificial…
    … e mais sobre como estamos usando a
    tecnologia.

    View full-size slide

  9. Google Photos
    (2015)

    View full-size slide

  10. Estudo Gender
    Shades
    (2018)
    Joy Buolamwini

    View full-size slide

  11. Estudo Gender
    Shades
    (2018)

    View full-size slide

  12. COMPAS
    Software
    (2016)
    Estudo do software COMPAS

    View full-size slide

  13. Brasil
    (2019) 5 estados: Bahia, Santa Catarina, Paraíba, Rio e
    Ceará

    View full-size slide

  14. EUA
    (2020)
    https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-increasingly-decide
    s-whether-you-deserve-job/

    View full-size slide

  15. “Qualquer tecnologia que criamos reflete tanto
    nossas aspirações quanto nossas limitações. Se
    formos limitados na hora de pensar em inclusão,
    isso vai ser refletido e incorporado na tecnologia que
    criamos”.
    Joy Buolamwini

    View full-size slide

  16. Preconceito humano Tecnologia
    Como remover o viés?

    View full-size slide

  17. Quem está desenvolvendo Inteligência Artificial?
    “Only 22% of AI professionals globally are female,
    compared to 78% who are male.”
    (The Global Gender Gap Report 2018 - p.28)

    View full-size slide

  18. A inteligência artificial precisa
    aprender com o mundo real.
    Não basta criar um computador
    inteligente, é preciso ensinar a
    ele as coisas certas.
    https://about.google/stories/gender-balance-diversity-important-to-mac
    hine-learning/?hl=pt-BR

    View full-size slide

  19. Preconceito humano Tecnologia
    DIVERSIDADE

    View full-size slide

  20. Estes casos ilustram um problema maior: os
    algoritmos de I.A. são uma caixa-preta,
    opaca e cheia de segredos.

    View full-size slide

  21. CAIXA PRETA
    ENTRADA SAÍDA

    View full-size slide

  22. CAIXA PRETA
    ENTRADA SAÍDA
    ?

    View full-size slide

  23. O que são algoritmos caixa-preta?
    RANDOM FOREST
    SVM
    REDES NEURAIS
    PROFUNDAS

    View full-size slide

  24. Como abrir a caixa preta?

    View full-size slide

  25. Como abrir a caixa preta?
    CONFIANÇA
    EXPLICABILIDADE
    Entender a lógica por trás de
    cada decisão
    TRANSPARÊNCIA

    View full-size slide

  26. Mas, o que é explicabilidade?
    As soluções de interpretabilidade se dividem em:
    • Transparência: trata sobre o entendimento de como o modelo funciona
    • Explicabilidade: trata-se sobre a capacidade do modelo de oferecer
    alguma explicação (post-hoc) sobre seus resultados
    (LIPTON, 2018)

    View full-size slide

  27. MODELOS CAIXA BRANCA
    EXPLICAÇÃO DE MODELOS
    CAIXA PRETA
    EXPLICAÇÃO DAS SAÍDAS
    EXPLICAÇÃO DO MODELO INSPEÇÃO DO MODELO
    ABRIR A CAIXA PRETA
    Métodos para explicabilidade (GUIDOTTI et al., 2018)

    View full-size slide

  28. 1) Explicação do Modelo
    O problema de explicação da caixa preta consiste em fornecer uma explicação global
    do modelo caixa preta por meio de um modelo interpretável e transparente. Esse
    modelo deve ser capaz de imitar o comportamento da caixa preta e também deve ser
    compreensível pelos seres humanos

    View full-size slide

  29. 2) Explicação das saídas
    Dado um modelo caixa preta e uma instância de entrada, o problema da
    explicação das saídas consiste em fornecer uma explicação para o resultado do
    modelo dada uma instância.

    View full-size slide

  30. 3) Inspeção do Modelo
    O problema de inspeção do modelo consiste em fornecer uma representação
    (visual ou textual) para entender algumas propriedades específicas do modelo de
    caixa preta ou de suas previsões.

    View full-size slide

  31. Como abrir a caixa preta?
    CONFIANÇA
    HUMAN-CENTERED AI
    Interação humano-computador
    TRANSPARÊNCIA

    View full-size slide

  32. “What this new wave of XAI
    researchers agree on is that if AI
    systems are to be used by more
    people, those people must be part of
    the design from the start—and
    different people need different kinds
    of explanations.”

    View full-size slide

  33. http://aix360.mybluemix.net/explanation_cust#

    View full-size slide

  34. https://pair.withgoogle.com/

    View full-size slide

  35. “O sucesso na criação da IA será o maior
    acontecimento na história da humanidade.
    Infelizmente, também poderá ser o último, a
    menos que aprendamos como evitar os riscos.”
    - Stephen Hawking

    View full-size slide

  36. Entenda seu
    papel no mundo,
    como ser humano
    Máquinas podem
    fazer o mundo
    melhor

    View full-size slide

  37. @carlaprvieira
    [email protected]
    perifacode.com
    carlavieira.dev
    Obrigada!

    View full-size slide

  38. − Newsletters
    − MIT Review – The Download (en): tecnologias emergentes
    − MIT Review – The Algorithm (en): Inteligência Artificial
    − Data & Society (en): Data & Society advances public understanding of the social implications of
    data-centric technologies and automation.
    − AI Weekly by Khari Johson (en)
    − Data Hackers (pt):
    − Desvelar (Tecnologia e Sociedade) (pt):
    − Podcasts
    − Artificial Intelligence: AI Podcast by Lex Fridman (en)
    − Crazy for data (pt)
    − The Received Wisdom Podcast (en)
    − 10 TED Talks about AI

    View full-size slide

  39. Livros sobre IA e sociedade

    View full-size slide

  40. Iniciativas/empresas em IA

    View full-size slide

  41. Artigos
    1. Lipton, Zachary C. (2018).The Mythos of Model Interpretability
    https://dl.acm.org/doi/10.1145/3236386.3241340
    2. Guidotti et al. (2018). A Survey Of Methods For Explaining Black Box Models
    https://arxiv.org/abs/1802.01933
    3. Gajane, P. and Pechenizkiy, M (2018). On Formalizing Fairness in Prediction with Machine
    Learning https://arxiv.org/pdf/1710.03184.pdf
    4. Hoffman et al. (2018). Metrics for Explainable AI: Challenges and Prospects
    https://arxiv.org/abs/1812.04608

    View full-size slide

  42. • Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em
    código
    • The How of Explainable AI: Post-modelling Explainability
    • Lista de artigos sobre ética e IA
    • Relatórios do AI NOW
    • Notícias sobre reconhecimento facial no Brasil
    • Racial and Gender bias in Amazon Rekognition
    • Diversity in faces (IBM)
    • Google video – Machine Learning and Human Bias
    • Visão Computacional e Vieses Racializados
    • Estudo Machine Bias on Compas
    • Machine Learning Explainability Kaggle
    • Predictive modeling: striking a balance between accuracy and interpretability
    • Neural Network Bias: Bias Neuron, Overfitting and Underfitting

    View full-size slide