Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DataTalk#39 -- BERT et l'avancement du traitement des langues

DataTalk#39 -- BERT et l'avancement du traitement des langues

Au cours de l'année passée, les modèles génériques (modèles pré-appris et ré-utilisables pour plusieurs taches) de traitement automatique des langues ont connu un saut inhabituel de performances. De la même manière que word2vec pour les mots, un changement de paradigme se profile pour le traitement des phrases/paragraphes.
Dans cette présentation, nous allons aborder les défis actuels du traitement des langues puis montrer ce que les modèles récents basés sur les Transformers et les modèles de langue (BERT, GPT, XLnet) apportent de nouveau (et d'ancien).

Bio : Damien Sileo est doctorant en 3eme année à Synapse Développement et à l'Université de Toulouse. Il est spécialisé dans la compréhension automatique du langage naturel et s'intéresse particulièrement à la notion de sens dans les représentations neuronales, ainsi qu'à la composition d'embeddings et aux modèles d'encodage (RNN/CNN/Transformers).

Toulouse Data Science

October 15, 2019
Tweet

More Decks by Toulouse Data Science

Other Decks in Technology

Transcript

  1. 1
    Damien Sileo
    Philippe Muller
    Tim Van de Cruys
    Camille Pradel
    BERT
    et l’avancement du traitement des langues

    View Slide

  2. ● Introduction: traitement automatique des langues et paradigmes
    ○ Tâches du NLP
    ○ Notion d'encodeur généralisable
    ○ Apprentissage par transfert
    ○ Evaluation, évolution des scores
    ○ Modèle de langue comme signal d’apprentissage
    ● Encodeurs de texte
    ○ Anatomie d’un encodeur de texte
    ○ Problématiques de la composition de séquences: analyse syntaxique,
    composition
    ○ Modèles de composition: average pooling, RNN, Transformers
    ○ Instanciations : GPT/BERT
    ● Conclusion:
    ○ Utiliser BERT : librairies et modèles pré-entrainés
    ○ Poursuite de la course aux données/moyens de calculs, génération de texte
    Plan
    2

    View Slide

  3. 3
    Traitement Automatique du
    Langage Naturel et paradigmes

    View Slide

  4. Traitement Automatique du Langage Naturel
    4
    TALN
    Sortie (classe, texte, scalaire...)
    Entrée (classe, texte, scalaire...)

    View Slide

  5. 5
    TALN
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    Traitement Automatique du Langage Naturel

    View Slide

  6. 6
    Analyse de sentiment
    y ∈ {positif, négatif}
    “Ma souris ne marche pas ! :(”
    Traitement Automatique du Langage Naturel

    View Slide

  7. 7
    Analyse de sentiment
    y ∈ {positif, négatif}
    “It was 2 minutes from the beach.” vs. “It was 2 hours from the beach.”
    “It was un-fricking-believable.”
    “It was awesoooome.”
    “It’s not my cup of tea.”
    “I love it when people yell at me first thing in the morning.”
    Traitement Automatique du Langage Naturel

    View Slide

  8. 8
    Similarité sémantique
    y ∈ [0,1]
    “Ma souris ne
    marche pas ! :(”
    “Mon pointeur
    est bloqué”
    (moteur de
    recherche,
    clustering,
    détection de
    plagiat...)
    Traitement Automatique du Langage Naturel

    View Slide

  9. 9
    Slot-Filling
    “trouve moi un train pour demain vers Paris”
    Traitement Automatique du Langage Naturel
    “trouve moi un train pour demain vers Paris”
    DATE DESTINATION

    View Slide

  10. 10
    Chatbot
    y ∈ {“branchez votre souris”} U textes
    “Ma souris ne marche pas ! :(”
    Traitement Automatique du Langage Naturel

    View Slide

  11. 11
    Chatbot
    y ∈ {“branchez votre souris”} U textes
    “Ma souris ne marche pas ! :(”
    Traitement Automatique du Langage Naturel
    mon pointeur ne bouge pas
    branchez votre souris
    historique

    View Slide

  12. -la souris doit être branchée
    -la souris permet de sélectionner [...]
    12
    Chatbotby Synapse
    y ∈ {“la souris doit être branchée”} U textes
    “Ma souris ne marche pas ! :(”
    Traitement Automatique du Langage Naturel
    base de
    documents

    View Slide

  13. 13
    TALN
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    Traitement Automatique du Langage Naturel
    {Translation,
    Grammaticality,
    Similarity estimation,
    Sentiment analysis,
    Topic prediction,
    Word tagging,
    Question answering,
    Indexation,
    Relation Extraction,
    Summarization}∈TALN

    View Slide

  14. 14
    encodeur de texte
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    modèle de la tâche
    Encodeur de texte généralisable
    TALN

    View Slide

  15. 15
    encodeur de texte
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    modèle de la tâche
    COMMENT
    résoudre les
    tâches
    QUOI résoudre
    Encodeur généralisable de texte

    View Slide

  16. 16
    encodeur de texte
    (initialisation aléatoire)
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    tâche “source” (init aléatoire)
    Apprentissage par transfert

    View Slide

  17. 17
    encodeur de texte
    (après avoir appris la tâche source)
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    tâche “source” (appris)
    Apprentissage par transfert

    View Slide

  18. 18
    encodeur de texte
    (après avoir appris la tâche source)
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    tâche “cible” (init aléatoire)
    Apprentissage par transfert

    View Slide

  19. 19
    BERT
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    tâche “cible” (init aléatoire)
    Exemple BERT

    View Slide

  20. Evaluation: exemple de tâches (GLUE)
    20
    dataset phrase1 phrase2 classe
    SST a quiet , pure , elliptical film - positive sentiment
    CoLA They drank the pub. - not acceptable
    MNLI they renewed inquiries they asked again entailment
    STS a man is running a man is mooing low similarity
    QQP Is there a soul? what is soul? non-duplicate

    View Slide

  21. Evolution de performances GLUE (Bowman)
    21
    2018
    2014
    4 ans
    11.4%

    View Slide

  22. Evolution de performances GLUE (Bowman)
    22
    2018
    2014
    état de l’art fin 2018 - travail dédié aux taches !
    4 ans
    11.4%

    View Slide

  23. Evolution de performances GLUE (Bowman)
    23
    2018 2019
    2014
    état de l’art pre-GPT
    4 ans
    11.4%

    View Slide

  24. Evolution de performances GLUE (Bowman)
    24
    2018 2019
    2014
    état de l’art pre-GPT
    4 ans
    11.4%

    View Slide

  25. Evolution de performances GLUE (Bowman)
    25
    2018 2019
    2014
    état de l’art pre-GPT
    4 ans
    11.4%
    19.4%
    moins d’un an

    View Slide

  26. Evolution de performances GLUE (Bowman)
    26
    octobre
    2017
    octobre
    2018
    performance humaine
    état de l’art pre-GPT
    janvier
    2019
    sept.
    2019
    moins d’un an

    View Slide

  27. 27
    encodeur généralisable de texte
    (après avoir appris la tâche source)
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    tâche “source” (init aléatoire)
    Composantes d’un encodeur généralisable

    View Slide

  28. 28
    encodeur généralisable de texte
    (après avoir appris la tâche source)
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    tâche “source” (init aléatoire)
    Modèle de langue comme signal d’apprentissage

    View Slide

  29. 29
    Modèle de langue comme signal d’apprentissage
    Compétences utiles pour l’encodage - paradigme word2vec:
    ● connaissance des mots

    View Slide

  30. 30
    Compétences utiles pour l’encodage:
    ● connaissance des mots
    ● composition de mots
    ○ (t-shirt blanc, vin blanc)
    ● connaissance de la syntaxe
    ○ il regarde l’écureuil avec un télescope
    ● connaissance du monde (sens commun pour raisonner)
    ● connaissance la psychologie humaine
    ● capacités de raisonnement à partir de ces connaissances
    Modèle de langue comme signal d’apprentissage

    View Slide

  31. 31
    Apprentissage par transfert : modèle de
    langue
    ● Brevet Sans Garantie Du Gouvernement”, translated to English: “______
    without government warranty”.

    View Slide

  32. 32
    Apprentissage par transfert : modèle de
    langue
    ● Brevet Sans Garantie Du Gouvernement”, translated to English: “Patented
    without government warranty”.

    View Slide

  33. 33
    Apprentissage par transfert : modèle de
    langue
    ● Brevet Sans Garantie Du Gouvernement”, translated to English: “Patented
    without government warranty”.
    ● "Nos attentes ont même été dépassées et nous avons pu renforcer notre
    position sur le marché", se _____-il.

    View Slide

  34. 34
    Apprentissage par transfert : modèle de
    langue
    ● Brevet Sans Garantie Du Gouvernement”, translated to English: “Patented
    without government warranty”.
    ● "Nos attentes ont même été dépassées et nous avons pu renforcer notre
    position sur le marché", se réjouit-il.
    →Analyse de sentiments, composition, traduction, structure de l’argumentation…
    sont utiles pour exceller en modèle de langue

    View Slide

  35. 35
    encodeur généralisable de texte
    (après avoir appris la tâche source)
    Sortie (classe, texte, scalaire...)
    Entrée (texte)
    tâche “source” (init aléatoire)
    Encodeur

    View Slide

  36. 36
    Encodeurs de texte

    View Slide

  37. Anatomie d’un encodeur de texte
    37
    input text
    tokenized input
    (characters, words…)
    sequence
    composition
    text embedding
    “the cat sat on the mat”
    “the” “cat” “sat” “on” “the” “mat”
    embedded tokens

    View Slide

  38. Anatomie d’un encodeur de texte
    38
    input text
    tokenized input
    (characters, words…)
    sequence
    composition
    text embedding
    “the cat sat on the mat”
    “the” “cat” “sat” “on” “the” “mat”
    classifier
    embedded tokens
    prediction

    View Slide

  39. Anatomie d’un encodeur de texte
    39
    input text
    tokenized input
    (characters, words…)
    sequence
    composition
    text embedding
    “the cat sat on the mat”
    “the” “cat” “sat” “on” “the” “mat”
    classifier
    embedded tokens
    encodeur de
    texte
    prediction
    modèle de
    tache

    View Slide

  40. exemple|de|texte..
    ex|emple|...
    e|x|e|m...
    1) Tokenization
    40
    ● mot
    ● subword
    ● caractère
    “exemple de texte
    à découper”
    ~10M
    ~100k
    ~1000
    taille du vocabulaire
    sur gros corpus
    tokens inédits
    probables
    oui
    bof
    non

    View Slide

  41. 2) Token Embedding
    41
    cat
    dog
    consciousness
    “dog”
    “cat”
    trainable or pretrained
    representations

    View Slide

  42. 42
    3) Modèles de composition de séquence

    View Slide

  43. Composition 1 : moyenne des mots
    43
    input text
    tokenized input
    (characters, words…)
    moyenne
    text embedding
    “the cat sat on the mat”
    “the” “cat” “sat” “on” “the” “mat”
    classifier
    embedded tokens
    text embedding

    View Slide

  44. 44
    “the cat sat on the mat”
    the
    cat
    mat sat
    on
    Avantages
    ● marche (trop ?) bien
    ● simple
    ● capture des aspects lexicaux
    ● mais pas que
    Inconvénients
    ● simpliste
    Composition 1 : moyenne des mots

    View Slide

  45. 45
    “the cat sat on the mat”
    the
    cat
    mat sat
    on
    Avantages
    ● marche (trop ?) bien
    ● simple
    ● capture des aspects lexicaux
    ● mais pas que
    Inconvénients
    ● simpliste
    Composition 1 : moyenne des mots

    View Slide

  46. Fonctions récurrentes et paramétriques
    mémoire(t) mémoire(t+1)
    RNN
    perception(t)
    Composition 2 : réseaux de neurones récurrents
    (RNN)

    View Slide

  47. mémoire(t) mémoire(t+1)
    RNN
    perception(t)
    h
    t+1
    = f(x,h
    t
    )
    f,x = intelligence
    h
    t+1
    h
    t
    token x
    t
    Fonctions récurrentes et paramétriques
    Composition 2 : réseaux de neurones récurrents
    (RNN)

    View Slide

  48. 48
    RNN RNN RNN RNN
    X
    H
    input text
    tokenized input
    (characters, words…)
    “the cat sat on”
    pooling
    “the” “cat” “sat” “on”
    Composition 2 : réseaux de neurones récurrents
    (RNN)

    View Slide

  49. Composition 3: Transformers [Vaswani2017]
    49
    Att Att Att Att
    H
    input text
    tokenized input
    (characters, words…)
    “the cat sat on”
    “the” “cat” “sat” “on”
    embedded tokens (with positional
    encoding)
    1 attention head
    output representations

    View Slide

  50. Composition 3: Transformers
    50
    Att Att Att Att
    H
    input text
    tokenized input
    (characters, words…)
    “the cat sat on”
    embedded tokens (with positional
    encoding)
    Att Att Att Att
    “the” “cat” “sat” “on”
    2 attention heads

    View Slide

  51. Composition 3: Transformers
    51
    Att Att Att Att
    H
    input text
    tokenized input
    (characters, words…)
    “the cat sat on”
    embedded tokens (with positional
    encoding)
    Att Att Att Att
    Att Att Att Att
    “the” “cat” “sat” “on”
    3 attention heads

    View Slide

  52. Composition 3: Transformers
    52
    Att Att Att Att
    H
    input text
    tokenized input
    (characters, words…)
    “the cat sat on”
    embedded tokens (with positional
    encoding)
    Att Att Att Att
    Att Att Att Att
    DNN
    DNN
    DNN
    DNN
    DNN
    “the” “cat” “sat” “on” synthétisation
    non-linéaire des
    aspects

    View Slide

  53. 53
    Att Att Att Att
    element-wise concatenation
    +non-linear projection
    H
    input text
    tokenized input
    (characters, words…)
    “the cat sat on”
    “the” “cat” “sat” “on”
    embedded tokens (with
    positional encoding)
    Att Att Att Att
    Att Att Att Att
    Att Att Att Att
    couche 2
    couche 1
    Att Att Att Att
    Att Att Att Att

    View Slide

  54. 54
    source: http://web.stanford.edu/class/cs224n/slides/cs224n-2019-lecture14-transformers.pdf
    Attending Structures
    recherche de structure complexe
    (SUJET, VERBE, OBJET)

    View Slide

  55. 55
    Composing structures

    View Slide

  56. 56
    he bo -ught a glass
    Deep Transformers
    Att
    Att
    Att
    DNN
    ATTENTION BLOCK
    parameters are shared
    across timesteps (horizontal axis)
    and possibly across depth (ALBERTA)

    View Slide

  57. 57
    he bo -ught a glass
    Deep Transformers

    View Slide

  58. 58
    he bo -ught a glass
    Deep Transformers - outputs
    représentation contextualisée de mot “a”

    View Slide

  59. 59
    [CLS] he bo -ught a glass
    Deep Transformers - outputs
    représentation de la phrase

    View Slide

  60. 60
    [CLS] he bo -ught a glass
    Deep Transformers - outputs
    représentation de la phrase

    View Slide

  61. 61
    [CLS] he bo -ught a glass [SEP] he bo -ught so -me -thing [SEP2]
    Deep Transformers - outputs
    représentation de la paire de phrases

    View Slide

  62. 62
    [CLS] he bo -ught a glass [SEP] he bo -ught so -me -thing [SEP2]
    Deep Transformers - outputs
    représentation de la paire de phrases

    View Slide

  63. 63
    [CLS] he bo -ught a glass [SEP] he bo -ught so -me -thing [SEP2]
    Deep Transformers - outputs
    représentation de la paire de phrases

    View Slide

  64. 64
    Modèle “GPT” =
    Subwords +Transformers + Modèle de Langue

    View Slide

  65. 65
    he bo -ught a [MASK]
    représentation
    à la position du masque
    Modèle “GPT”

    View Slide

  66. 66
    he bo -ught a [MASK]
    GPT = Transformers + Subwords + Modèle de Langue
    softmax
    glass
    do

    View Slide

  67. 67
    BERT =
    GPT +
    Modèle de Langue Bidirectionnel +
    Prédiction de contiguïté de phrases

    View Slide

  68. 68
    BERT: Modèle de langue bidirectionnel
    he bo -ught a [MASK]
    représentation
    à la position du masque

    View Slide

  69. 69
    BERT: Modèle de langue bidirectionnel
    he bo -ught a [MASK] of milk
    représentation
    à la position du masque

    View Slide

  70. 70
    BERT: prédiction de contiguïté
    [CLS] he bo -ught a glass [SEP] it had a nice sha pe
    regression
    logistique

    View Slide

  71. 71
    BERT: prédiction de contiguïté
    [CLS] he bo -ught a glass [SEP] un rela ted sen ten ce
    regression
    logistique

    View Slide

  72. 72
    BERT: aspects fonctionnels
    [CLS] le chat est sur la table [SEP] un animal est sur la table
    classifieur de
    texte/relation
    étiquetage de mots/
    modèle de langue

    View Slide

  73. 73
    BERT: aspects fonctionnels
    [CLS] le chat est sur la table [SEP] un animal est sur la table
    classifieur de
    texte/relation
    étiquetage de mots/
    modèle de langue

    View Slide

  74. ● https://github.com/huggingface/transformers
    ● Modèles existants disponibles
    ○ déjà entraînés sur les tâches source (>10k€ de coût de calcul)
    ■ utilisation: fine-tuning sur tâches cibles
    ○ langues : anglais ou multilingues
    ○ modèles spécialisés (biomédical, finance)
    74
    Librairie Python

    View Slide

  75. 75
    Librairie Python
    from transformers import *
    # Load tokenizer model from pretrained model
    model = BertForSequenceClassification.from_pretrained('bert-base-cased')

    # Load dataset
    train_data = load_data('glue/mrpc')

    # Train and evaluate using tf.keras.Model.fit()
    model.fit(train_data , epochs=2, steps_per_epoch=115,validation_data=valid_dataset, validation_steps=7)
    # Quickly test a few predictions - MRPC is a paraphrasing task, let's see if our model learned the task
    sentence_0 = "This research was consistent with his findings."
    sentence_1 = "His findings were compatible with this research."
    sentence_2 = "His findings were not compatible with this research."
    inputs_1 = tokenizer.encode_plus(sentence_0, sentence_1, add_special_tokens=True, return_tensors='pt')
    inputs_2 = tokenizer.encode_plus(sentence_0, sentence_2, add_special_tokens=True, return_tensors='pt')
    pred_1 = model(**inputs_1)[0].argmax().item()
    pred_2 = model(**inputs_2)[0].argmax().item()
    print("sentence_1 is", "a paraphrase" if pred_1 else "not a paraphrase", "of sentence_0")
    print("sentence_2 is", "a paraphrase" if pred_2 else "not a paraphrase", "of sentence_0")

    View Slide

  76. 76
    Librairie Python
    512 gpu

    View Slide

  77. 77
    Librairie Python
    512 gpu
    fraction de
    gpu

    View Slide

  78. ● Saut de performance emblématisé par le sigle “BERT”
    ● Implémentations faciles d’utilisation disponibles
    ● Progrès qui continue et dépend de la puissance de calcul et des données
    ● Avancées comparables pour la génération de texte
    ● De meilleures évaluations, plus contrôlées sont nécessaires
    ● https://medium.com/synapse-dev/understanding-bert-transformer-attention-isnt-all-you-need-5839ebd396db
    78
    Conclusion

    View Slide

  79. Merci
    79

    View Slide

  80. 80
    Annexe: Self-Attention

    View Slide

  81. que la souris du PC
    Self-Attention
    81
    H

    View Slide

  82. que la souris du PC
    Self-Attention
    82
    H

    View Slide

  83. que la souris du PC
    Self-Attention
    83
    H
    Key
    Value
    Key = F
    K
    (H): ce que le mot dit contenir
    Value = F
    V
    (H): ce que le mot contient
    F
    K

    View Slide

  84. que la souris du PC
    Self-Attention
    84
    H
    Query
    Key
    Value
    Key = F
    K
    (H): ce que le mot dit contenir
    Value = F
    V
    (H): ce que le mot contient
    Query= F
    Q
    (H): ce que le mot cherche

    View Slide

  85. que la souris du PC
    Self-Attention
    85
    H
    Query
    Key
    Value
    8

    View Slide

  86. que la souris du PC
    Self-Attention
    86
    H
    Query
    Key
    Value
    8 6

    View Slide

  87. que la souris du PC
    Self-Attention
    87
    H
    Query
    Key
    Value
    8 6 20

    View Slide

  88. que la souris du PC
    Self-Attention
    88
    H
    Query
    Key
    Value
    8 6 20 6 166

    View Slide

  89. que la souris du PC
    Self-Attention
    89
    H
    Query
    Key
    Value
    4% 3% 10% 3% 83%

    View Slide

  90. que la souris du PC
    Self-Attention
    90
    H
    Query
    Key
    Value
    4% 3% 10% 3% 83%
    moyenne pondérée

    View Slide

  91. que la souris du PC
    Self-Attention
    91
    H
    Query
    Key
    Value

    View Slide

  92. 92
    Attention illustration

    View Slide

  93. composition de
    l’information (synthèse)
    93
    Transformer Block
    head
    1
    head
    2
    head
    3

    concatenation
    composition
    (perceptron multicouche)
    recherche d’information
    dans des structures basées
    sur des aspects et positions
    des mots (analyse)
    une couche
    parmi ~10

    View Slide