Faire du traitement du langage naturel avec tensorflow

Aujourd’hui, les avancées en terme de machine learning sur la compréhension de la parole, du texte et de ce qui est contenu dans les images et vidéos, sont telles qu’elles permettent de rendre beaucoup plus accessible les contenus numériques. Mais savons nous comment cela fonctionne et quelles en sont les limites ? Dans cette présentation, parsemée d'humour et de fun, Yannick Serge, vous montrera, au travers de démos et d’exemples concrets, comment le traitement du langage a bénéficié des avancées du machine learning.

Transcript

1. Faire du traitement de langage naturel avec Tensorflow Yannick Serge Obam AI/ML Engineer, isoMora ML GDE @OBAMSerge 1
2. Audience idéale • les Enthousiastes en ML, Développeurs en ML, Data Scientist 2
3. Agenda • Introduction au NLP • Gestion des sequences d’un corpus • Apprentissage par transfert sur les NLP • QA 3
4. Introduction au NLP 4
5. C’est quoi le NLP? NLP est une technologie permettant aux machines de comprendre le langage humain grâce à l’intelligence artificielle tfhub.dev Linguistique Informatique Intelligence Artificielle NLP 5
6. Les Applications 6
7. Les différentes approches • L’approche basée sur des règles • Les approches statistiques Utilisation du corpus parallele source BigSnarf blog 7
8. Machine Learning Données en entrée Extration des caracteristiques Répresentation des données Données en sortie Algorithme de ML 8
9. Prétraitement des textes • Tokenization • Désaccentuation • Stemmer • Suppression des stopwords • Désaccentuation • Lemmatiser • Passer en minuscule 9
10. • Sac à mot pour des phrases • TF-IDF • Named Entity Recognition Représentation du corpus • Extraction de relation • Extraction des événement • POS tagging 10
11. http://bit.ly/tokenization001 Demo with tensorflow 11
12. Word embeddings Credit:2 • Word2vec 12
13. Word embeddings Credit:2 13
14. http://bit.ly/embeddings001 Demo with tensorflow 14
15. Gestion des séquences d’un corpus 15
16. Réseaux de neurons récurrents 16
17. Réseaux de neurons récurrents 17
18. Réseaux de neurons récurrents • Problème de memoire. 18
19. Long Short Term Memory- LSTM 19
20. http://http://bit.ly/LSTM001 Demo with tensorflow 20
21. Seq2Seq • Encodeur trouve une représentation de la phrase. • Décodeur utilise cette représentation pour construire une réponse. . Encoder Decoder Entree Sortie Contexte 21
22. Attention Traduction automatique avec Attention Tutoriel: 22
23. Transformer • Encoder-decoder • Self Attention Modèle de transformateur pour la compréhension du langage Tutoriel: 23
24. Apprentissage par transfert en NLP 24
25. C’est quoi transfer learning? 25 Model B Model A Knowlegde Source task Target task
26. Transfer learning in NLP 1- GPT – Generative Pre-Training 2- BERT 3- OpenAI GPT-2 4- Multi-Task Learning Fine tune a BERT Model Tutoriel: Ruder, 2019 26
27. Questions 27
28. Credits Training tokenizers Creating word embeddings coding the word2vec algorithm in python using deep learning State of transfer learning in NLP 29
30. Merci! Yannick Serge Obam AI/ML Engineer, isoMora ML GDE @OBAMSerge