datadrink_09092021_INRIA

Transcript

1. Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni Oana Balalau, Inria Saclay & Ecole Polytechnique September 9, 2021 DataDrink LabIA
2. La propagande Technique de communication qui vise à convaincre et non pas à informer. Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 1
3. La propagande La presentation d’aujourd’hui: • Qui publie de la propagande? • En quoi la propagande diffère-t-elle à travers le spectre politique? • Comment la propagande est-elle reçue sur les forums politiques? Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 2
4. La propagande La presentation d’aujourd’hui: • Qui publie de la propagande? • En quoi la propagande diffère-t-elle à travers le spectre politique? • Comment la propagande est-elle reçue sur les forums politiques? Papier publié à EACL 2021 (European Chapter of Association for Computational Linguistics), collaboration avec Roxana Horincar (Thales Research). Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 2
5. La propagande sur Reddit Nous examinons 6 forums politiques pendant 1 an. Politique américaine: • Politics • Democrats • Republican Politique britannique: • UKPolitics • Labour • Tories Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 3
6. La propagande sur Reddit Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 4
7. La propagande sur Reddit Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 4
8. Trouver la propagande à l’aide de classificateurs Jeux de données [Da San Martino et al., 2019] contenant 7,500 phrases de propagande. 18 catégories de propagande, divisées en raisonnement biaisé (“fallacy”) + raisonnement émotionnel. Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 5
9. Trouver la propagande à l’aide de classificateurs Jeux de données [Da San Martino et al., 2019] contenant 7,500 phrases de propagande. 18 catégories de propagande, divisées en raisonnement biaisé (“fallacy”) + raisonnement émotionnel. Raisonnement biaisé: • ad hominem (l’affirmation est fausse car le locuteur est ”mauvais”) • appel à l’autorité (l’affirmation est vraie parce qu’une autorité le dit) Raisonnement émotionnel: • insultes (construire une mauvaise image d’un groupe de personnes) • langage chargé (”pro-vie” vs ”anti-avortement”) Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 5
10. Trouver la propagande à l’aide de classificateurs Classification: étant donné une phrase, contient-elle des techniques de propagande? Oui/Non. Classificateur aléatoire F1 de 28.87% vs. le meilleur modèle F1 60.98% (BERT) Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 6
11. Trouver la propagande à l’aide de classificateurs Classification: étant donné une phrase, contient-elle des techniques de propagande? Oui/Non. Classificateur aléatoire F1 de 28.87% vs. le meilleur modèle F1 60.98% (BERT) Comment être sûr(e) qu’un texte composé de plusieurs phrases est propagandiste ? Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 6
12. Trouver la propagande à l’aide de classificateurs Classification: étant donné une phrase, contient-elle des techniques de propagande? Oui/Non. Classificateur aléatoire F1 de 28.87% vs. le meilleur modèle F1 60.98% (BERT) Comment être sûr(e) qu’un texte composé de plusieurs phrases est propagandiste ? Score de propagande (soummision) = pourcentage phrases classé comme propagande dans le texte 2 groupes: soumissions chargeés de propagande et soumissions sans propagande. Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 6
13. Q1. Qui publie de la propagande? Quels journaux ? Quels utilisateurs partagent les articles ? Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 7
14. Q1. Qui publie de la propagande? Certains journaux publient-ils plus de propagande? Score de biais politique de MediaBiasFactCheck: biais par la sélection de l’histoire, biais par omission, manque de références, etc. Étiquette de biais politique: • centre (pas ou peu de biais politique) • centre gauche, centre droit (biais faible) • gauche, droite (biais modérée) • douteux (bias forte) • autres (journaux sans étiquette) Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 8
15. Q1: Qui publie de la propagande? Politics Sans Propagande (CentreGauche, 34.49%), (Centre, 24.81%), (Gauche, 22.4%) Chargeés de Propagande (Gauche, 39.1%), (CentreGauche, 25.41%), (Centre, 17.09%) Democrats Sans Propagande (CentreGauche, 33.82%), (Gauche, 27.98%), (Centre, 21.74%) Chargeés de Propagande (Gauche, 41.74%), (CentreGauche, 24.44%), (Centre, 15.72%) Republican Sans Propagande (Droite, 35.94%), (Douteux, 23.69%), (CentreGauche, 7.67%) Chargeés de Propagande (Droite, 41.58%), (Douteux, 29.28%), (CentreDroit, 6.58%) UKPolitics Sans Propagande (CentreGauche, 47.66%), (Centre, 10.42%), (Droite, 3.84%) Chargeés de Propagande (CentreGauche, 40.65%), (Droite, 11.31%), (Douteux, 6.11%) LabourUK Sans Propagande (CentreGauche, 48.87%), (Gauche, 3.94%), (Centre, 3.1%) Chargeés de Propagande (CentreGauche, 49.63%), (Gauche, 10.46%), (CentreDroit, 2.7%), Tories Sans Propagande (CentreGauche, 47.18%), (Droite, 9.86%), (Centre, 4.93%) Chargeés de Propagande (CentreGauche, 28.87%), (Droite, 27.11%), (Douteux, 5.63%), Table 1: Lien entre nos groupes et les labels donnés aux revues par des journalistes. Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 9
16. Q1. Qui publie de la propagande? Certains utilisateurs publient-ils plus de propagande? Oui, il y a moins d’utilisateurs uniques qui publient des soumissions chargeés de propagande que des soumissions sans propagande. Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 10
17. Q1. Qui publie de la propagande? Certains utilisateurs publient-ils plus de propagande? Oui, il y a moins d’utilisateurs uniques qui publient des soumissions chargeés de propagande que des soumissions sans propagande. Est-ce que les utilisateurs sont des robots? Classificateur pour la detection des robots Rest-Sleep-and-Comment [Ferraz Costa et al., 2015]. Score F1 moyen de 77.3 en validation croisée. Résultat: les vrais utilisateurs publient plus de propagande, pas le robots. Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 10
18. Q2. La propagande diffère-t-elle à travers le spectre politique? Politique américaine: • Politics • Democrats • Republican Politique britannique: • UKPolitics • Labour • Tories Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 11
19. Q2. La propagande diffère-t-elle à travers le spectre politique? Politique américaine: • Politics • Democrats • Republican Politique britannique: • UKPolitics • Labour • Tories Score de propaganda dans les soumissions: Politics < Democrats < Republican UkPolitics < Tories < LabourUK La droite ne crée pas plus de propagande que la gauche. Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 11
20. Q3. Comment la propagande est-elle reçue sur les forums politiques? Les articles qui contiennent plus de propagande reçoivent-ils plus de commentaires? Oui, pour 5 sur 6 forums. Qu’en est-il des commentaires plus propagandistes? Plus le score de propagande d’un commentaire est élevé, plus il reçoit d’engagement (beaucoup de votes positifs ou beaucoup de votes négatifs) Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 12
21. Je vous remercie! Des questions? Tendances dans nos données: • il existe une relation entre la propagande et les biais politiques • les vrais utilisateurs (pas des robots) partagent des articles de propagande • la propagande génère de l’engagement Travaux futurs: • jeux de données annotés pour d’autres langues • jeux de données plus grands • developer des meilleurs classificateurs Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 13
22. Bibliographie Da San Martino, G., Yu, S., Barrón-Cedeno, A., Petrov, R., and Nakov, P. (2019). Fine-grained analysis of propaganda in news article. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5640–5650. Ferraz Costa, A., Yamaguchi, Y., Juci Machado Traina, A., Traina Jr, C., and Faloutsos, C. (2015). Rsc: Mining and modeling temporal activity in social media. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 269–278. Oana Balalau, Inria Analyse de la propagande dans des forums politiques des États-Unis et du Royaume-Uni 14