A l'heure de l'émergence de GPT-4, voici une étude sur plus de 400 textes qui vous présentent les différents éléments de ranking (délai, rémanence, etc...) du contenu généré par IA vs. contenu rédigés à la main.
Introduction Depuis l'avènement des outils générant des textes à partir de la technologie GPT, il me paraissait important de comparer la qualité et le comportement SEO de ces derniers face aux écrits rédigés par des êtres humains - les rédactrices et rédacteurs. Depuis 2017, et plus à même depuis 2021, j'ai essayé de comparer les impacts SEO des deux versants du copywriting SEO.
Overview of AI Copywriting La rédaction via IA, avant l'avènement de ChatGPT, fut porté par des outils US tel que Jasper ou WriteSonic. Depuis quelques années pourtant, le marché FR ne cesse de grandir, SEO-TXL, Le Scribouillard ou encore Pairokay sont autant d'outils à notre disposition pour générer des contenus en masse.
Overview of Human Copywriting Le métier de rédacteur web, de son côté, n'a eu de cesse de se développer depuis plusieurs années. Souvent, nous retrouvons d'anciens journalistes s'étant reconvertis dans le copywriting SEO ou plus largement le marketing.
La question que sous-tend l'étude est celle de l'hypothétique déclin de ce métier au regard des outils disponibles sur le marché, a fortiori depuis l'avènement de ChatGPT
Littérature Scientifique Trois études majeures déjà sorties "Comparing the Quality of Journalism Created through AI and Traditional Methods" par S. Karaman, K. Hartley, J. Bridges, T. Baker, S. Zhang, H. Yang, M. Potts et D. A. McDonald. Cette étude a été publiée dans les actes de la Conférence de l'Association pour le traitement automatique des langues naturelles (ACL) 2021. 👉 Les chercheurs ont utilisé un modèle de langage pré-entraîné pour générer des articles de presse, puis ont demandé à des juges humains de noter la qualité de ces articles par rapport à ceux rédigés par des journalistes professionnels. Les résultats ont montré que les articles générés par l'IA étaient jugés de qualité inférieure à ceux des journalistes professionnels Conclusion : bien que les modèles de langage pré-entraînés aient montré des améliorations récentes en termes de qualité du texte généré, ils ont encore du mal à rivaliser avec le travail des journalistes professionnels. Les journalistes humains sont encore largement considérés comme des experts pour créer des articles de presse de qualité.
Littérature Scientifique Trois études majeures déjà sorties "Evaluating Large Language Models Trained on Code" par T. B. Brown, B. Mann, N. Ryder, M. Subbiah, J. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et A. Agarwal. Cette étude a été publiée sur le site web de Facebook AI Research en janvier 2022. 👉 Les chercheurs ont utilisé un modèle de langage pré-entraîné pour générer du code Python, puis ont demandé à des développeurs humains de noter la qualité du code généré. Les résultats ont montré que les modèles de langage pré-entraînés pouvaient générer du code fonctionnel, mais que leur qualité était inférieure à celle du code écrit par des développeurs humains. Conclusion : bien que les modèles de langage pré-entraînés soient capables de générer du code informatique, leur qualité est encore loin de rivaliser avec celle des développeurs humains. Les modèles de langage pré-entraînés peuvent être utiles pour générer du code simple ou pour aider les développeurs à écrire du code plus rapidement, mais ils ne peuvent pas remplacer les compétences humaines dans les tâches plus complexes.
Littérature Scientifique Trois études majeures déjà sorties "Towards a Human-like Open-Domain Chatbot" par D. Wang, B. Shi, Y. Shao, H. Ye, X. Wang, Z. Zhang, et K. Liu. Cette étude a été publiée dans les actes de la Conférence sur le traitement du langage naturel (EMNLP) 2021. 👉 Les chercheurs ont utilisé un modèle de langage pré-entraîné pour générer des réponses à des questions de conversation ouverte, puis ont demandé à des juges humains de noter la qualité des réponses générées par le chatbot par rapport à celles d'un humain. Les résultats ont montré que le chatbot pouvait produire des réponses de qualité similaire à celles des humains dans certains domaines, mais qu'il avait encore du mal à comprendre les nuances des questions complexes. Conclusion : bien que les chatbots de langage naturel aient fait des progrès significatifs dans la simulation de conversations humaines, ils ont encore du mal à rivaliser avec les compétences des humains dans les domaines de la compréhension nuancée et de la capacité à répondre à des questions complexes
Sources littéraires Quelles sources scientifiques pour étayer l'étude ? Journal of Natural Language Processing Computational Linguistics, Journal of Artificial Intelligence Research. "Choice Over Control: How Users Write with Large Language Models using Diegetic and Non-Diegetic Prompting Authors" Hai Dang, Sven Goller, Florian Lehmann, Daniel Buschek
Sources littéraires Quelles sources scientifiques pour étayer l'étude ? L'étude examine comment les utilisateurs interagissent avec les modèles de langue de grande envergure (LLM) lorsqu'ils sont utilisés pour la rédaction de textes. Les chercheurs ont mené une expérience dans laquelle les participants ont été invités à rédiger un texte à partir d'une série de prompts (instructions), soit en utilisant une interface de rédaction traditionnelle, soit en utilisant une interface qui suggère des options de texte pour aider à guider la rédaction. 👉Les résultats de l'étude ont montré que l'utilisation de l'interface suggérant des options de texte a permis aux participants de produire des textes de meilleure qualité en termes de cohérence et de clarté, même si cela a également réduit leur sentiment de contrôle sur le processus de rédaction. En somme, l'étude montre que les modèles de langue de grande envergure peuvent être des outils utiles pour aider les utilisateurs à rédiger des textes de meilleure qualité, mais que l'interface utilisateur joue également un rôle important dans la manière dont les utilisateurs interagissent avec ces modèles.
Methodology Il est important de noter que les textes ont été intégrés sur des sites vitrines ET e-commerce, dans une sphère sémantique YMYL Thématiques et Typologie de site Automobile - News Crédit - Vitrine Information Bien-être / Muscu - Abonnement programmes Service aux entreprises - Abonnement services Maison - E.Commerce Nombre de sites - 10 sites accueillant les 464 textes. Automobile : 2 Crédit : 2 Muscu : 1 Services aux entreprises : 3 Maison : 2
Methodology Nous avons choisi volontairement d'utiliser l'outil YourTextGuru pour évaluer la qualité sémantique des textes rédigés (humain ou AI). Seuil Score Optimisation SEO : 50 Plafond Score Danger SEO : 10 Le volume de mot rédigés via IA et humain nous semblait important d'être le plus homogène possible. Moyenne AI : 981 mots sur 232 textes Moyenne Humain : 976 mots sur 232 textes Scores visés Volume de mots
Methodology Impact du maillage interne - Stratégie full cocon Nous avons également décidé d'intégrer les textes dans le même schéma de maillage interne, qu'il soit rédigé par un humain ou par un outil de génération
Methodology Addendum Quelques éléments essentiels supplémentaires pour compléter la méthodologie Nous avons choisi volontairement des sites qui ont été mis en ligne "en même temps" (delta de 2 mois entre le plus ancien et le plus vieux) Mise en ligne pour l'ensemble des sites entre Dec. 2017 et Février 2018 Des tests ont été réalisés sur les sites édités par l'agence Apollo Le volume de textes sur sites édités étant réduit (35), nous n'avons pas voulu l'introduire dans l'étude. Tous les sites qui ont reçu des textes IA ou humains étaient existants. Tous les sites sont des sites clients.
L'Indexation ? Au démarrage de cette étude, je pensais que l'indexation allait être un des critères de comparaison, notamment sur la durée entre l'intégration du texte et son apparition dans l'Index de Google Discussion ardue avec Paul au SMX + publication Danny Sullivan (02/23) L'indexation va dépendre avant tout du site et de multiples facteurs, techniques notamment. Pour autant, suite aux déclarations de Danny Sullivan en Février 2023, (https://www.abondance.com/20230209-51524-google-publie-des- recommandations-officielles-concernant-le-contenu-genere-par- ia.html), on est en droit de se demander si Google va opter pour une stratégie d'indexation si (et seulement si) il arrive de mieux en mieux à reconnaître les textes générés par IA
STUDY KPI Quels critères pour l'étude Score Qualité A même thématique, même requêtes, le texte "humain" est-il toujours d'une qualité supérieure à celle d'un outil générateur ? Temps de ranking A même thématique, même requêtes, lequel des deux types de contenu met le plus de temps à ranker en top 10 Pérénnité Ranking A même thématique, même requêtes, quel texte reste le plus longtemps dans le top 10 de Google ?
A Methodology Overview Copywriting Type Volume de textes Moyenne Volume de mots Human Copywriting 232 976 Le Scribouillard 58 987 SEO-TXL 59 971 Klistair 57 978 Pairokay 58 977 Profil concurrentiel KW (Sistrix) 55% 57% 51% 53% 57% *Data from Studycase by [Your Name] (2020)
Quality Comparison of AI and Human Copywriting Copywriting Type Quality Score (YTG) AI Copywriting Human Copywriting 0 20 40 60 80 -34 Le copywriting humain est de meilleure qualité que le copywriting AI. **Data from a survey of 464 SEO texts.
Danger Score Comparison Copywriting Type Danger Score (YTG) AI Copywriting Human Copywriting 0 5 10 15 20 +10 La rédaction humaine possède un score de Danger SEO inférieur à la rédaction par l'IA. *Data from a survey of 464 SEO texts.
Quality Score - Tools Comparison Copywriting Type Quality Score (YTG) Human Copywriting Le Scribouillard SEO-TXL Pairokay Klistair 0 20 40 60 80 SEO-TXL & LeScribouillard semblent être les meilleurs outils en 2023 *Data from a survey of 464 SEO texts.
Danger Score - Tools Comparison Copywriting Type Danger Score (YTG) Human Copywriting Le Scribouillard SEO-TXL Pairokay Klistair 0 5 10 15 20 25 30 SEO-TXL & LeScribouillard possèdent un score de danger SEO moindre que la concurrence *Data from a survey of 464 SEO texts.
Studycase - IA vs. human copywriting Observations Certes, la qualité des contenus semblent donner un avantage non négligeable aux textes rédigés par les rédactrices et rédacteurs.
Pour autant, une fois intégrés et indexés, qu'en est-il de la rapidité de positionnement dans le top 10 et surtout : Quelle pérennité pour ce ranking ? 3 éléments essentiels à retenir Qualité +++ / Danger --- pour textes humains Modèle sur-optimisé via IA ? 2 outils FR qui se détachent Le ranking - élément discriminant
Ranking Time Comparison Copywriting Type Temps Ranking top 10 (en mois) AI Copywriting Human Copywriting 0 1 2 3 4 0 Le délai de ranking est sensiblement identique pour un texte IA et un texte "humain" **Data from a survey of 464 SEO texts.
Ranking Time - Tools Comparison Copywriting Type Temps Ranking top 10 (en mois) Human Copywriting Le Scribouillard SEO-TXL Pairokay Klistair 0 1 2 3 4 Aucun outil ne se démarque, même si les textes rédigés sur PAIROKAY semblent être classés très légèrement plus rapidement qu'un rédacteur humain. *Data from a survey of 464 SEO texts.
Ranking Time - Topic Comparison Topic Temps Ranking top 10 (en mois) Automobile Crédit Muscu Services Maison 0 1 2 3 4 Le délai de ranking possède une variation plus sensible selon les thèmes abordés. Les services à l'entreprise et crédit semblent se positionner au bout de 3 mois. *Data from a survey of 464 SEO texts.
Exemples de requêtes clés positionnées en top 10 et délai (en mois) Textes rédigés IA ou Humains Keyword Volumétrie Type rédaction "cheque cadeaux entreprise" 1,600 IA "huile de lin bois" 4,750 Humain "abdos fessiers" 2,250 IA "tesla model 3" 36,650 Humain "simulation pret immobilier" 89,600 IA Ranking 4 1 4 6 7 Délai (en mois) 2.5 2.2 2.2 2.5 2.1 *Data from Studycase by [Your Name] (2020)
Studycase - IA vs. human copywriting Observations Comment acter d'un bénéfice SEO d'un texte, rédigé par un humain ou l'iA, si celui-ci ne reste pas durablement en top 10 ?
Nous observons que - certes - les textes et les pages se positionnent rapidement, quelque soit la thématique du site, mais est-ce que les textes rédigés via des outils de génération arrivent à conserver leur ranking ? 3 éléments essentiels à retenir Pas de différence d'arrivée en ranking top 10 Prime SEO équivalente nouveaux contenus IA ou Humain ? Thématique saturée +++ complexe (humain ou IA) La pérennité - élément discriminant ++
Ranking Sustainbility Comparison Copywriting Type Volume textes en top 10 après 6 mois AI Copywriting Human Copywriting 0 50 100 150 200 250 -182 C'est une évidence, la grande majorité des textes rédigés par l'IA ont dégringolé dans les SERP **Data from a survey of 464 SEO texts.
Ranking Sustainbility - Tools Comparison Copywriting Type Volume textes en top 10 après 6 mois Human Copywriting Le Scribouillard SEO-TXL Pairokay Klistair 0 50 100 150 200 250 SEO-TXL semble tirer son épingle du jeu avec encore quelques rankings conservés après 6 mois *Data from a survey of 464 SEO texts.
Ranking Sustainbility - Topic Comparison Topic Volume textes en top 10 après 6 mois Automobile Crédit Muscu Services Maison 0 20 40 60 80 Le thème du "crédit" semble être identifié par Google comme critique. *Data from a survey of 464 SEO texts.
Delta de Ranking M2 vs. M6 Textes rédigés IA ou Humains Keyword Volumétrie Type rédaction "cheque cadeaux entreprise" 1,600 IA "huile de lin bois" 4,750 Humain "abdos fessiers" 2,250 IA "tesla model 3" 36,650 Humain "simulation pret immobilier" 89,600 IA Ranking M+2 4 1 4 6 7 Ranking M+6 17 1 14 7 27 DELTA -13 - -10 -1 -20 *Data from Studycase by [Your Name] (2020)
Studycase - IA vs. human copywriting Observations Les textes rédigés sous outil IA sont de qualité quasi homogène. Certains d'entre eux proposent des modèles beaucoup plus standardisés que d'autres, avec des canevas syntaxiques et grammaticaux bien reconnaissables par Google qui ne les placent pas forcément dans la catégorie "EAT optimized". 3 éléments essentiels à retenir Les textes rédigés via IA sont - à 90% - sortis du top 10 Certaines thématiques plus "flaggées" que d'autres ? Pérennité - et reconnaissance - EAT pour la rédaction humaine Modèle et canevas des textes IA : De nouveaux footprints ?
Comparaison 2 textes Théma : Bien-être Musculation "exercice ventre plat" Rédaction Humain 5 exercices efficaces pour un ventre plat Lorsque vous réalisez votre Extra Abdos*, vous constatez que des exercices de style différents vous sont proposés afin de renforcer l’ensemble de votre sangle abdominale. Comprenez tout l’intérêt de ces exercices grâce aux indications du coach. La planche : Le gainage statique est le meilleur moyen de renforcer les muscles profonds de votre sangle abdominale. La planche sur avant-bras permet de gainer votre ventre en renforçant votre transverse. Il joue un rôle essentiel dans le maintien des viscères. Il est également responsable de la puissance dégagée par votre corps. La planche sur avant-bras permet de gainer votre ventre et de renforcer votre dos, car il est important de soigner votre posture pour profiter d’une silhouette affinée. Chaque séance contenant l’Extra Abdos* vous propose de réaliser un exercice de gainage statique comme la planche sur avant-bras et ses nombreuses variantes statiques ou dynamiques. Le banana mason : Il existe des exercices dynamiques qui impliquent l’utilisation de mouvements pour renforcer les abdominaux. Ils combinent travail de mobilité et travail de stabilité articulaire. Le banana mason en est le parfait exemple. Il est très simple à réaliser, mais est doté d’une efficacité redoutable. RANKING M+6 : 4 Sémantique +++ // Variation champ lexical Rédaction IA 5 exercices pour un ventre plat Avoir un ventre plat est l'un des objectifs les plus recherchés dans le monde de la remise en forme. Un ventre plat et tonique est non seulement esthétique mais est également lié à une meilleure santé globale. Cependant, pour atteindre cet objectif, il est important de comprendre que cela nécessite un travail acharné et une discipline constante. Il n'y a pas de raccourci vers un ventre plat, mais il existe des exercices qui peuvent vous aider à y arriver. Dans cet article, nous allons vous présenter 5 exercices pour un ventre plat qui vous aideront à obtenir des abdos toniques en un rien de temps. 1. Les planches Les planches sont un excellent exercice pour renforcer les muscles de la ceinture abdominale et les stabilisateurs du tronc. Voici comment faire les planches : Mettez-vous en position de pompes avec les bras tendus et les mains sous les épaules. Contractez vos muscles abdominaux et soulevez vos hanches pour former une ligne droite de la tête aux pieds. Maintenez cette position pendant 30 secondes à 1 minute. Abaissez lentement vos hanches et reposez-vous pendant 30 secondes. RANKING M+6 : 34 Aucune variation champ lexical /// Sémantique minimale
Alors pourquoi l'IA ? Depuis plusieurs mois, et l'avènement de Chat GPT 3.5, puis 4, toute la communauté SEO s'interroge, débat, sur l'utilisation de l'IA dans nos stratégies. Pour quels objectifs ? 78% Le gain de temps 65% La production usinée 61% Génération de sites
Le gain de temps : Elément essentiel de l'IA Même si l'on observe dans notre étude que les textes rédigés en full-IA semblent ne pas rester longtemps en top 10, il n'en reste pas moins qu'ils font gagner un temps (et une rentabilité) aux SEO ! IA Copywriting Génération Relecture Durée moyenne : 20 min Prompt Human Copywriting Consignes Relecture Durée moyenne : 1/2 j ouvré Rédaction
Impressions Comparison AI vs Human Copywriting Copywriting Type Numbers of impression AI Copywriting Human Copywriting 0 50,000 100,000 150,000 200,000 250,000 300,000 -113,000 Alors que les articles de DISCOVER rédigés par des humains semblent obtenir plus d'impressions, les textes rédigés par des outils d'intelligence artificielle semblent assez bien résister. **Data from a survey of 464 SEO texts.
La suite ? 3 éléments fondamentaux à analyser avant la V3 E.EAT et IA Google semble comprendre le modèle des outils et ne lui accorde pas un bon E.EAT Pour autant, il ne faut pas négliger l'aide apportée et la rentabilité gagnée Le contenu rédigé par une main humaine semble avoir encore de beaux jours devant lui. Rémanence Délai de ranking en top 10 sensiblement équivalent entre IA et humain, Quasiment aucune persistance de ranking sur les contenus rédigés par IA Différence notable également sur le volume d'impressions sous Discover Et après ? V3 - 2024 sur 1000 contenus Développement (et étude) des possibilités de ChatGPT Développement de l'étude sur le levier Discover et News
yakiseo
arinelli
gfiorelli1
nathanless
aleyda
crushon
adrijanavujadin007
pavelungr
laurenelizapr
giuliapanozzo
destraynor
garrettdimon
aarron
stephaniewalter
chriscoyier
samanthasiow
sferik
brianwarren
jennybc
erikaheidi
mclloyd
sugarenia