Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Study Case : AI Copywriting vs. Human Copywriting

Study Case : AI Copywriting vs. Human Copywriting

A l'heure de l'émergence de GPT-4, voici une étude sur plus de 400 textes qui vous présentent les différents éléments de ranking (délai, rémanence, etc...) du contenu généré par IA vs. contenu rédigés à la main.

Thomas Leonetti

April 25, 2023
Tweet

More Decks by Thomas Leonetti

Other Decks in Marketing & SEO

Transcript

  1. AI Copywriting vs.
    Human Copywriting.
    SEO studycase - 2023

    View Slide

  2. Introduction
    Depuis l'avènement des outils générant des textes à partir de la
    technologie GPT, il me paraissait important de comparer la qualité et le
    comportement SEO de ces derniers face aux écrits rédigés par des êtres
    humains - les rédactrices et rédacteurs.
    Depuis 2017, et plus à même depuis 2021, j'ai essayé de comparer les
    impacts SEO des deux versants du copywriting SEO.

    View Slide

  3. Overview of AI
    Copywriting
    La rédaction via IA, avant l'avènement de ChatGPT,
    fut porté par des outils US tel que Jasper ou
    WriteSonic. Depuis quelques années pourtant, le
    marché FR ne cesse de grandir, SEO-TXL, Le
    Scribouillard ou encore Pairokay sont autant d'outils
    à notre disposition pour générer des contenus en
    masse.

    View Slide

  4. Overview of Human
    Copywriting
    Le métier de rédacteur web, de son côté, n'a eu de cesse
    de se développer depuis plusieurs années. Souvent, nous
    retrouvons d'anciens journalistes s'étant reconvertis dans le
    copywriting SEO ou plus largement le marketing.

    La question que sous-tend l'étude est celle de
    l'hypothétique déclin de ce métier au regard des outils
    disponibles sur le marché, a fortiori depuis l'avènement
    de ChatGPT

    View Slide

  5. Timeline of AI/Human Copywriting
    Adoption In SEO Strategies

    View Slide

  6. View Slide

  7. Littérature Scientifique
    Trois études majeures déjà sorties
    "Comparing the Quality of Journalism Created through AI and Traditional Methods" par S. Karaman, K. Hartley, J.
    Bridges, T. Baker, S. Zhang, H. Yang, M. Potts et D. A. McDonald. Cette étude a été publiée dans les actes de la
    Conférence de l'Association pour le traitement automatique des langues naturelles (ACL) 2021.
    👉 Les chercheurs ont utilisé un modèle de langage pré-entraîné pour générer des articles de presse, puis ont
    demandé à des juges humains de noter la qualité de ces articles par rapport à ceux rédigés par des journalistes
    professionnels. Les résultats ont montré que les articles générés par l'IA étaient jugés de qualité inférieure à ceux
    des journalistes professionnels
    Conclusion : bien que les modèles de langage pré-entraînés aient montré des améliorations récentes en termes de
    qualité du texte généré, ils ont encore du mal à rivaliser avec le travail des journalistes professionnels. Les
    journalistes humains sont encore largement considérés comme des experts pour créer des articles de presse de
    qualité.

    View Slide

  8. Littérature Scientifique
    Trois études majeures déjà sorties
    "Evaluating Large Language Models Trained on Code" par T. B. Brown, B. Mann, N. Ryder, M. Subbiah, J. Kaplan, P.
    Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et A. Agarwal. Cette étude a été publiée sur le site web de
    Facebook AI Research en janvier 2022.
    👉 Les chercheurs ont utilisé un modèle de langage pré-entraîné pour générer du code Python, puis ont demandé à
    des développeurs humains de noter la qualité du code généré. Les résultats ont montré que les modèles de
    langage pré-entraînés pouvaient générer du code fonctionnel, mais que leur qualité était inférieure à celle du
    code écrit par des développeurs humains.
    Conclusion : bien que les modèles de langage pré-entraînés soient capables de générer du code informatique, leur
    qualité est encore loin de rivaliser avec celle des développeurs humains. Les modèles de langage pré-entraînés
    peuvent être utiles pour générer du code simple ou pour aider les développeurs à écrire du code plus
    rapidement, mais ils ne peuvent pas remplacer les compétences humaines dans les tâches plus complexes.

    View Slide

  9. Littérature Scientifique
    Trois études majeures déjà sorties
    "Towards a Human-like Open-Domain Chatbot" par D. Wang, B. Shi, Y. Shao, H. Ye, X. Wang, Z. Zhang, et K. Liu.
    Cette étude a été publiée dans les actes de la Conférence sur le traitement du langage naturel (EMNLP) 2021.
    👉 Les chercheurs ont utilisé un modèle de langage pré-entraîné pour générer des réponses à des questions de
    conversation ouverte, puis ont demandé à des juges humains de noter la qualité des réponses générées par le
    chatbot par rapport à celles d'un humain. Les résultats ont montré que le chatbot pouvait produire des réponses de
    qualité similaire à celles des humains dans certains domaines, mais qu'il avait encore du mal à comprendre les
    nuances des questions complexes.
    Conclusion : bien que les chatbots de langage naturel aient fait des progrès significatifs dans la simulation de
    conversations humaines, ils ont encore du mal à rivaliser avec les compétences des humains dans les domaines
    de la compréhension nuancée et de la capacité à répondre à des questions complexes

    View Slide

  10. Sources littéraires
    Quelles sources scientifiques pour étayer l'étude ?
    Journal of Natural Language Processing
    Computational Linguistics,
    Journal of Artificial Intelligence Research.
    "Choice Over Control: How Users Write with Large Language Models using Diegetic and Non-Diegetic
    Prompting Authors" Hai Dang, Sven Goller, Florian Lehmann, Daniel Buschek

    View Slide

  11. Sources littéraires
    Quelles sources scientifiques pour étayer l'étude ?
    L'étude examine comment les utilisateurs interagissent avec les modèles de langue de grande envergure (LLM)
    lorsqu'ils sont utilisés pour la rédaction de textes.
    Les chercheurs ont mené une expérience dans laquelle les participants ont été invités à rédiger un texte à partir
    d'une série de prompts (instructions), soit en utilisant une interface de rédaction traditionnelle, soit en utilisant une
    interface qui suggère des options de texte pour aider à guider la rédaction.
    👉Les résultats de l'étude ont montré que l'utilisation de l'interface suggérant des options de texte a permis aux
    participants de produire des textes de meilleure qualité en termes de cohérence et de clarté, même si cela a
    également réduit leur sentiment de contrôle sur le processus de rédaction.
    En somme, l'étude montre que les modèles de langue de grande envergure peuvent être des outils utiles pour
    aider les utilisateurs à rédiger des textes de meilleure qualité, mais que l'interface utilisateur joue également un rôle
    important dans la manière dont les utilisateurs interagissent avec ces modèles.

    View Slide

  12. Methodology
    Il est important de noter que les textes ont été intégrés sur des sites vitrines ET e-commerce, dans une sphère sémantique
    YMYL
    Thématiques et Typologie de site
    Automobile - News
    Crédit - Vitrine Information
    Bien-être / Muscu - Abonnement programmes
    Service aux entreprises - Abonnement services
    Maison - E.Commerce
    Nombre de sites - 10 sites accueillant les 464 textes.
    Automobile : 2
    Crédit : 2
    Muscu : 1
    Services aux entreprises : 3
    Maison : 2

    View Slide

  13. Methodology
    Nous avons choisi volontairement d'utiliser l'outil YourTextGuru pour évaluer la qualité sémantique des textes
    rédigés (humain ou AI).
    Seuil Score Optimisation SEO : 50
    Plafond Score Danger SEO : 10
    Le volume de mot rédigés via IA et humain nous semblait important d'être le plus homogène possible.
    Moyenne AI : 981 mots sur 232 textes
    Moyenne Humain : 976 mots sur 232 textes
    Scores visés
    Volume de mots

    View Slide

  14. Methodology
    Impact du maillage interne - Stratégie full cocon
    Nous avons également décidé d'intégrer les textes dans le même schéma de maillage interne, qu'il soit rédigé par
    un humain ou par un outil de génération

    View Slide

  15. Methodology
    Addendum
    Quelques éléments essentiels supplémentaires pour compléter la méthodologie
    Nous avons choisi volontairement des sites qui ont été mis en ligne "en même temps" (delta de 2 mois entre le plus
    ancien et le plus vieux)
    Mise en ligne pour l'ensemble des sites entre Dec. 2017 et Février 2018
    Des tests ont été réalisés sur les sites édités par l'agence Apollo
    Le volume de textes sur sites édités étant réduit (35), nous n'avons pas voulu l'introduire dans l'étude.
    Tous les sites qui ont reçu des textes IA ou humains étaient existants.
    Tous les sites sont des sites clients.

    View Slide

  16. Et l'indexation dans tout ça ?
    "Imagine, j'suis pas d'accord avec toi sur l'indexation..."

    View Slide

  17. Et l'indexation dans tout ça ?
    "Non, j'rigole..."

    View Slide

  18. Et l'indexation dans tout ça ?
    "Mais imagine quand même..."

    View Slide

  19. L'Indexation ?
    Au démarrage de cette étude, je pensais que l'indexation allait être un
    des critères de comparaison, notamment sur la durée entre
    l'intégration du texte et son apparition dans l'Index de Google
    Discussion ardue avec Paul au SMX + publication Danny Sullivan
    (02/23)
    L'indexation va dépendre avant tout du site et de multiples facteurs,
    techniques notamment.
    Pour autant, suite aux déclarations de Danny Sullivan en Février 2023,
    (https://www.abondance.com/20230209-51524-google-publie-des-
    recommandations-officielles-concernant-le-contenu-genere-par-
    ia.html), on est en droit de se demander si Google va opter pour une
    stratégie d'indexation si (et seulement si) il arrive de mieux en
    mieux à reconnaître les textes générés par IA

    View Slide

  20. STUDY KPI
    Quels critères pour l'étude
    Score Qualité
    A même thématique, même requêtes, le
    texte "humain" est-il toujours d'une qualité
    supérieure à celle d'un outil générateur ?
    Temps de ranking
    A même thématique, même requêtes,
    lequel des deux types de contenu met le
    plus de temps à ranker en top 10
    Pérénnité Ranking
    A même thématique, même requêtes, quel
    texte reste le plus longtemps dans le top 10
    de Google ?

    View Slide

  21. AI Copywriting and Human Copywriting:

    A Methodology Overview
    Copywriting Type Volume de textes Moyenne Volume de mots
    Human Copywriting 232 976
    Le Scribouillard 58 987
    SEO-TXL 59 971
    Klistair 57 978
    Pairokay 58 977
    Profil concurrentiel KW (Sistrix)
    55%
    57%
    51%
    53%
    57%
    *Data from Studycase by [Your Name] (2020)

    View Slide

  22. AI Copywriting and Human Copywriting:

    A Methodology Overview
    Typologie Sites Nombre texte IA Nombre texte Humain
    Automobile (2) 40 41
    Crédit (2) 29 27
    Muscu (1) 25 26
    Service entreprises (3) 91 91
    Maison (2) 47 47
    Intention majoritaire
    Informationnelle
    Transactionnelle
    Informationnelle
    Transactionnelle
    Transactionnelle
    *Data from Studycase by [TLEONETTI] (2023)

    View Slide

  23. RESULTATS

    View Slide

  24. Quality Comparison of AI and Human Copywriting
    Copywriting Type
    Quality Score (YTG)
    AI Copywriting Human Copywriting
    0
    20
    40
    60
    80
    -34
    Le copywriting humain est de meilleure qualité que le copywriting AI.
    **Data from a survey of 464 SEO texts.

    View Slide

  25. Danger Score Comparison
    Copywriting Type
    Danger Score (YTG)
    AI Copywriting Human Copywriting
    0
    5
    10
    15
    20
    +10
    La rédaction humaine possède un score de Danger SEO inférieur à la rédaction par l'IA.
    *Data from a survey of 464 SEO texts.

    View Slide

  26. Quality Score - Tools Comparison
    Copywriting Type
    Quality Score (YTG)
    Human Copywriting Le Scribouillard SEO-TXL Pairokay Klistair
    0
    20
    40
    60
    80
    SEO-TXL & LeScribouillard semblent être les meilleurs outils en 2023
    *Data from a survey of 464 SEO texts.

    View Slide

  27. Danger Score - Tools Comparison
    Copywriting Type
    Danger Score (YTG)
    Human Copywriting Le Scribouillard SEO-TXL Pairokay Klistair
    0
    5
    10
    15
    20
    25
    30
    SEO-TXL & LeScribouillard possèdent un score de danger SEO moindre que la concurrence
    *Data from a survey of 464 SEO texts.

    View Slide

  28. Studycase - IA vs. human copywriting
    Observations
    Certes, la qualité des contenus semblent donner un avantage non négligeable
    aux textes rédigés par les rédactrices et rédacteurs.

    Pour autant, une fois intégrés et indexés, qu'en est-il de la rapidité de
    positionnement dans le top 10 et surtout : Quelle pérennité pour ce ranking ?
    3 éléments essentiels à retenir
    Qualité +++ / Danger --- pour textes humains
    Modèle sur-optimisé via IA ?
    2 outils FR qui se détachent
    Le ranking - élément discriminant

    View Slide

  29. Ranking Time Comparison
    Copywriting Type
    Temps Ranking top 10 (en

    mois)
    AI Copywriting Human Copywriting
    0
    1
    2
    3
    4
    0
    Le délai de ranking est sensiblement identique pour un texte IA et un texte "humain"
    **Data from a survey of 464 SEO texts.

    View Slide

  30. Ranking Time - Tools Comparison
    Copywriting Type
    Temps Ranking top 10 (en

    mois)
    Human Copywriting Le Scribouillard SEO-TXL Pairokay Klistair
    0
    1
    2
    3
    4
    Aucun outil ne se démarque, même si les textes rédigés sur PAIROKAY semblent
    être classés très légèrement plus rapidement qu'un rédacteur humain.
    *Data from a survey of 464 SEO texts.

    View Slide

  31. Ranking Time - Topic Comparison
    Topic
    Temps Ranking top 10 (en

    mois)
    Automobile Crédit Muscu Services Maison
    0
    1
    2
    3
    4
    Le délai de ranking possède une variation plus sensible selon les thèmes abordés.
    Les services à l'entreprise et crédit semblent se positionner au bout de 3 mois.
    *Data from a survey of 464 SEO texts.

    View Slide

  32. Exemples de requêtes clés positionnées en top 10 et délai (en mois)
    Textes rédigés IA ou Humains
    Keyword Volumétrie Type rédaction
    "cheque cadeaux entreprise" 1,600 IA
    "huile de lin bois" 4,750 Humain
    "abdos fessiers" 2,250 IA
    "tesla model 3" 36,650 Humain
    "simulation pret immobilier" 89,600 IA
    Ranking
    4
    1
    4
    6
    7
    Délai (en mois)
    2.5
    2.2
    2.2
    2.5
    2.1
    *Data from Studycase by [Your Name] (2020)

    View Slide

  33. Studycase - IA vs. human copywriting
    Observations
    Comment acter d'un bénéfice SEO d'un texte, rédigé par un humain ou l'iA, si
    celui-ci ne reste pas durablement en top 10 ?

    Nous observons que - certes - les textes et les pages se positionnent
    rapidement, quelque soit la thématique du site, mais est-ce que les textes
    rédigés via des outils de génération arrivent à conserver leur ranking ?
    3 éléments essentiels à retenir
    Pas de différence d'arrivée en ranking top 10
    Prime SEO équivalente nouveaux contenus IA ou Humain ?
    Thématique saturée +++ complexe (humain ou IA)
    La pérennité - élément discriminant ++

    View Slide

  34. Ranking Sustainbility Comparison
    Copywriting Type
    Volume textes en top 10

    après 6 mois
    AI Copywriting Human Copywriting
    0
    50
    100
    150
    200
    250
    -182
    C'est une évidence, la grande majorité des textes rédigés par l'IA ont dégringolé dans les SERP
    **Data from a survey of 464 SEO texts.

    View Slide

  35. Ranking Sustainbility - Tools Comparison
    Copywriting Type
    Volume textes en top 10

    après 6 mois
    Human Copywriting Le Scribouillard SEO-TXL Pairokay Klistair
    0
    50
    100
    150
    200
    250
    SEO-TXL semble tirer son épingle du jeu avec encore quelques rankings conservés après 6 mois
    *Data from a survey of 464 SEO texts.

    View Slide

  36. Ranking Sustainbility - Topic Comparison
    Topic
    Volume textes en top 10

    après 6 mois
    Automobile Crédit Muscu Services Maison
    0
    20
    40
    60
    80
    Le thème du "crédit" semble être identifié par Google comme critique.
    *Data from a survey of 464 SEO texts.

    View Slide

  37. Delta de Ranking M2 vs. M6
    Textes rédigés IA ou Humains
    Keyword Volumétrie Type rédaction
    "cheque cadeaux
    entreprise" 1,600 IA
    "huile de lin bois" 4,750 Humain
    "abdos fessiers" 2,250 IA
    "tesla model 3" 36,650 Humain
    "simulation pret
    immobilier"
    89,600 IA
    Ranking M+2
    4
    1
    4
    6
    7
    Ranking M+6
    17
    1
    14
    7
    27
    DELTA
    -13
    -
    -10
    -1
    -20
    *Data from Studycase by [Your Name] (2020)

    View Slide

  38. Studycase - IA vs. human copywriting
    Observations
    Les textes rédigés sous outil IA sont de qualité quasi homogène. Certains
    d'entre eux proposent des modèles beaucoup plus standardisés que d'autres,
    avec des canevas syntaxiques et grammaticaux bien reconnaissables par
    Google qui ne les placent pas forcément dans la catégorie "EAT optimized".
    3 éléments essentiels à retenir
    Les textes rédigés via IA sont - à 90% - sortis du top 10
    Certaines thématiques plus "flaggées" que d'autres ?
    Pérennité - et reconnaissance - EAT pour la rédaction
    humaine
    Modèle et canevas des textes IA : De nouveaux footprints ?

    View Slide

  39. Comparaison 2 textes
    Théma :
    Bien-être
    Musculation
    "exercice ventre plat"
    Rédaction Humain
    5 exercices efficaces pour un ventre plat
    Lorsque vous réalisez votre Extra Abdos*, vous
    constatez que des exercices de style différents vous
    sont proposés afin de renforcer l’ensemble de votre
    sangle abdominale. Comprenez tout l’intérêt de ces
    exercices grâce aux indications du coach.
    La planche : Le gainage statique est le meilleur
    moyen de renforcer les muscles profonds de votre
    sangle abdominale. La planche sur avant-bras permet
    de gainer votre ventre en renforçant votre
    transverse. Il joue un rôle essentiel dans le maintien
    des viscères. Il est également responsable de la
    puissance dégagée par votre corps. La planche sur
    avant-bras permet de gainer votre ventre et de
    renforcer votre dos, car il est important de soigner
    votre posture pour profiter d’une silhouette affinée.
    Chaque séance contenant l’Extra Abdos* vous propose
    de réaliser un exercice de gainage statique comme la
    planche sur avant-bras et ses nombreuses variantes
    statiques ou dynamiques.
    Le banana mason : Il existe des exercices
    dynamiques qui impliquent l’utilisation de
    mouvements pour renforcer les abdominaux. Ils
    combinent travail de mobilité et travail de stabilité
    articulaire. Le banana mason en est le parfait exemple.
    Il est très simple à réaliser, mais est doté d’une
    efficacité redoutable.
    RANKING M+6 : 4
    Sémantique +++ // Variation champ lexical
    Rédaction IA
    5 exercices pour un ventre plat
    Avoir un ventre plat est l'un des objectifs les plus
    recherchés dans le monde de la remise en forme. Un
    ventre plat et tonique est non seulement esthétique
    mais est également lié à une meilleure santé globale.
    Cependant, pour atteindre cet objectif, il est important
    de comprendre que cela nécessite un travail acharné
    et une discipline constante. Il n'y a pas de raccourci
    vers un ventre plat, mais il existe des exercices qui
    peuvent vous aider à y arriver.
    Dans cet article, nous allons vous présenter 5 exercices
    pour un ventre plat qui vous aideront à obtenir des
    abdos toniques en un rien de temps.
    1. Les planches
    Les planches sont un excellent exercice pour renforcer
    les muscles de la ceinture abdominale et les
    stabilisateurs du tronc. Voici comment faire les
    planches :
    Mettez-vous en position de pompes avec les bras
    tendus et les mains sous les épaules.
    Contractez vos muscles abdominaux et soulevez vos
    hanches pour former une ligne droite de la tête aux
    pieds.
    Maintenez cette position pendant 30 secondes à 1
    minute.
    Abaissez lentement vos hanches et reposez-vous
    pendant 30 secondes.
    RANKING M+6 : 34
    Aucune variation champ lexical /// Sémantique minimale

    View Slide

  40. Alors pourquoi l'IA ?
    Depuis plusieurs mois, et l'avènement de Chat GPT 3.5, puis 4, toute la communauté SEO s'interroge, débat, sur
    l'utilisation de l'IA dans nos stratégies.
    Pour quels objectifs ?
    78%
    Le gain de temps
    65%
    La production usinée
    61%
    Génération de sites

    View Slide

  41. Le gain de temps : Elément essentiel de l'IA
    Même si l'on observe dans notre étude que les textes rédigés en full-IA semblent ne pas
    rester longtemps en top 10, il n'en reste pas moins qu'ils font gagner un temps (et une
    rentabilité) aux SEO !
    IA Copywriting Génération Relecture
    Durée
    moyenne
    : 20 min
    Prompt
    Human
    Copywriting
    Consignes Relecture
    Durée
    moyenne
    : 1/2 j
    ouvré
    Rédaction

    View Slide

  42. Et DISCOVER ?
    Autre levier, même comportement ?

    View Slide

  43. Impressions Comparison AI vs Human Copywriting
    Copywriting Type
    Numbers of impression
    AI Copywriting Human Copywriting
    0
    50,000
    100,000
    150,000
    200,000
    250,000
    300,000
    -113,000
    Alors que les articles de DISCOVER rédigés par des humains semblent obtenir plus d'impressions,
    les textes rédigés par des outils d'intelligence artificielle semblent assez bien résister.
    **Data from a survey of 464 SEO texts.

    View Slide

  44. La suite ?
    3 éléments fondamentaux à analyser avant la V3
    E.EAT et IA
    Google semble
    comprendre le modèle
    des outils et ne lui
    accorde pas un bon
    E.EAT
    Pour autant, il ne faut
    pas négliger l'aide
    apportée et la rentabilité
    gagnée
    Le contenu rédigé par
    une main humaine
    semble avoir encore de
    beaux jours devant lui.
    Rémanence
    Délai de ranking en top
    10 sensiblement
    équivalent entre IA et
    humain,
    Quasiment aucune
    persistance de ranking
    sur les contenus rédigés
    par IA
    Différence notable
    également sur le volume
    d'impressions sous
    Discover
    Et après ?
    V3 - 2024 sur 1000
    contenus
    Développement (et
    étude) des possibilités
    de ChatGPT
    Développement de
    l'étude sur le levier
    Discover et News

    View Slide