[longread] Learnings van een grootschalige AI contentproductie

Maart 2023, de start van ons bureau. Door de plotselinge opkomst van AI en ChatGPT leek alsof in één klap de waarde van goede content was afgenomen. Hadden we er wel goed aan gedaan om een contentmarketing bureau te beginnen? 

Toen deed zich een unieke kans voor. En hebben we besloten om als ondernemers deze AI-golf te pakken en hem een heel eind uit te surfen. We konden namelijk aan de slag voor een klant in de entertainment industrie die een contentplatform wilde bouwen met alleen AI gegenereerde content. Want: snel, goedkoop en de visie van de toekomst! 

Het voelde tegen beter weten in. Uit onze eigen jarenlange SEO en content marketing ervaring wisten we dat Google goede kwaliteit waardeert. Dat expertise, ervaring, autoriteit en vertrouwen de basis zijn van goede content. Daarnaast wisten we ook dat Google de strijd tegen de veelvoud aan nieuwe content door AI tegen zou gaan met strengere regels. Maar welke effecten zou dit hebben? En konden we het niet gewoon proberen? Voor ons was deze case een ideale case om te testen hoe Google op grootschalige contentproductie reageert.

Hieronder lees je onze grootste learnings, wat de opdracht was, de reactie van Google op grootschalige contentproductie met AI en de uiteindelijke resultaten.  

De opdracht: een internationaal contentplatform 

In de zomer van 2023 konden we aan de slag met het bouwen van een content platform waarop digitale producten werden gereviewed. Onze opdracht? Alle pagina’s moesten zo hoog mogelijk ranken in zoekmachines en organisch verkeer genereren. Dit verkeer werd aangevuld met Adwords campagnes. Vervolgens werd dit verkeer gemonetized door middel van display advertising en affiliate deals. Wij waren als bureau alleen verantwoordelijk voor het organische verkeer.

Het zou een internationaal platform worden. Geld leek geen rol te spelen. De eerste uitrol werd gepland in de Amerikaanse markt, want daar waren de grote zoekvolumes. We zouden live gaan met 750 artikelen met goede zoekvolumes. Bij succes zou er een uitrol naar andere markten en talen ingezet worden. 

Kortom, een heldere opdracht die we met een redactionele aanpak prima konden tackelen. Met onze garantie op hoge kwaliteit en unieke content. In eerste instantie was de geschatte doorlooptijd van de content ca. 3 tot 6 maanden in samenwerking met een vast redactioneel team. 

De koers wijzigt: maak alle content met AI 

Binnen dit project veranderde de opdracht radicaal door de komst van ChatGPT. De klant verwachtte dat we live konden met 750 artikelen binnen 1 maand. Slik. En daarna elke maand in een nieuwe taal. Probleem was vooral dat hier nog geen duidelijke workflows voor waren. De hele machine moest nog bedacht en gebouwd worden, voordat we überhaupt konden produceren. Dus dat was de eerste opdracht.

Met behulp van een paar slimme developers hebben we een custom oplossing gebouwd. Met het zeer kleine redactionele team vulden wij een Excel-sheet in met de key-informatie over het product. Vervolgens schreven we custom prompts om de reviews te genereren. Meervoud inderdaad. Omdat we na heel veel testen merkten dat alles in 1 prompt proppen slechtere resultaten opleverden. 

Deze sheet werd vervolgens in ChatGPT gevoed. Het gaf ons vervolgens de artikelen uitgeschreven terug in een nieuw sheet, inclusief afbeelding. (Sorry, de technische details moet ik jullie schuldig blijven – maar het werkte). Het was ons gelukt. Er stond binnen een maand een indrukwekkende content machine. Maar was het goed genoeg?

• Doel: 750 artikelen in 1 maand
• Gehaald: ja
• Learnings: Prompt engineering is het allerbelangrijkste. Kwantiteit is haalbaar. 

De kwaliteit bleef achter, redacteuren bleken nodig  

Toen kwam de vraag: wat was de kwaliteit van de content uit onze contentmachine? Het korte antwoord hierop is ‘niet goed’. We merkten dat het taalgebruik van GPT4 in veel gevallen niet al te best was. Daarnaast was de output zeer generiek en zat er veel herhalingen in tekst. De content gaf geen nieuwe inzichten of meningen en was eigenlijk gewoon vlak. 

We pasten onze AI prompts aan op meer ‘menselijkheid’. Desondanks kwam de content in de meeste gevallen niet door een AI-generated check. Hierdoor moest toch iedere review gecheckt worden door een redacteur, een echt mens. Tijd-technisch en financieel een set-back, maar een investering die absoluut nog wel nodig bleek. 

Dat de kwaliteit achter bleef vonden we uiteraard niet verrassend, maar wanneer je doel organisch verkeer is, dan weet je dat ‘Helpful and Quality Content’ wel van essentieel belang is. We zetten een groep redacteuren in, echte mensen, die op grote schaal de content checkten en herschreven. Wat lieten we door hen checken? 

• Fact-checking – klopt de inhoud van de content feitelijk? 
• Taal-technisch – grammaticale fouten er uit halen
• AI-Score – wordt de tekst herkend als AI gegenereerd?
• Tone of voice – zou een mens dingen ook zo formuleren? 
• Kwaliteit – zit er een mening, quote of visie in? Voegt het iets toe?

Zo konden we binnen twee weken de eerste batch van 750 artikelen naar het best mogelijke niveau tillen. ‘Best mogelijk’ inderdaad. Niet ‘beste’, helaas. Want het was niet mogelijk om echt goede content te maken op deze manier. De menselijke factor, de echte inzichten of mening van een redacteur, valt niet te reproduceren op deze schaal. 

• Doel: Content van goede kwaliteit op schaal produceren met GPT
• Gehaald: Nee
• Learnings: Prompt engineering is het allerbelangrijkste, maar kost veel tijd en iteraties voordat het staat. Verwacht geen inhoudelijke verrassingen – de kwaliteit is op zijn best vlak. Vermenselijking is nodig voor het minimaal acceptabele niveau van content. Echt waardevol zal de content zonder redacteur met een mening en echte kennis niet worden. 

Google Algoritme Update: Maart 2024

Hoe presteerde de content? We maakten 2000 artikelen, in 6 talen, voor 10 landen met ChatGPT. De eerste maanden liep het organische verkeer omhoog. Hoe meer we publiceerden, hoe meer verkeer we kregen. De CMO was tevreden. Elke maand kwam er een beetje meer verkeer bij. We begonnen aan onszelf te twijfelen. Misschien gaat het toch nog werken en hadden wij het verkeerd? 

Toen kwam er in maart 2024 een nieuwe Google Algoritme Update. Een update die volledig was gericht op het straffen van ‘AI content met lage kwaliteit.’ Ook wel, het blijven rondpompen van informatie die al bestaat op het web. Dit gold volledig voor dit contentplatform: alle content werd gegenereerd door ChatGPT, die gevoed werd door content die al bestond. We brachten niets unieks dat nog niet al eerder gepubliceerd was. 

Vanaf het moment dat Google de nieuwe update ging uitrollen, was het klaar. We zagen het verkeer van een hoog aantal ineen storten (zie grafiek). De strategie had niet gewerkt. Google draaide de duimschroeven aan met matige AI-gegenereerde content. En terecht. 

• Doel: Organisch ranken
• Gehaald: Nee. 
• Learnings: Na de Google Algoritme Update van Maart 2024 is het ranken met matige AI-gegenereerde content voor organisch bereik zeer moeilijk geworden.  

Grafiek die het organische verkeer van AI-gegenereerde content na de Google Core Update van maart 2024.  

5 learnings van het maken van AI content 

Onze uiteindelijke doelstelling was het neerzetten van een goede basislaag van organisch verkeer voor het contentplatform. Op het moment van de internationale uitrol, werd er binnen dit project volledig van organisch bereik afgestapt. Dit was voor ons ook het moment om ons terug te trekken uit het project. Leerzaam was het zeker. Daarom delen we hieronder onze lessen: 

Learning 1: Top 3 met AI content leek niet haalbaar 

We weten allemaal dat eigenlijk alleen posities in de top 3 resultaten van Google er echt toe doen. Wij zagen dat de pagina’s die wel waren geïndexeerd redelijk snel hoog begonnen te ranken, in de top 20. Deze pagina’s zijn we vervolgens gaan optimaliseren om de rankings te verbeteren. Zo kwamen al vrij snel de eerste reviews in de top 10 terecht, maar de top 3 was nog niet haalbaar. We weten dat dit tijd kost. Hier zag je vooral oudere concurrenten met meer autoriteit boven ons. Deze autoriteit is natuurlijk gebaseerd op jarenlang goede content maken met echte redacteurs. Zoals het hoort.

Learning 2: Voor paid advertising werkt AI content wél

Voor de paid ads was het een ander verhaal. Alle pagina’s waarop we betaalde campagnes hebben laten draaien, hadden al snel een Quality Score van 9/10 of 10/10. Deze pagina’s werden dus door Google Adwords wel gezien als goede landingpages voor de betreffende ads. Dus wanneer organisch verkeer niet je uiteindelijke doel is, kun je met AI op grote schaal landingpages maken voor je betaalde campagnes. 

Learning 3: Investeer in kwaliteit voor organisch verkeer 

Investeren in goede content voor de langere termijn blijft de manier waarop je organisch bereik wilt. EEAT en Helpful Content. Je zult dus moeten investeren in het creëren van unieke content, persoonlijke ervaringen of experts. 

Learning 4: AI is een goede schrijfhulp

Je kan AI tools goed inzetten als schrijfhulp voor het maken van content, maar geen vervanger van editors. Echte inzichten en meningen in de content verwerken blijft essentieel. Je kan de AI tools inzetten voor het bedenken van artikelonderwerpen, samenvattingen maken, of een framework voor het artikel. Het echte schrijven moet je vervolgens echt aan redacteuren overlaten. 

Learning 5: Je bespaart niet op FTE 

De resources die we bespaarden op schrijvers moesten we elders invullen: developers, product owners en prompt-engineers. En het proces blijft bewerkelijk. Onze ervaring is dat je op zulke grote schaal niet per se bespaart op FTE’s en dat je de schrijvers vaak voor nog veel duurdere disciplines vervangt.  

Conclusie

Een leerzaam project was het zeker. Nooit eerder maakten we 2000 artikelen, in zes talen, voor tien landen met ChatGPT. We kunnen concluderen dat je met de juiste technische setup op grote schaal geautomatiseerde AI content kunt produceren. Stiekem heb je nog aardig wat mankracht nodig om alles werkend te krijgen en te houden en pas als je gaat vertalen pak je een enorme schaalvergroting. 

Uiteindelijk doet dit er niet meer toe. Want na de Google Algoritme Update van maart 2024 is duidelijk: kwaliteit gaat ruimschoots boven kwantiteit. Dat wisten we al lang natuurlijk maar dit is bevestigd binnen dit project. 

En hoe gaat het met onze klant? De paid ads bleken een groot succes. Zij gaan lekker door met het verhogen van de ROI op de betaalde campagnes. Organisch hebben ze gelaten voor wat het is. 
 

Matthijs Tielman
Head of Strategy en mede-oprichter van The Content Department
www.thecontentdepartment.nl

illustratie: Gerard Siderius / Unsplash. Meer info klik hier.