Op 15 september verandert Cloudflare zijn standaardinstellingen voor AI-verkeer. Het bedrijf zit als tussenlaag voor een aanzienlijk deel van alle websites, dus wat het daar beslist, werkt breed door. De vraag die eronder ligt is groter dan één instelling: als het open web zich sluit, waar halen AI-bedrijven dan nog tekst vandaan om hun modellen mee te trainen?
Wat er op 15 september precies gebeurt
Eerst de nuance, want die is in de berichtgeving vaak weg. Cloudflare verdeelt AI-bots sinds kort in drie soorten: Search, die jouw site indexeert zodat hij in zoekresultaten verschijnt; Agent, die namens een gebruiker een pagina ophaalt om een vraag te beantwoorden; en Training, die materiaal verzamelt om modellen mee te trainen.
Vanaf 15 september worden Training en Agent standaard geblokkeerd, Search standaard toegelaten. Maar dat geldt voor nieuwe domeinen die zich aanmelden en voor pagina’s met advertenties. Bestaande websites houden hun huidige instellingen tenzij de eigenaar zelf iets wijzigt.
Het web gaat dus niet op één dag op slot. Wat er gebeurt is dat de standaard omdraait: waar toegang vroeger het uitgangspunt was en blokkeren een handeling, wordt blokkeren het uitgangspunt en toegang een keuze. Op de lange termijn is dat het ingrijpender van de twee.
De adder onder het gras voor uitgevers
Er zit een detail in de regels dat elke site-eigenaar moet kennen. Sommige crawlers doen meer dan één ding tegelijk; Googlebot is daar het bekendste voorbeeld van. Cloudflare behandelt zo’n crawler met meerdere doelen als geblokkeerd zodra je Training niet toestaat.
Dat betekent concreet: wie de deur dichtdoet voor AI-training, kan daarmee ook zijn vindbaarheid in Google op het spel zetten. Voor een uitgever die van zoekverkeer leeft, is dat geen principiële keuze maar een omzetberekening. Precies daarom hebben veel sites die deur tot nu toe niet dichtgedaan, hoe ongemakkelijk het scrapen ook voelt.
Cloudflare vraagt crawlerbouwers dan ook om aparte bots te gebruiken per functie. Zolang dat niet overal gebeurt, is de keuze voor uitgevers alles of niets.
Het tekort was er al zonder Cloudflare
De aanname dat hierdoor een tekort aan trainingsdata ontstaat, klopt in richting maar niet in oorzaak. Dat tekort was al onderweg.
Onderzoeksinstituut Epoch AI schatte de totale bruikbare voorraad publiek beschikbare, door mensen geschreven tekst op ongeveer 300 biljoen tokens, met een ruime onzekerheidsmarge. De verwachting in datzelfde onderzoek: die voorraad is ergens tussen 2026 en 2032 volledig benut, en bij agressief doortrainen kan dat aan de vroege kant uitvallen.
Met andere woorden: de bodem van het internet kwam sowieso in zicht. Wat Cloudflare doet is dat moment naar voren halen en er een prijskaartje aan hangen, want het bedrijf lanceerde eerder al een systeem waarmee site-eigenaren per bezoek van een crawler geld kunnen vragen.
Waar de data dan wel vandaan komt
De AI-sector schuift al een tijd op, en dat gebeurt langs vier lijnen tegelijk.
De eerste is kopen. Grote uitgevers, forums en persbureaus sluiten licentiecontracten, waarmee scrapen wordt vervangen door inkopen. Dat is voor de partijen met de diepste zakken goed nieuws en voor kleinere modellenbouwers een drempel.
De tweede is zelf maken. Modellen genereren tekst waarmee andere modellen worden getraind. Dat werkt aantoonbaar voor taken met een controleerbaar antwoord, zoals rekenen en programmeren, en het is een van de redenen dat modellen op die gebieden hard vooruitgaan terwijl ze op smaak en stijl minder opschieten.
De derde is breder kijken: beeld, video en audio in plaats van alleen tekst. Daar zit nog een enorme voorraad die nauwelijks is aangesproken.
De vierde is zuiniger omgaan met wat er is. Betere algoritmes halen meer uit dezelfde hoeveelheid materiaal, en dat is de route waar de meeste onderzoeksinspanning nu naartoe gaat.
En dan is er nog de gebruiker zelf
Er is een vijfde bron die geen last heeft van welke robots.txt of Cloudflare-instelling dan ook: de gesprekken die mensen zelf met chatbots voeren.
OpenAI meldde deze week dat het de miljard wekelijkse gebruikers heeft gepasseerd en dat het de limiet op tekstgesprekken laat vallen, ook voor de gratis versie. Dat is voor gebruikers gewoon goed nieuws, en er zijn genoeg verklaringen voor die niets met data te maken hebben: concurrentiedruk, gebruikers vasthouden, en een advertentiemodel dat gebaat is bij meer gebruik.
Maar het effect valt niet weg te redeneren. Terwijl de voordeur van het open web dichtgaat, staat er een achterdeur wagenwijd open waar honderden miljoenen mensen dagelijks vrijwillig doorheen lopen. Bij de meeste diensten worden gesprekken van gratis gebruikers standaard gebruikt om de modellen te verbeteren, met een instelling om dat uit te zetten die je zelf moet opzoeken.
Wat dit op termijn verandert
Voor de gemiddelde internetgebruiker verschuift er iets dat je pas over een paar jaar merkt. Het web is opgebouwd op de aanname dat informatie vrij opvraagbaar is, en dat een zoekmachine je in ruil daarvoor bezoekers terugstuurt. Bij AI-antwoorden valt die tegenprestatie weg: het model geeft het antwoord, de bron krijgt de klik niet.
Wat er nu ontstaat is een web in twee lagen. Een deel blijft open en gratis leesbaar voor iedereen inclusief machines. Een ander deel komt achter afspraken en betaalmuren, toegankelijk voor wie ervoor betaalt. Dat is geen ramp, maar het is wel het einde van de aanname waarop het internet dertig jaar heeft gedraaid.
Voor jou als lezer betekent dat vooral: als een chatbot ergens een antwoord vandaan haalt, wordt de vraag wie dat mocht leveren en tegen welke prijs steeds relevanter voor wat je te zien krijgt. En als je een gratis chatbot gebruikt, is jouw gesprek voortaan een van de laatste bronnen die nog groeit.