Door Redaktie
De AI-Bot Oorlog
In de afgelopen maanden heeft Cloudflare inderdaad een enorme hoeveelheid AI-botverzoeken geblokkeerd. De meest recente cijfers laten zien dat het bedrijf meer dan 416 miljard AI-botverzoeken heeft geblokkeerd sinds 1 juli 2025 – dit zijn de officiële cijfers die CEO Matthew Prince bekendmaakte tijdens WIRED’s Big Interview event in december 2025.
Dit cijfer markeert een kantelpunt voor hoe het internet werkt. Het volgende analyseert wat dit betekent voor de huidige staat van het web.
Wat dit zegt over Bots
De enorme schaal van deze blokkades onthult een “nieuwe realiteit” voor bots op het internet:
Explosieve honger naar data: AI-bedrijven zoals OpenAI, Anthropic, Meta en talloze kleinere spelers hebben een onverzadigbare behoefte aan verse data om hun modellen te trainen. De groei is werkelijk exponentieel: volgens Cloudflare’s officiële data namen verzoeken van bots zoals PerplexityBot toe met 157.490% in slechts één jaar tijd – van bijna nul naar een significant marktaandeel.
Bots negeren de “beleefdheidsregels”: Traditioneel hielden bots zich vaak aan het robots.txt-bestand (een soort “verboden toegang”-bordje voor crawlers). Uit Cloudflare’s analyse blijkt dat slechts 14% van de top 10.000 domeinen specifieke AI-bot regels in hun robots.txt hebben staan, terwijl veel nieuwe AI-bots deze regels negeren of proberen zich te vermommen als menselijke gebruikers.
Verschuiving naar “User Actions”: Een groeiend deel van de verzoeken komt niet meer alleen voor training, maar omdat een gebruiker een AI-assistent vraagt om “deze website samen te vatten”. OpenAI’s ChatGPT-User bot zag bijvoorbeeld een 2.825% toename in verzoeken tussen mei 2024 en mei 2025, wat deze trend bevestigt.
Wat dit zegt over Cloudflare
Cloudflare positioneert zich hiermee als de “grenswacht” van het vrije internet:
Beschermer van het verdienmodel: Zoals Matthew Prince uitlegde: “Het verdienmodel van het internet is altijd geweest om content te genereren die traffic naar een website brengt en dan dingen, abonnementen of advertenties te verkopen. Wat mensen niet beseffen is dat AI een platformverschuiving is.” Door bots te blokkeren, probeert Cloudflare het internet-ecosysteem te redden.
Strategische machtspositie: Met de introductie van hun Pay Per Crawl marketplace in juli 2025 bepaalt Cloudflare nu wie wel en niet mag scrapen. Website-eigenaren kunnen geld vragen aan AI-bedrijven voor toegang tot hun data – een fundamentele verschuiving in de macht.
Directe confrontatie met Google: Prince uitte scherpe kritiek op Google’s aanpak: “Je kunt niet uitstappen uit één zonder uit te stappen uit beide, wat een echte uitdaging is – het is gek. Het zou niet zo moeten zijn dat je je monopoliepositie van gisteren gebruikt om een monopoliepositie op de markt van morgen te krijgen.” Google gebruikt namelijk dezelfde Googlebot voor zowel zoekindex als AI-training.
De Impact in Cijfers (2025)
Volgens Cloudflare’s Year in Review 2025 ziet de verkeersverdeling er als volgt uit: Type Traffic Percentage van HTML-verzoeken Menselijke bezoekers ~47% Niet-AI Bots (o.a. zoekmachines) ~44% AI-specifieke Bots ~4,2% (stijgend)
Belangrijke details:
- Googlebot alleen al is verantwoordelijk voor 4,5% van alle HTML-verzoeken
- Googlebot-traffic steeg 96% jaar-op-jaar in 2025
- AI-crawling voor “user actions” groeide meer dan 15x in 2025
- GPTBot steeg van 2,2% naar 7,7% marktaandeel (+305% groei)
De Strijd Escaleert
We bevinden ons midden in een “AI-bot-oorlog” met duidelijke fronten:
Website-eigenaren willen niet dat hun werk gratis wordt gebruikt om AI-modellen te voeden die hen vervolgens overbodig kunnen maken.
AI-bedrijven hebben massale hoeveelheden data nodig om concurrerend te blijven in de snel groeiende AI-markt.
Cloudflare biedt het gereedschap om die strijd te voeren, maar het risico bestaat dat het internet hierdoor meer “gesloten” wordt achter beveiligingsmuren.
Wat betekent dit voor de toekomst?
Het internet staat voor een fundamentele herstructurering. De traditionele “gratis content in ruil voor advertentie-inkomsten” model wordt uitgedaagd door AI-systemen die content consumeren zonder bezoekers te genereren.
Cloudflare’s 416 miljard geblokkeerde verzoeken sinds juli 2025 zijn slechts het begin van wat waarschijnlijk een langdurige strijd wordt om de controle over digitale content en de waardecreatie op het internet.
Bronnen:
- Cloudflare’s 2025 Year in Review
- WIRED Interview met Matthew Prince
- Cloudflare’s crawler analyse 2025
- Pay Per Crawl aankondiging