Zijn AI reuzen die het web onderhouden, de meest waardevolle opslagplaats van menselijke gegevens die de wereld ooit zal zien? Of schrappen ze de inhoud gratis en geven ze weinig terug? Bijgewerkte gegevens van Cloudflare werpen nieuw licht op deze belangrijke vraag.
Dit is een van de meest onderbesproken onderdelen van de AI-revolutie. Terwijl technologiebedrijven rijkelijk uitgeven aan datacenters, GPU’sen talent vermijden ze het praten over het andere belangrijke ingrediënt van AI-succes: data.
Dat komt omdat ze niet willen betalen voor de hoogwaardige menselijke gegevens die nodig zijn voor AI-modeltraining, gevolgtrekkingen en AI-outputs. In plaats daarvan sturen ze bots uit om websites te doorzoeken en deze informatie op te halen, meestal gratis.
In het verleden stuurden technologiebedrijven gebruikers naar de oorspronkelijke bronnen van deze informatie. Dit vormde de groot koopje van internet. Sites zouden hun gegevens gratis laten afnemen, met dien verstande dat ze in ruil daarvoor verwijzingen zouden krijgen en voor hun inspanningen zouden kunnen betalen via advertenties, abonnementen en andere technieken.
In de nieuwe generatieve AI-wereld is deze deal dat wel afbreken. Nu geven AI-antwoordmachines en chatbots gebruikers directe antwoorden, waardoor het minder waarschijnlijk is dat mensen de websites bezoeken die de gegevens hebben aangemaakt en geverifieerd.
Wolkenvlamdat ongeveer 20% van de websites ter wereld ondersteunt, begon dit gedrag in 2025 te volgen. Het meet de verzoeken van bots van Big Tech-bedrijven om websites te crawlen, en het aantal verwijzingen die de platforms naar sites sturen.
Deze crawl-to-refer-ratio is een nuttige indicatie van hoeveel technologiebedrijven van het internet halen en hoeveel ze teruggeven. Een verhouding van 100 op 1 zou bijvoorbeeld betekenen dat de bots van een bedrijf sites 100 keer hebben gecrawld voor elke verwijzing die ze verzenden.
Is dit een manier om te meten hoe ethisch bedrijven in het AI-tijdperk zijn? Ik laat het aan jou over om te beslissen. Hier zijn de gegevens voor de eerste week van januari.
Zoals je kunt zien, Antropisch valt op als een zere duim. Volgens gegevens van Cloudflare crawlt het veel vaker sites dan dat het gebruikers naar internet stuurt. Volgens deze gegevens kroop Anthropic begin januari zelfs nog meer vergeleken met de eerste week van september 2025.
Hetzelfde geldt voor OpenAI; de crawl-to-refer-ratio is verslechterd. Nogmaals, dit suggereert dat OpenAI meer waarde uit het internet haalt en minder waarde teruggeeft.
Dit komt overeen met de Business Insider-rapportage van eind 2024. Destijds vertelden we u dat bots van Anthropic en OpenAI, vooral, sommige websites werden zo vaak gecrawld dat dit hun De verkeerskosten stijgen dramatisch.
Volgens BI-rapporten zag een webontwikkelaar de kosten voor cloud computing van een klant binnen een paar maanden verdubbelen als gevolg van deze zwerm AI-bots.
AI-bedrijven halen dus niet alleen van het internet en geven minder terug, ze zorgen er ook voor dat sommige site-eigenaren hogere rekeningen moeten betalen.
Net als vorig kwartaal vroeg ik aan Anthropic waarom het zo veel kruipt en zo weinig teruggeeft aan het internet. De startup reageerde niet op een e-mail waarin om commentaar werd gevraagd.
In september zei Anthropic dat het de door Cloudflare berekende crawl-to-refer-ratio’s niet kon bevestigen en zei dat er mogelijk “problemen” zijn met de methodologie. Anthropic merkte destijds ook op dat het eerder dit jaar een webzoekfunctie lanceerde voor zijn populaire Claude AI-chatbot. Dit genereerde nu meer verwijzingsverkeer voor websites, en dit groeit snel, zei de startup destijds.
OpenAI heeft niet gereageerd op een verzoek om commentaar.
Een waarschuwing: de cijfers die betrekking hebben op de crawl-to-refer-ratio zijn gericht op internet en sluiten native app-activiteit uit. Als app-activiteit zou worden meegerekend, zouden de verhoudingen lager kunnen zijn. Deze methodologie is echter van toepassing op alle bedrijven die in deze ranglijst zijn opgenomen.
GooglenDe relatief lage ratio is waarschijnlijk te wijten aan de traditionele zoekmachine, die in veel resultaten nog steeds duidelijke websitelinks toont. Het bedrijf verweven echter steeds vaker AI-chatbot-achtige antwoorden in zijn zoekservice, via AI-overzichten en AI-modus.
Google heeft de laatste tijd gezegd dat het nog steeds verkeer naar internet stuurt, en dat het zich bekommert om de gezondheid van dit ecosysteem.
Business Insider zal deze Cloudflare-gegevens de komende maanden en kwartalen blijven volgen om te zien hoe dit gedrag evolueert.
Meld u aan voor de Tech Memo-nieuwsbrief van BI hier. Neem contact met mij op via e-mail op abarr@businessinsider.com.
