A Cloudflare-storing eruit gehaald een groot deel van het internet op dinsdagwaarbij gebruikers geen toegang hebben tot talloze sites en services zoals X, ChatGPT, Spotify, YouTubeEn Uber. Het cybersecuritybedrijf heeft nu een blogpost waarin precies wordt beschreven wat er is gebeurd.
Mede-oprichter en CEO van Cloudflare, Matthew Prince, verontschuldigde zich dinsdag laat in de post en verklaarde dat deze storing de ergste was die het bedrijf sinds 2019 heeft meegemaakt.
“De afgelopen zes jaar hebben we geen nieuwe storing gehad die ervoor heeft gezorgd dat het merendeel van het kernverkeer niet meer door ons netwerk stroomt”, aldus Prince. “Namens het hele team van Cloudflare wil ik mijn excuses aanbieden voor de pijn die we vandaag op internet hebben veroorzaakt.”
Prince legde uit dat de Cloudflare-storing werd veroorzaakt door een probleem met het systeem dat het gebruikt om websites te beschermen tegen DDoS-aanvallen.
De storing van Cloudflare, uitgelegd
Deze Tweet is momenteel niet beschikbaar. Mogelijk wordt deze geladen of is deze verwijderd.
Het Bot Management-systeem van Cloudflare is een dienst die websites beschermt tegen kwaadaardige botaanvallen. Deze omvatten DDoS-aanvallen die websites overspoelen met overmatig verkeer, inhoud schrapen aanvallen waarbij zonder toestemming gegevens van websites worden verzameld, en autonome credential stuffing-aanvallen waarbij wordt geprobeerd toegang te krijgen tot websites door gebruik te maken van gelekte inloggegevens van andere sites.
Mashbare lichtsnelheid
Dit Bot Management-systeem bevat een AI-model dat verkeersverzoeken scoort. Telkens wanneer er een poging wordt gedaan om toegang te krijgen tot een website die wordt beschermd door Cloudflare’s Bot Management, genereert de AI een score om te bepalen of deze waarschijnlijk afkomstig is van een bot. Om dit te doen, houdt de AI rekening met verschillende kenmerken van het verzoek, die worden bewaard in een ‘feature file’.
In het featurebestand is het probleem opgetreden. Dit bestand wordt elke vijf minuten vernieuwd om op de hoogte te blijven van het evoluerende botgedrag en wordt gebruikt in het gehele cyberbeveiligingsnetwerk van Cloudflare. Het bedrijf voerde echter een wijziging door in de onderliggende query die het bestand genereerde, waardoor informatie een groot aantal keren werd gedupliceerd. Hierdoor werd het featurebestand groter dan normaal, wat een fout in het Bot Management-systeem veroorzaakte.
Als gevolg hiervan resulteerde een poging om toegang te krijgen tot websites die het Bot Management-systeem van Cloudflare gebruiken, in een foutcode. Cloudflare stelt dat zijn netwerk ongeveer 15 minuten nadat de update voor het genereren van functiebestanden was geïmplementeerd, aanzienlijke storingen begon te ervaren.
Cloudflare vermoedde aanvankelijk dat de storing een kwaadaardige aanval was, vooral omdat de statuspagina uit de lucht ging ondanks dat deze onafhankelijk was van de infrastructuur van het bedrijf. Prince stelde echter dat dit toeval bleek te zijn.
“Het probleem werd niet direct of indirect veroorzaakt door een cyberaanval of kwaadwillige activiteit van welke aard dan ook”, benadrukt Prince. “Nadat we aanvankelijk ten onrechte vermoedden dat de symptomen die we zagen veroorzaakt werden door een grootschalige DDoS-aanval, hebben we het kernprobleem correct geïdentificeerd en konden we de verspreiding van het groter dan verwachte featurebestand stoppen en vervangen door een eerdere versie van het bestand.”
Toen Mashable voorafgaand aan de blogpost eerder werd bereikt, benadrukte een woordvoerder van Cloudflare dat ook “Er was geen bewijs dat (de storing) het gevolg was van een aanval of werd veroorzaakt door kwaadwillige activiteiten.”
De diensten van Cloudflare werden grotendeels binnen drie uur hersteld en na ongeveer vijf uur volledig hersteld. Prince verklaarde dat het bedrijf al maatregelen plant om soortgelijke storingen in de toekomst te voorkomen, waaronder het voorkomen dat foutmeldingen de systemen kunnen overweldigen.
