Il giorno dopo, cos’è successo davvero a Fastly e alla CDN

Come vi abbiamo raccontato in tempo reale, il cloud provider Fastly è stato oggetto di un problema tecnico che ha messo fuori servizio numerosi tra i più noti siti web per quasi un’ora.

Nick Rockwell, Senior Vice President of Engineering and Infrastructure della società ha dichiarato che Fastly ha riscontrato un’interruzione globale a causa di un bug del software non scoperto che è emerso l’8 giugno quando è stato attivato da una modifica valida della configurazione del cliente.
Fastly ha rilevato l’interruzione entro un minuto, quindi identificato e isolato la causa e disabilitato la configurazione. In 49 minuti, il 95% della rete funzionava normalmente.
Il manager ha aggiunto che questa interruzione è stata ampia e grave, esprimendo il proprio dispiacere per l’impatto sui nostri clienti e su tutti coloro che fanno affidamento su di loro.

Fastly, che cosa è successo?

Il 12 maggio Fastly ha avviato un’implementazione del software che ha introdotto un bug che poteva essere attivato da una configurazione specifica del cliente in circostanze specifiche.

All’inizio dell’8 giugno, un cliente ha inviato una modifica alla configurazione valida che includeva le circostanze specifiche che hanno attivato il bug, causando la generazione di errori nell’85% della nostra rete.

Ecco una cronologia dell’attività del giorno (tutti gli orari sono in UTC):

09:47 Inizio iniziale dell’interruzione globale
09:48 Interruzione globale identificata da Fastly monitoring
09:58 Post di stato pubblicato
10:27 Fastly Engineering ha identificato la configurazione del cliente
10:36 I servizi interessati hanno iniziato a recuperare
11:00 La maggior parte dei servizi è stata ripristinata
12: 35 Incidente mitigato
12:44 Stato post risolto
17:25 Distribuzione correzione bug fix

Una volta mitigati gli effetti immediati, Fastly ha rivolto la sua attenzione alla correzione del bug e alla comunicazione con i clienti.

Gli step successivi

Rockwell ha affermato che a breve termine la società sta implementando la correzione dei bug sulla rete nel modo più rapido e sicuro possibile. «Stiamo conducendo un’analisi completa dei processi e delle pratiche che abbiamo seguito durante questo incidente.».
Inoltre, prosegue Rockwell, scopriremo perché non abbiamo rilevato il bug durante i nostri processi di verifica e test della qualità del software. Infine, verranno valutati i modi per migliorare i tempi di reazione.

«Abbiamo dimostrato volontà di innovare e investire in cambiamenti fondamentali per la sicurezza delle nostre piattaforme sottostanti.
In generale, ciò significa sfruttare appieno le capacità di isolamento di WebAssembly e Compute@Edge per creare una maggiore resilienza da zero . Continueremo ad aggiornare la nostra community man mano che avanziamo verso questo obiettivo.»

Le conclusioni tratte da Fastly

Anche se c’erano condizioni specifiche che hanno innescato questa interruzione, afferma Rockwell, avremmo dovuto prevederla. «Forniamo servizi mission critical e trattiamo qualsiasi azione che possa causare problemi di servizio con la massima sensibilità e priorità. Ci scusiamo con i nostri clienti e coloro che si affidano a loro per l’interruzione e ringraziamo sinceramente la comunità per il suo supporto. »

Cos’è una CDN

Una rete CDN (Content Delivery Network) è una piattaforma di server altamente distribuita che aiuta a minimizzare il ritardo nel caricamento dei contenuti delle pagine web riducendo la distanza fisica tra il server e l’utente. In tal modo, gli utenti in tutto il mondo possono visualizzare gli stessi contenuti di alta qualità senza rallentare i tempi di caricamento.

In assenza di una CDN, i server di origine dei contenuti devono rispondere a ogni singola richiesta degli utenti finali, il che si traduce in un traffico notevole verso l’origine e un conseguente carico che possono aumentare le probabilità di un guasto del server di origine in caso di picchi di traffico estremamente elevati o di un carico persistente.

Rispondendo alle richieste degli utenti finali al posto dell’origine e da un’ubicazione fisica e di rete molto vicina a questi ultimi, una CDN riduce il traffico per i server di contenuti. Migliorando la web experience con conseguenti vantaggi sia per il provider di contenuti che per gli utenti finali.