Amazon Simple Storage Service (Amazon S3) è progettato per fornire il 99,999999999% (undici 9 dopo la virgola) di durability per gli oggetti e per i metadati associati agli oggetti, mette in evidenza Aws.
Aws sottolinea anche che i clienti possono essere certi che S3 memorizzi esattamente ciò che mettono in PUT, e restituisce esattamente ciò che è memorizzato quando si fa un GET.
Per assicurarsi che l’oggetto sia trasmesso correttamente in entrambe le direzioni, Amazon S3 usa i checksum, che sono fondamentalmente una sorta di impronta digitale.
La funzione PutObject di Amazon S3 permette già di passare il checksum MD5 dell’oggetto, e accetta l’operazione solo se il valore fornito corrisponde a quello calcolato da S3.
Benché questo permetta a S3 di rilevare gli errori di trasmissione dei dati, comporta il fatto che sia necessario calcolare il checksum prima di chiamare PutObject o dopo aver chiamato GetObject.
Inoltre, calcolare i checksum per oggetti di grandi dimensioni (multi-GB o anche multi-TB) può essere computazionalmente intenso, e può condurre a colli di bottiglia.
Infatti – mette in evidenza Aws –, alcuni tra i clienti di grandi dimensioni di Amazon S3 hanno costruito flotte di EC2 special-purpose solo per calcolare e validare i checksum.
Ed è per questo che Aws ha introdotto il supporto di Amazon S3 per quattro algoritmi di checksum aggiuntivi.
Per i clienti, ora è molto facile calcolare e memorizzare checksum per i dati memorizzati in Amazon S3, e utilizzare i checksum per controllare l’integrità delle richieste di upload e download.
I clienti possono usare questa nuova funzione per implementare le best practice e i controlli di conservazione digitale che sono specifici del proprio settore.
In particolare, possono specificare l’uso di uno qualsiasi dei quattro algoritmi di checksum ampiamente utilizzati (SHA-1, SHA-256, CRC-32 e CRC-32C) quando caricano ciascuno dei propri oggetti su S3.
Le versioni più recenti degli SDK Aws calcolano il checksum specificato come parte dell’upload, e lo includono in un trailer HTTP alla fine dell’upload. I clienti hanno anche la possibilità di fornire un checksum precompilato.
In entrambi i casi, Amazon S3 verificherà il checksum e accetterà l’operazione se il valore nella richiesta corrisponde a quello calcolato da S3. In combinazione con l’uso dei trailer HTTP – afferma Aws –, questa funzione può accelerare notevolmente il controllo di integrità lato client.
Inoltre, gli SDK di Aws ora sfruttano il parallelismo lato client e calcolano i checksum per ogni parte di un upload multipart. I checksum per tutte le parti sono a loro volta sottoposti a checksum e questo checksum-of-checksums è trasmesso a S3 quando l’upload è finalizzato.
Il checksum verificato, insieme all’algoritmo specificato, sono memorizzati come parte dei metadati dell’oggetto, spiega ancora Aws.
Se la crittografia lato server con chiavi KMS è richiesta per l’oggetto, allora il checksum è memorizzato in forma criptata.
L’algoritmo e il checksum rimangono attaccati all’oggetto per tutta il suo lifetime, anche se cambia classe di archiviazione o viene sostituito da una versione più recente. Vengono anche trasferiti come parte di S3 Replication.
La nuova funzione GetObjectAttributes restituisce il checksum per l’oggetto e – se applicabile – per ogni parte.
I clienti possono accedere a questa funzione dall’interfaccia a riga di comando (CLI), dagli SDK di Aws o dalla console di Amazon S3, con la nuova opzione Additional Checksums.
