Cockroach Labs, la società che sviluppa il database SQL distribuito nativo del cloud CockroachDB, ha testato le prestazioni dei tre maggiori provider di servizi cloud, Amazon Web Services, Google Cloud Platform e Microsoft Azure, e ha condiviso i risultati nel suo “2020 Cloud Report”.
In realtà è da qualche hanno che Cockroach Labs esegue regolarmente migliaia di test di benchmark sulle piattaforme cloud, attività questa che, sottolinea la stessa software house, è un continuo “work in progress”, data la natura stessa delle infrastrutture cloud.
Nel 2017, i test interni svolti da Cockroach Labs hanno mostrato risultati abbastanza comparabili tra AWS e GCP.
Solo un anno più tardi, nel 2018, AWS superava GCP del 40%: Cockroach Labs ha attribuito questa variazione al sistema Nitro di AWS, disponibile in alcune configurazioni.
Anche quest’anno l’azienda si è dichiarata sorpresa dai miglioramenti registrati in generale nella performance dei cloud. Quest’anno inoltre, ad arricchire il 2020 Cloud Report c’è la new entry nel test, Microsoft Azure, e un maggior numero di configurazioni Amazon Web Services e Google Cloud Platform messe alla prova.
Cockroach Labs ha anche reso open source Roachprod, uno strumento di microbenchmarking che semplifica la riproduzione di tutti i microbenchmark.
Cockroach Labs ha completato oltre 1.000 test di benchmark, tra cui CPU, throughput e latenza di rete, I/O dello storage e TPC-C.
Quest’ultimo è un On-Line Transaction Processing Benchmark, OLTP, che simula un’attività di ecommerce, con il processamento di transazioni multiple, e che è utile per misurare la performance complessiva di un workload.
Stavolta, sottolinea l’azienda, i tre player appaiono molto più vicini tra loro, rispetto al precedente report. In particolare, i benchmark mostrerebbero che Google Cloud ha ottenuto notevoli miglioramenti nel benchmark TPC-C e che tutti e tre i vendor cloud rientrano nella stessa fascia per quel che riguarda le top performance.
L’efficienza, sottolinea Cockroach Labs, conta tanto quanto le prestazioni: se per raggiungere le massime prestazioni si deve pagare due o tre volte tanto, potrebbe non valerne la pena. Per questo motivo, il TPC-C è in genere misurato in termini di prezzo per tpmC.
Ciò consente, spiega Cockroach Labs, di svolgere confronti equi tra e all’interno dei cloud.
Tuttavia, il pricing è un argomento estremamente complesso, avvisa l’azienda che, per i benchmark, ha deciso di utilizzare i prezzi on-demand di default disponibili per ciascun cloud, anche se un vero modello di confronto dei prezzi avrebbe dovuto tenere conto di numerosi parametri.
Per questo, è la stessa Cockroach Labs a consigliare di esplorare varie permutazioni di opzioni di pricing, in base alle esigenze del proprio workload.
Produrre un confronto dei prezzi complesso su ciascun cloud sarebbe un’impresa gigantesca in sé e Cockroach Labs afferma, in modo trasparente, di non essere nella posizione migliore per offrire questo tipo di analisi.
Quindi, di nuovo, è un confronto da prendere con le pinze e che può variare a seconda dei workload e delle condizioni diverse di ciascuna azienda.
Anche qui, in ogni caso, i tre cloud si sono dimostrati vicini, sul prezzo più basso per tpmC. Tuttavia, quest’anno n2-highcpu-16 di GCP ha offerto le migliori prestazioni per dollaro nei tipi di macchine testate.
AWS è risultato il migliore in termini di velocità effettiva, se il prezzo è un parametro meno stringente, ma, sottolinea realisticamente Cockroach Labs, quand’è che non lo è?
Sul blog di Cockroach Labs è possibile ricevere maggiori informazioni (anche su come riprodurre da sé i benchmark) nonché scaricare il report completo che mette a confronto Amazon Web Services, Google Cloud Platform e Microsoft Azure.
