Aws ha annunciato la disponibilità generale di Amazon MSK Serverless, una funzione che rende facile l’esecuzione di Apache Kafka senza dover gestire e scalare la capacità del cluster.
Questa novità – sottolinea Amazon Web Services – aiuta i clienti a ridurre ancora di più l’overhead operativo della gestione di un cluster Apache Kafka, scaricando la pianificazione e la scalabilità della capacità su Aws.
L’azienda, nel maggio 2019, ha lanciato Amazon Managed Streaming per Apache Kafka per aiutare i clienti a eseguire lo streaming dei dati utilizzando Apache Kafka.
Apache Kafka è una piattaforma open source che consente di acquisire dati in streaming come eventi clickstream, transazioni ed eventi IoT.
Apache Kafka – evidenzia Aws – è una soluzione comune per disaccoppiare le applicazioni che producono dati in streaming (producers) da quelle che consumano i dati (consumers).
Amazon MSK è progettato per semplificare l’ingest e l’elaborazione di dati in streaming in tempo reale con cluster Apache Kafka completamente gestiti.
Amazon MSK riduce il lavoro necessario per impostare, scalare e gestire Apache Kafka in produzione.
Con Amazon MSK, il cliente può creare un cluster in pochi minuti e iniziare a inviare dati. Apache Kafka viene eseguito come cluster su uno o più broker, che sono istanze con una data capacità di calcolo e di archiviazione distribuite in più Aws Availability Zones per creare alta disponibilità.
Apache Kafka memorizza i record sui topic per un periodo di tempo definito dall’utente, partiziona questi topic e poi replica queste partizioni su più broker. I produttori di dati scrivono i record nei topic, e i consumatori leggono i record da essi.
Quando si crea un nuovo cluster Amazon MSK – spiega Aws –, è necessario decidere il numero di broker, la dimensione delle istanze e lo storage che ogni broker ha a disposizione. Le prestazioni di un cluster MSK dipendono da questi parametri.
Queste impostazioni possono essere facili da fornire se si conosce già il carico di lavoro. Ma diventa più complicato configurare un cluster Amazon MSK per un nuovo carico di lavoro o per un’applicazione che ha un traffico di dati variabile o imprevedibile.
È qui che entra in gioco Amazon MSK Serverless.
Amazon MSK Serverless fornisce e gestisce automaticamente le risorse necessarie per fornire capacità di streaming on-demand e storage per le applicazioni.
È la soluzione perfetta per iniziare con un nuovo carico di lavoro Apache Kafka dove non si sa di quanta capacità si avrà bisogno, o se le proprie applicazioni producono un throughput imprevedibile o altamente variabile e non si vuole pagare per la capacità inattiva.
Inoltre, è ottimo se si vuole evitare il provisioning, lo scaling e la gestione dell’utilizzo delle risorse dei propri cluster.
Amazon MSK Serverless viene fornito con molte funzionalità sicure out of the box, come la connettività privata. Questo significa che il traffico non lascia la dorsale Aws, il controllo di accesso Aws Identity and Access Management (IAM) e la crittografia dei dati a riposo e in transito, che li mantiene sicuri.
Un cluster Amazon MSK Serverless scala la capacità su e giù istantaneamente in base ai requisiti dell’applicazione.
Quando i cluster Apache Kafka vengono scalati orizzontalmente (cioè, vengono aggiunti più broker), è anche necessario spostare le partizioni su questi nuovi broker per utilizzare la capacità aggiunta. Con Amazon MSK Serverless, non è necessario scalare i broker o spostare le partizioni.
Ogni cluster Amazon MSK Serverless fornisce fino a 200 MBps di write-throughput e 400 MBps di read-throughput. Alloca anche fino a 5 MBps di write-throughput e 10 MBps di read-throughput per partizione.
E il pricing di Amazon MSK Serverless si basa sul throughput.
