Apache Kafka è una ”distributed streaming platform”, una piattaforma open source di stream processing, progettata per offrire un’elaborazione ad alta velocità e bassa latenza nella gestione di flussi di dati.
La piattaforma Kafka viene utilizzata per la creazione di pipeline di dati in tempo reale e applicazioni di streaming, grazie alle sue caratteristiche di essere scalabile orizzontalmente, fault-tolerant, veloce e funzionante in produzione presso migliaia di aziende.
Generalmente, spiega la Apache Software Foundation, Kafka viene usata in due tipi di implementazioni: la realizzazione di pipeline di streaming di dati in tempo reale, per un flusso affidabile di dati tra sistemi o applicazioni; oppure per la realizzazione di applicazioni di streaming in tempo reale che trasformano o reagiscono ai flussi di dati.
Con Amazon MSK, Managed Streaming per Kafka, di cui l’azienda di Jeff Bezos ha annunciato la disponibilità, Amazon Web Services offre ora un servizio completamente gestito per Apache Kafka. Il nuovo servizio aiuta gli sviluppatori a creare ed eseguire, in modo più semplice, applicazioni altamente disponibili, sicure e scalabili basate su Apache Kafka. Il tutto, senza doversi preoccupare della gestione dell’infrastruttura sottostante né di dover configurare (e poi gestire e scalare in modo appropriato) i cluster Apache Kafka, abbastanza complessi.
Amazon MSK è pienamente compatibile con Apache Kafka, per consentire ai clienti di migrare facilmente i loro cluster on-premise o di Amazon Elastic Cloud Compute (Amazon EC2) su Amazon MSK, senza dover apportare modifiche al codice. Inoltre, la soluzione basata su Amazon MSK non richiede impegni o investimenti iniziali, e i clienti pagano solo per la capacità che utilizzano.
Apache Kafka senza problemi
Le aziende possono utilizzare Apache Kafka, spiega AWS, per acquisire e analizzare flussi di dati in tempo reale da una serie di fonti, tra cui dispositivi IoT, clicstream di un sito web, sistemi finanziari e log di database.
Secondo Amazon, il vantaggio del servizio managed sta nel fatto che, anche se molti clienti scelgono di gestire autonomamente i propri cluster Apache Kafka, spesso dedicano tempi e costi elevati per proteggere, scalare, applicare patch e garantire un’elevata disponibilità per i cluster.
Amazon MSK nasce dunque con l’obiettivo di offrire ai clienti tutti gli attributi di Apache Kafka, combinati con le caratteristiche di disponibilità, sicurezza e scalabilità di AWS. I clienti potranno creare con pochi clic cluster Apache Kafka che si estendono su più Availability Zones (AZ). Amazon MSK monitora continuamente lo stato del server sottostante, sostituendo automaticamente i server in caso di fail e installando le patch sui server che necessitano di update.
Amazon MSK esegue anche nodi Apache ZooKeeper (da cui Kafka dipende) ad alta disponibilità senza costi aggiuntivi. Il servizio offre inoltre diversi livelli di sicurezza per i cluster e i clienti possono facilmente scalare lo storage con pochi clic, nella console di gestione AWS.
Grazie alla piena compatibilità, le aziende possono continuare a eseguire applicazioni basate su Kafka esistenti, utilizzare strumenti e framework compatibili e sfruttare le innovazioni della piattaforma. E potranno concentrarsi nell’utilizzare le API di Apache Kafka per, ad esempio, popolare data lake, trasmettere modifiche verso e da database, potenziare il machine learning o le applicazioni di analisi dei dati.
Maggiori informazioni su Amazon MSK sono disponibili sul sito AWS, a questo link.
