Project Metamorphosis: Wir präsentieren die Event-Streaming-Plattform der nächsten GenerationMehr Erfahren

Deploying Apache Kafka on AWS Elastic Block Store (EBS)

Apache Kafka is designed to be highly performant, reliable, scalable, and fault tolerant. At the same time, the performance and reliability of a Kafka cluster is highly dependent on the underlying infrastructure. That interdependence makes the right infrastructure choices critical to any successful deployment. For users who have made the decision to deploy Kafka on the AWS Cloud, making the right choices on storage infrastructure can seem daunting. The reality is that selecting reasonable infrastructure is easier than you think.

Let’s start by thinking about the Kafka cluster at a high level. At its core, the Kafka cluster is a set of servers that offer a shared service where data can be published and retrieved by external clients. Each server is referred to as a Kafka broker, and the data managed by the brokers is logically divided into distinct topics. Data for each topic is persisted locally on the brokers, in a replicated and partitioned manner that prevents data loss or catastrophic disruption if a broker fails. By design, Kafka clusters will automatically re-replicate data and re-balance the client connections when a broker node is lost from the cluster. The brokers are optimized to aggregate the physical I/O for the topic data, resulting in a general pattern of sequential operations against the storage tier. Readers interested in a more comprehensive discussion of the Kafka architecture can refer to the documentation.

Consider what this implies for the underlying storage infrastructure in a Kafka Cluster. Obviously, the absolute performance is critically important… as higher performance reduces the time needed to persist the data as it arrives in the cluster as well as the time needed to retrieve data for a consume or a new cluster node when re-replication is needed. EBS volumes in AWS are an excellent option here. They provide consistent levels of I/O performance (IOPS) and ultimate flexibility in their deployment. A properly designed Kafka cluster based on EBS storage can virtually eliminate the re-replication overhead that would be triggered by an instance failure, as the EBS volumes can be reassigned to a new instance quickly and easily. And from an operations perspective, a Kafka cluster deployed against EBS storage can be shut down cleanly without risk of data loss, a capability not possible when using EC2 Local Instance Storage.

This is why we view the new st1 and sc1 EBS offerings from Amazon as very promising. At a cost up to 50% lower than earlier EBS offerings, and optimized for sequential I/O workloads, we observed that these storage volumes delivered the performance and reliability needed for Kafka environments. We will conduct more detailed testing and welcome hearing about what others have found. (See Amazon blog: EBS Update – New Cold Storage and Throughput Options) .

The other infrastructure components (CPU, memory, networking) also play an important role in the capabilities of any Kafka cluster. In future blogs, I’ll discuss the considerations for those sub-systems in greater detail. It was important to start with storage, because reliable, persistent data platforms such as Kafka are impossible without it.

Did you like this blog post? Share it now

Subscribe to the Confluent blog

More Articles Like This

Announcing AWS PrivateLink Support in Confluent Cloud

We’re happy to announce that Confluent Cloud, our fully managed event streaming service powered by Apache Kafka®, now supports AWS PrivateLink for secure network connectivity, in addition to the existing […]

Project Metamorphosis Month 4: Confluent Cloud for Apache Kafka Available Everywhere

We launched Project Metamorphosis in April with the goal of making it dramatically easier for organizations to leverage an event streaming platform for their business needs. By reimagining event streaming […]

How Tencent PCG Uses Apache Kafka to Handle 10 Trillion+ Messages Per Day

As one of the world’s biggest internet-based platform companies, Tencent uses technology to enrich the lives of users and assist the digital upgrade of enterprises. An example product is the […]

Jetzt registrieren

Starten Sie Ihren 3‑monatigen Test. Erhalten Sie bis zu 200 $ Rabatt auf jede Ihrer ersten 3 Monatsrechnungen von Confluent Cloud.

Nur neue Registrierungen.

Wenn Sie oben auf „registrieren“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer und bin damit einverstanden.

Indem Sie oben auf „Registrieren“ klicken, akzeptieren Sie die Nutzungsbedingungen und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem ist Ihnen bekannt, dass wir Ihre personenbezogenen Daten gemäß unserer und bin damit einverstanden.

Mit Confluent Cloud loslegen

Erhalten Sie bis zu 200 $ Rabatt auf jede Ihrer ersten 3 Monatsrechnungen von Confluent Cloud.


Wählen Sie eine der nachfolgenden Optionen

Marketplaces

  • AWS
  • Azure
  • Google Cloud

  • Abrechnung über Ihren Cloud-Anbieter*
  • Streaming nur auf 1 Cloud
*Administratorrolle für die Rechnungsstellung erforderlich

Marketplaces

  • Abrechnung über Ihren Cloud-Anbieter*
  • Streaming nur auf 1 Cloud
  • Administratorrolle für die Rechnungsstellung erforderlich

*Administratorrolle für die Rechnungsstellung erforderlich

Confluent


  • Mit Kreditkarte bezahlen
  • Streaming über mehrere Clouds hinweg

Confluent

  • Mit Kreditkarte bezahlen
  • Streaming über mehrere Clouds hinweg

Wenn Sie oben auf „registrieren“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer und bin damit einverstanden.

Indem Sie oben auf „Registrieren“ klicken, akzeptieren Sie die Nutzungsbedingungen und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem ist Ihnen bekannt, dass wir Ihre personenbezogenen Daten gemäß unserer und bin damit einverstanden.

Auf einem einzigen Kafka Broker unbegrenzt kostenlos verfügbar
i

Die Software ermöglicht die unbegrenzte Nutzung der kommerziellen Funktionen auf einem einzelnen Kafka Broker. Nach dem Hinzufügen eines zweiten Brokers startet automatisch ein 30-tägiger Timer für die kommerziellen Funktionen, der auch durch ein erneutes Herunterstufen auf einen einzigen Broker nicht zurückgesetzt werden kann.

Wählen Sie den Implementierungstyp aus
Manuelle Implementierung
  • tar
  • zip
  • deb
  • rpm
  • docker
oder
Automatische Implementierung
  • kubernetes
  • ansible

Wenn Sie oben auf „kostenlos herunterladen“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer Datenschutzerklärung zu.

Indem Sie oben auf „kostenlos herunterladen“ klicken, akzeptieren Sie die Confluent-Lizenzvertrag und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten gemäß unserer Datenschutzerklärung zu.

Diese Website verwendet Cookies zwecks Verbesserung der Benutzererfahrung sowie zur Analyse der Leistung und des Datenverkehrs auf unserer Website. Des Weiteren teilen wir Informationen über Ihre Nutzung unserer Website mit unseren Social-Media-, Werbe- und Analytics-Partnern.