Project Metamorphosis: Unveiling the next-gen event streaming platformLearn More

Log Compaction: Highlights in the Apache Kafka and Stream Processing Community – January 2017

Happy 2017! Wishing you a wonderful year full of fast and scalable data streams.

Many things have happened since we last shared the state of Apache Kafka® and the streams ecosystem. Let’s take a look!

Most importantly – we did a bug fix release. Apache Kafka 0.10.1.1 fixes some critical issues found in the 0.10.1.0 release. There is a pretty substantial list of fixes, so if you are running 0.10.1.0, we recommend upgrading to avoid running into issues we already resolved.

Kafka Summit! If you haven’t heard – last year was so successful that we are doing two events this year. New York on May 8th and San Francisco on August 28th. Call for paper is ending soon, so please submit your talk proposals this week!

There are many KIPs (improvement proposals) being discussed in the Kafka developer list, many of them are huge improvements:

  • KIP-48 proposes adding delegation tokens to Kafka’s long list of authentication mechanisms. KIP-84 adds SASL-SCRAM mechanism as well.
  • KIP-66 adds single message transformations to Kafka Connect, which will allow light-weight processing of individual events as they are being streamed in and out of Kafka with the connectors. This is useful in cases where you want to remove a sensitive field from the records, add timestamps or UUID or route different events to different topics.
  • KIP-99 adds global tables to the Streams API in Kafka. This will allow loading small dimension tables, unpartitioned to the local cache of each Streams API node, which means you can now enrich a data stream with multiple dimensions without expensive re-partitioning for each join operation. This is similar to broadcast join when running parallel queries in traditional data warehouse.
  • KIP-101 proposes a modification to the message format in order to solve few known issues that can result in consistency issues between replicas in rare cases. Both the descriptions of the issues and the solution will be of interest to anyone who enjoys diving into distributed systems.
  • KIP-103 proposes new configuration that will allow separating traffic from internal and external clients. This will be useful for the many SREs who wanted to run internal traffic on a different network and for container and cloud deployments where there are different configuration and costs for internal and external traffic.

In addition to the many KIPs, there are some interesting releases, blogs and presentations I’d recommend checking out:

Did you like this blog post? Share it now

Subscribe to the Confluent blog

Jetzt registrieren

Start your 3-month trial. Get up to $200 off on each of your first 3 Confluent Cloud monthly bills

Nur neue Registrierungen.

Wenn Sie oben auf „registrieren“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer und bin damit einverstanden.

Indem Sie oben auf „Registrieren“ klicken, akzeptieren Sie die Nutzungsbedingungen und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem ist Ihnen bekannt, dass wir Ihre personenbezogenen Daten gemäß unserer und bin damit einverstanden.

Auf einem einzigen Kafka Broker unbegrenzt kostenlos verfügbar
i

Die Software ermöglicht die unbegrenzte Nutzung der kommerziellen Funktionen auf einem einzelnen Kafka Broker. Nach dem Hinzufügen eines zweiten Brokers startet automatisch ein 30-tägiger Timer für die kommerziellen Funktionen, der auch durch ein erneutes Herunterstufen auf einen einzigen Broker nicht zurückgesetzt werden kann.

Wählen Sie den Implementierungstyp aus
Manuelle Implementierung
  • tar
  • zip
  • deb
  • rpm
  • docker
oder
Automatische Implementierung
  • kubernetes
  • ansible

Wenn Sie oben auf „kostenlos herunterladen“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer Datenschutzerklärung zu.

Indem Sie oben auf „kostenlos herunterladen“ klicken, akzeptieren Sie die Confluent-Lizenzvertrag und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten gemäß unserer Datenschutzerklärung zu.

Diese Website verwendet Cookies zwecks Verbesserung der Benutzererfahrung sowie zur Analyse der Leistung und des Datenverkehrs auf unserer Website. Des Weiteren teilen wir Informationen über Ihre Nutzung unserer Website mit unseren Social-Media-, Werbe- und Analytics-Partnern.