Project Metamorphosis: Unveiling the next-gen event streaming platformLearn More

Log Compaction | Highlights in the Apache Kafka and Stream Processing Community | December 2016

This month saw the proposal of a few KIPs which will have a big impact on Apache Kafka’s semantics as well as Kafka’s operability.

  • KIP-95 : Incremental Batch Processing for Kafka Streams brings the first hint of batch processing to Kafka Streams and brings us a step closer to unifying batch and stream processing around the log. It enables streams tasks to ‘auto-stop’ when they reach the end of the log such that periodic invocations would process batches of messages.
  • KIP-97 : Improved Kafka Client RPC Compatibility Policy will enable newer versions Java Kafka clients to talk with older broker versions. Previously old clients could talk with newer brokers, but not vice-versa. Amongst other things, this KIP will make upgrading Kafka clusters easier since client and server upgrades can be decoupled.
  • KIP-98 : Exactly Once Delivery and Transactional Messaging has been proposed and is in discussion. This KIP is a major addition and will bring idempotent message production as well as transactional semantics to Kafka — features which have been long requested and heavily discussed over the years. The KIP has an associated detailed design document, so make sure you have plenty of coffee on tap!

Lots of interesting happenings occurred in the wider streaming community as well, notably:

And last but not least, Confluent released version 3.1 of Confluent Platform.

Happy Holidays!

Did you like this blog post? Share it now

Subscribe to the Confluent blog

Jetzt registrieren

Start your 3-month trial. Get up to $200 off on each of your first 3 Confluent Cloud monthly bills

Nur neue Registrierungen.

Wenn Sie oben auf „registrieren“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer und bin damit einverstanden.

Indem Sie oben auf „Registrieren“ klicken, akzeptieren Sie die Nutzungsbedingungen und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem ist Ihnen bekannt, dass wir Ihre personenbezogenen Daten gemäß unserer und bin damit einverstanden.

Auf einem einzigen Kafka Broker unbegrenzt kostenlos verfügbar
i

Die Software ermöglicht die unbegrenzte Nutzung der kommerziellen Funktionen auf einem einzelnen Kafka Broker. Nach dem Hinzufügen eines zweiten Brokers startet automatisch ein 30-tägiger Timer für die kommerziellen Funktionen, der auch durch ein erneutes Herunterstufen auf einen einzigen Broker nicht zurückgesetzt werden kann.

Wählen Sie den Implementierungstyp aus
Manuelle Implementierung
  • tar
  • zip
  • deb
  • rpm
  • docker
oder
Automatische Implementierung
  • kubernetes
  • ansible

Wenn Sie oben auf „kostenlos herunterladen“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer Datenschutzerklärung zu.

Indem Sie oben auf „kostenlos herunterladen“ klicken, akzeptieren Sie die Confluent-Lizenzvertrag und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten gemäß unserer Datenschutzerklärung zu.

Diese Website verwendet Cookies zwecks Verbesserung der Benutzererfahrung sowie zur Analyse der Leistung und des Datenverkehrs auf unserer Website. Des Weiteren teilen wir Informationen über Ihre Nutzung unserer Website mit unseren Social-Media-, Werbe- und Analytics-Partnern.