Project Metamorphosis: Unveiling the next-gen event streaming platformLearn More

Log Compaction | Highlights in the Kafka and Stream Processing Community | October 2015

The amount of work that got done by the community in the last month is truly impressive, especially considering how many conferences took place in September. Let’s take a look at the highlights:

  • The Apache Kafka community decided to rename the next release 0.9.0.0 (previously 0.8.3.0), without a change in scope. There are large features planned for the next release (including authentication, authorization, and the new consumer), so a minor release bump is in order.
  • The initial patch for Kafka Streams, lightweight data processing library for Apache Kafka, was committed to trunk. Take a look, try it out, and contribute bugs, suggestions, documentation, or patches.
  • The Apache Kafka community released version 0.8.2.2 – bug fix release for Kafka 0.8.2 with 2 critical fixes for those using Snappy in the producer (which should be all of you). You know where to get it. In conjunction, Confluent released Confluent Platform 1.0.1, which upgrades the stream data platform to the latest version of Kafka 0.8.2.2.
  • Three very important proposals that will modify and evolve message and file formats are currently being discussed in the Kafka community:
  • Authorization patches were merged into trunk. Topic level authorization will be a new feature in Kafka 0.9.0.0 enabling use of Kafka in secure multi-tenant environments.
  • Apache Kafka documentation is now stored in trunk (in addition to the dedicated site repository). Contributors are encouraged to submit documentation pull requests and update relevant documentation and code in the same PR.
  • The Apache Spark community released version 1.5.0 – SparkStreaming’s Kafka direct connector, which gives exactly-once processing in SparkStreaming) is no longer considered experimental.

Conferences:

  • The first ever Kafka Summit was announced and the call for proposals is open! This is a fantastic opportunity to share your use case, experience, tips, and cool hacks with the Apache Kafka community. So don’t be shy, submit your ideas: https://kafka-summit.org/cfp.html
  • Apache Flink community conference, FlinkForward, is happening in Berlin on Oct 12-13, with many interesting presentations.

It’s awesome to see all of the improvements coming in from the Kafka community and I’m looking forward to seeing even more this month as we are getting closer to Apache Kafka 0.9.0.0 release.

Log Compaction is a monthly digest of highlights in the Apache Kafka and stream processing community.


Apache Kafka

Download the Confluent Platform 


Kafka Summit

Did you like this blog post? Share it now

Subscribe to the Confluent blog

More Articles Like This

Kafka Streams Interactive Queries Go Prime Time

What is stopping you from using Kafka Streams as your data layer for building applications? After all, it comes with fast, embedded RocksDB storage, takes care of redundancy for you, […]

From Eager to Smarter in Apache Kafka Consumer Rebalances

Everyone wants their infrastructure to be highly available, and ksqlDB is no different. But crucial properties like high availability don’t come without a thoughtful, rigorous design. We thought hard about […]

Walmart’s Real-Time Inventory System Powered by Apache Kafka

Consumer shopping patterns have changed drastically in the last few years. Shopping in a physical store is no longer the only way. Retail shopping experiences have evolved to include multiple […]

Jetzt registrieren

Start your 3-month trial. Get up to $200 off on each of your first 3 Confluent Cloud monthly bills

Nur neue Registrierungen.

Wenn Sie oben auf „registrieren“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer und bin damit einverstanden.

Indem Sie oben auf „Registrieren“ klicken, akzeptieren Sie die Nutzungsbedingungen und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem ist Ihnen bekannt, dass wir Ihre personenbezogenen Daten gemäß unserer und bin damit einverstanden.

Auf einem einzigen Kafka Broker unbegrenzt kostenlos verfügbar
i

Die Software ermöglicht die unbegrenzte Nutzung der kommerziellen Funktionen auf einem einzelnen Kafka Broker. Nach dem Hinzufügen eines zweiten Brokers startet automatisch ein 30-tägiger Timer für die kommerziellen Funktionen, der auch durch ein erneutes Herunterstufen auf einen einzigen Broker nicht zurückgesetzt werden kann.

Wählen Sie den Implementierungstyp aus
Manuelle Implementierung
  • tar
  • zip
  • deb
  • rpm
  • docker
oder
Automatische Implementierung
  • kubernetes
  • ansible

Wenn Sie oben auf „kostenlos herunterladen“ klicken, erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten verarbeiten – gemäß unserer Datenschutzerklärung zu.

Indem Sie oben auf „kostenlos herunterladen“ klicken, akzeptieren Sie die Confluent-Lizenzvertrag und den gelegentlichen Erhalt von Marketing-E-Mails von Confluent. Zudem erklären Sie sich damit einverstanden, dass wir Ihre personenbezogenen Daten gemäß unserer Datenschutzerklärung zu.

Diese Website verwendet Cookies zwecks Verbesserung der Benutzererfahrung sowie zur Analyse der Leistung und des Datenverkehrs auf unserer Website. Des Weiteren teilen wir Informationen über Ihre Nutzung unserer Website mit unseren Social-Media-, Werbe- und Analytics-Partnern.