Project Metamorphosis: Wir präsentieren die Event-Streaming-Plattform der nächsten GenerationMehr Erfahren

Kafka Streams API

Datenstromverarbeitung für Entwickler

The Streams API in Kafka is an open-source solution that you can integrate into your application to build and execute powerful stream processing functions. If you use Kafka for stream data transport, the Streams API in Kafka can immediately add stream processing capabilities to your application without the burden of adding an entirely separate distributed processing cluster for another stream processing framework. Whether you have an IoT application, a monitoring function, a complex continuous query, or you are tracking inventory changes, the Streams API in Kafka enables you to build your application with ease.

The Streams API in Kafka is included with the Apache Kafka release v 0.10 as well as Confluent Enterprise v3.0.

Confluent Platform herunterladen

Die heutigen Umgebungen für die Datenstromverarbeitung sind komplex

APIs für die Datenstromverarbeitung sind sehr leistungsstarke Tools. Mit dieser enormen Leistungskraft geht jedoch auch eine gewisse Komplexität einher. Sie benötigen ihre eigenen, dedizierten Maschinencluster und sind dazu oft auf dezentrale Datenbanken angewiesen, um Look-Ups und Aggregationen auszuführen. Zudem ist es wahrscheinlich erforderlich, dass Ihre Applikation die Wiederverarbeitung von alten Daten separat bewältigt.

Das Ergebnis? Viele bewegliche Komponenten, die allesamt miteinander abgestimmt werden müssen, damit die Applikation auch wirklich einwandfrei funktioniert.

Wir stellen vor: Streams API in Kafka

Blog-Beitrag über die Streams API in Kafka lesen

Kafka Streams API: Die Leistung ohne den Ballast

  • Leistungsfähig

    • Hochskalierbar, elastisch, fehlertolerant
    • Zustandsbehaftete und zustandslose Verarbeitung
    • Ereigniszeitverarbeitung
  • Ressourcenschonend

    • Kein dediziertes Cluster erforderlich
    • Keine Schicht zur Nachrichtenübersetzung
    • Keine externen Abhängigkeiten
  • Voll integriert

    • 100 % kompatibel mit Kafka v0.10
    • Leichte Integration in bestehende Anwendungen
    • Keine künstlichen Regeln für die Anwendungsimplementierung
  • Echtzeit

    • Verarbeitungslatenz im Millisekundenbereich
    • Kein Microbatching von Nachrichten
    • Behandlung von Daten, die außerhalb der Reihenfolge ankommen
    • Erlaubt spätes Eintreffen von Daten

Streams API in Kafka – Geeignete Anwendungsfälle

  • Stream-basierte Microservices

    Microservices setzen oft auf einem Kafka-basierten Datenstrom auf. Im Gegensatz zu einer großen monolithischen Anwendung stehen Microservices für kleine, entkoppelte Prozesse, die eine eingeschränkte Funktionspalette gegen einen Strom ausführen. Damit sind sie ideal für die Streams API geeignet, da sie auf Echtzeit-Streams funktionieren, von einer verlässlichen Nachrichtenauslieferung abhängig sind und möglicherweise nicht die Implementierungskosten eines separaten Frameworks für die Datenstromverarbeitung rechtfertigen.

  • Kontinuierliche Abfragen

    Eine der besten Möglichkeiten, um sich Streaming-Daten zunutze zu machen, ist es, Daten in unterschiedlichen Streams gegeneinander abzugleichen und zu analysieren oder Streams zusammenzufassen, um so noch aussagekräftigere Informationen zu erhalten. Kontinuierliche Abfragen werden für die unternehmensübergreifende und skalierbare Automatisierung von Echtzeitinformationen verwendet. Die Streams API macht es möglich, solche Funktionen komplett innerhalb der Kafka-Umgebung und mit einem geringen Infrastruktureinsatz zu implementieren.

  • Fortlaufende Transformationen

    Fortlaufende Transformationen modifizieren oder aggregieren die Daten in einem Strom. Diese simplen aber entscheidenden Prozesse sind Low-Level-Services, die Ihre Daten für die Analyse in Echtzeit vorbereiten. Ihr kleiner Maßstab passt perfekt zu einer ressourcenschonenden Lösung wie der Streams API in Kafka, welche sowohl eine zustandsbehaftete als auch eine zustandslose Verarbeitung unterstützt.

  • Ereignisgesteuerte Prozesse

    Die endlose Suche nach eventuell bedeutsamen Anomalien in organisatorischen Daten verlagert sich in eine Echtzeit-Umgebung. Sofern Daten-Pipelines vorhanden sind, ist eine darauf abzielende Implementierung von ereignisgesteuerten Prozessen unter Verwendung der Streams API in Kafka eine einfache Erweiterung der Streaming-Infrastruktur, die von Kafka bereits bereitgestellt wird.

Was können wir für Sie tun?

Einer unserer Mitarbeiter meldet sich bei Fragen und Anliegen gerne bei Ihnen.

Kontakt