Kafka Streams API

Datenstromverarbeitung für Entwickler

The Streams API in Kafka is an open-source solution that you can integrate into your application to build and execute powerful stream processing functions. If you use Kafka for stream data transport, the Streams API in Kafka can immediately add stream processing capabilities to your application without the burden of adding an entirely separate distributed processing cluster for another stream processing framework. Whether you have an IoT application, a monitoring function, a complex continuous query, or you are tracking inventory changes, the Streams API in Kafka enables you to build your application with ease.

The Streams API in Kafka is included with the Apache Kafka release v 0.10 as well as Confluent Enterprise v3.0.

Confluent Platform herunterladen
Kafka

Die heutigen Umgebungen für die Datenstromverarbeitung sind komplex

APIs für die Datenstromverarbeitung sind sehr leistungsstarke Tools. Mit dieser enormen Leistungskraft geht jedoch auch eine gewisse Komplexität einher. Sie benötigen ihre eigenen, dedizierten Maschinencluster und sind dazu oft auf dezentrale Datenbanken angewiesen, um Look-Ups und Aggregationen auszuführen. Zudem ist es wahrscheinlich erforderlich, dass Ihre Applikation die Wiederverarbeitung von alten Daten separat bewältigt.

Das Ergebnis? Viele bewegliche Komponenten, die allesamt miteinander abgestimmt werden müssen, damit die Applikation auch wirklich einwandfrei funktioniert.

Wir stellen vor: Streams API in Kafka

Blog-Beitrag über die Streams API in Kafka lesen
Die heutigen Umgebungen für die Datenstromverarbeitung sind komplex

Kafka Streams API: Die Leistung ohne den Ballast

  • Symbol Leistungsfähig

    Leistungsfähig

    • Hochskalierbar, elastisch, fehlertolerant
    • Zustandsbehaftete und zustandslose Verarbeitung
    • Ereigniszeitverarbeitung
  • Symbol Ressourcenschonend

    Ressourcenschonend

    • Kein dediziertes Cluster erforderlich
    • Keine Schicht zur Nachrichtenübersetzung
    • Keine externen Abhängigkeiten
  • Symbol Voll integriert

    Voll integriert

    • 100 % kompatibel mit Kafka v0.10
    • Leichte Integration in bestehende Anwendungen
    • Keine künstlichen Regeln für die Anwendungsimplementierung
  • Symbol Echtzeit

    Echtzeit

    • Verarbeitungslatenz im Millisekundenbereich
    • Kein Microbatching von Nachrichten
    • Behandlung von Daten, die außerhalb der Reihenfolge ankommen
    • Erlaubt spätes Eintreffen von Daten

Streams API in Kafka – Geeignete Anwendungsfälle

  • Stream-basierte Microservices

    Stream-basierte Microservices

    Microservices setzen oft auf einem Kafka-basierten Datenstrom auf. Im Gegensatz zu einer großen monolithischen Anwendung stehen Microservices für kleine, entkoppelte Prozesse, die eine eingeschränkte Funktionspalette gegen einen Strom ausführen. Damit sind sie ideal für die Streams API geeignet, da sie auf Echtzeit-Streams funktionieren, von einer verlässlichen Nachrichtenauslieferung abhängig sind und möglicherweise nicht die Implementierungskosten eines separaten Frameworks für die Datenstromverarbeitung rechtfertigen.

  • Kontinuierliche Abfragen

    Kontinuierliche Abfragen

    Eine der besten Möglichkeiten, um sich Streaming-Daten zunutze zu machen, ist es, Daten in unterschiedlichen Streams gegeneinander abzugleichen und zu analysieren oder Streams zusammenzufassen, um so noch aussagekräftigere Informationen zu erhalten. Kontinuierliche Abfragen werden für die unternehmensübergreifende und skalierbare Automatisierung von Echtzeitinformationen verwendet. Die Streams API macht es möglich, solche Funktionen komplett innerhalb der Kafka-Umgebung und mit einem geringen Infrastruktureinsatz zu implementieren.

  • Fortlaufende Transformationen

    Fortlaufende Transformationen

    Fortlaufende Transformationen modifizieren oder aggregieren die Daten in einem Strom. Diese simplen aber entscheidenden Prozesse sind Low-Level-Services, die Ihre Daten für die Analyse in Echtzeit vorbereiten. Ihr kleiner Maßstab passt perfekt zu einer ressourcenschonenden Lösung wie der Streams API in Kafka, welche sowohl eine zustandsbehaftete als auch eine zustandslose Verarbeitung unterstützt.

  • Ereignisgesteuerte Prozesse

    Ereignisgesteuerte Prozesse

    Die endlose Suche nach eventuell bedeutsamen Anomalien in organisatorischen Daten verlagert sich in eine Echtzeit-Umgebung. Sofern Daten-Pipelines vorhanden sind, ist eine darauf abzielende Implementierung von ereignisgesteuerten Prozessen unter Verwendung der Streams API in Kafka eine einfache Erweiterung der Streaming-Infrastruktur, die von Kafka bereits bereitgestellt wird.

Was können wir für Sie tun?

Einer unserer Mitarbeiter meldet sich bei Fragen und Anliegen gerne bei Ihnen.

Kontakt

Wir verwenden Cookies, damit wir nachvollziehen können, wie Sie unsere Website verwenden, und um Ihr Erlebnis zu optimieren. Klicken Sie hier, wenn Sie mehr erfahren oder Ihre Cookie-Einstellungen ändern möchten. Wenn Sie weiter auf dieser Website surfen, stimmen Sie unserer Nutzung von Cookies zu.