Erste Schritte mit KSQL-Rezepten
Um Ihr Projekt zur Stream-Verarbeitung zu unterstützen, haben wir eine Reihe von Anwendungsfällen für Stream-Verarbeitung und KSQL-Code-Beispiele zusammengestellt. Wie bei einem Rezept erklären wir Schritt für Schritt, wie es geht, um Ihnen beim Einstieg zu helfen.
Bringen Sie Ihr KSQL eine Stufe weiter
Ganz egal, ob KSQL für Sie ein ganz neues Thema ist oder Sie schon bereit für die Produktionsumgebung sind, hier erhalten Sie detaillierte Informationen zu den wichtigsten KSQL-Konzepten, -Streams und -Tabellen, mit denen Sie unbegrenzt Daten und Datenaggregierungen, Skalierbarkeit, Sicherheitsfunktionen und vieles mehr für sich nutzen können.
Anwendungsfälle und Beispiele
Streaming-ETL
Apache Kafka ist eine beliebte Wahl für den Betrieb von Daten-Pipelines. KSQL vereinfacht die Daten-transformation innerhalb der Pipeline, so dass Nachrichten sauber in einem anderen System ankommen können.
CREATE STREAM vip_actions AS
SELECT userid, page, actionFROM clickstream cLEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';
Erkennung von Anomalien
KSQL eignet sich hervorragend zur Erkennung von Mustern und Anomalien bei Echtzeit-Daten. Durch die sofortige Verarbeitung des Streams, wenn Daten eintreffen, können Sie ungewöhnliche Ereignisse sofort erkennen und richtig damit umgehen – mit einer Latenz im Millisekundenbereich.
CREATE TABLE possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY card_number
HAVING count(*) > 3;
Monitoring
Dank seiner Fähigkeit, skalierbare geordnete Nachrichten mit Stream-Verarbeitung bereitzustellen, wird Kafka häufig als Lösung für Log-Daten-Überwachung und -Warnungen eingesetzt. KSQL bietet eine vertraute Syntax zum Tracken, Verstehen und Verwalten von Warnungen.
CREATE TABLE error_counts AS
SELECT error_code, count(*)
FROM monitoring_stream
WINDOW TUMBLING (SIZE 1 MINUTE)
WHERE type = 'ERROR'
GROUP BY error_code;