Erste Schritte mit KSQL-Rezepten
Um Ihr Projekt zur Stream-Verarbeitung zu unterstützen, haben wir eine Reihe von Anwendungsfällen für Stream-Verarbeitung und KSQL-Code-Beispiele zusammengestellt. Wie bei einem Rezept erklären wir Schritt für Schritt, wie es geht, um Ihnen beim Einstieg zu helfen.
Mehr erfahrenBringen Sie Ihr KSQL eine Stufe weiter
Ganz egal, ob KSQL für Sie ein ganz neues Thema ist oder Sie schon bereit für die Produktionsumgebung sind, hier erhalten Sie detaillierte Informationen zu den wichtigsten KSQL-Konzepten, -Streams und -Tabellen, mit denen Sie unbegrenzt Daten und Datenaggregierungen, Skalierbarkeit, Sicherheitsfunktionen und vieles mehr für sich nutzen können.
-
Einführung in KSQL
Erhalten Sie eine Einführung in das Konzept der Stream-Verarbeitung mit Apache Kafka und KSQL.
Watch Now -
KSQL und Core Kafka
Erfahren Sie mehr über die Verknüpfung von KSQL mit Clients, die Auswahl der richtigen API und wie KSQL Kafka Topics verwendet.
Watch Now -
Anwendungsfälle von KSQL
Zu den Anwendungsfällen von KSQL gehören die Datenexploration, die willkürliche Filterung, Streaming-ETL und mehr.
Watch Now -
Installation und Ausführung von KSQL
Erfahren Sie neben anderen Syntaxgrundlagen, wie man KSQL erhält und den KSQL-Server sowie CLI startet.
Watch Now -
KSQL-Datenströme und -Tabellen
Unterscheiden Sie einen DATENSTROM von einer TABELLE und entdecken Sie, wie unbegrenzt Streaming-Abfragen sind.
Video ansehen -
Auslesen von Kafka-Daten aus KSQL
Entdecken Sie Kafka Topic-Daten. Erstellen Sie einen DATENSTROM oder eine TABELLE. Identifizieren Sie Felder, Metadaten und Formate.
Video ansehen -
Streaming und unbegrenzte Daten
Streamen Sie Abfragen, lesen Sie Topics, entdecken Sie permanente und nicht permanente Abfragen und mehr.
Video ansehen -
Datenaufbereitung mit KSQL
Verwenden Sie Skalarfunktionen, ändern Sie Feldtypen, filtern und führen Sie Daten zusammen und schlüsseln Sie Streams neu auf – mit KSQL.
Video ansehen -
Aggregierungen in KSQL
Prüfen Sie verschiedene Aggregierungsfunktionen (z. B. MAX, MIN), Windowing und zu spät eintreffende Daten.
Video ansehen -
Bringen Sie KSQL in die Produktion
Entwickeln Sie eine Streaming-ETL-Pipeline, skalieren Sie die Verarbeitung, sichern Sie KSQL und überwachen Sie die KSQL-Performance.
Watch Now -
INSERT INTO in KSQL
Eine kurze Anleitung zur Verwendung von INSERT INTO in KSQL.
Watch Now -
STRUCT in KSQL
Eine kurze Anleitung zur Verwendung von STRUCT (geschachtelte Daten) in KSQL.
Watch Now
Anwendungsfälle und Beispiele
Streaming-ETL
Apache Kafka ist eine beliebte Wahl für den Betrieb von Daten-Pipelines. KSQL vereinfacht die Daten-transformation innerhalb der Pipeline, so dass Nachrichten sauber in einem anderen System ankommen können.
CREATE STREAM vip_actions AS
SELECT userid, page, action FROM clickstream c LEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';
Erkennung von Anomalien
KSQL eignet sich hervorragend zur Erkennung von Mustern und Anomalien bei Echtzeit-Daten. Durch die sofortige Verarbeitung des Streams, wenn Daten eintreffen, können Sie ungewöhnliche Ereignisse sofort erkennen und richtig damit umgehen – mit einer Latenz im Millisekundenbereich.
CREATE TABLE possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY card_number
HAVING count(*) > 3;
Monitoring
Dank seiner Fähigkeit, skalierbare geordnete Nachrichten mit Stream-Verarbeitung bereitzustellen, wird Kafka häufig als Lösung für Log-Daten-Überwachung und -Warnungen eingesetzt. KSQL bietet eine vertraute Syntax zum Tracken, Verstehen und Verwalten von Warnungen.
CREATE TABLE error_counts AS
SELECT error_code, count(*) FROM monitoring_stream WINDOW TUMBLING (SIZE 1 MINUTE) WHERE type = 'ERROR' GROUP BY error_code;