KSQL

Streaming-SQL für Apache Kafka

KSQL ist eine als Open Source bereitgestellte, Apache-2.0-lizensierte Streaming-SQL-Engine für die Verarbeitung von Datenströmen aus Apache Kafka®.

Mit KSQL können Streaming-Daten mühelos gelesen, geschrieben und verarbeitet werden – in Echtzeit, skalierbar und mit SQL-ähnlicher Semantik. So verfügen Sie über eine einfache Möglichkeit, Streamverarbeitungstransformationen als Alternative zum Schreiben von Anwendungen in einer Programmiersprache wie Java oder Python auszudrücken.

KSQL ist aktuell als Vorabversion für Entwickler verfügbar und bietet leistungsstarke Streamverarbeitungsfähigkeiten wie Joins, Aggregationen, Ereigniszeit-Windowing und vieles mehr!

KSQL ausprobieren
Aktuell als Vorabversion für Entwickler verfügbar
Streaming-SQL für Apache Kafka

KSQL: Senden Sie ganz ohne Code Abfragen an Ihre Streams
Profitieren Sie jetzt von einer fehlertoleranten Kafka-Streamverarbeitung in Echtzeit.

Mit diesen praktischen Ressourcen können Sie im Nu loslegen

ONLINE-TALK ZU STREAMING-SQL
FÜR APACHE KAFKA

Finden Sie heraus, wie Sie mit KSQL Echtzeit-Streaming-Anwendungen erstellen können. In diesem Talk wird die Architektur der KSQL-Engine erläutert und Sie erfahren, wie Sie interaktive, kontinuierliche Abfragen für Streaming-ETL und Echtzeit-Analytics konzipieren und implementieren können.

Video ansehen
ONLINE-TALK ZU STREAMING-SQL<br />FÜR APACHE KAFKA

Anwendungsfälle und Beispiele

01

Streaming-ETL

Apache Kafka ist eine beliebte Wahl für den Betrieb von Daten-Pipelines. KSQL vereinfacht die Daten-transformation innerhalb der Pipeline, so dass Nachrichten sauber in einem anderen System ankommen können.

CREATE STREAM vip_actions AS 
SELECT
userid, page, action FROM clickstream c LEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';
02

Erkennung von Anomalien

KSQL eignet sich hervorragend zur Erkennung von Mustern und Anomalien bei Echtzeit-Daten. Durch die sofortige Verarbeitung des Streams, wenn Daten eintreffen, können Sie ungewöhnliche Ereignisse sofort erkennen und richtig damit umgehen – mit einer Latenz im Millisekundenbereich.

CREATE TABLE possible_fraud AS
SELECT
card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY
card_number
HAVING count(*) > 3;
03

Monitoring

Dank seiner Fähigkeit, skalierbare geordnete Nachrichten mit Stream-Verarbeitung bereitzustellen, wird Kafka häufig als Lösung für Log-Daten-Überwachung und -Warnungen eingesetzt. KSQL bietet eine vertraute Syntax zum Tracken, Verstehen und Verwalten von Warnungen.

CREATE TABLE error_counts AS 
SELECT
error_code, count(*) FROM monitoring_stream WINDOW TUMBLING (SIZE 1 MINUTE) WHERE type = 'ERROR' GROUP BY error_code;