KSQL

Streaming-SQL für Apache Kafka

KSQL is the open source, streaming SQL engine that enables real-time data processing against Apache Kafka®.

KSQL makes it easy to read, write, and process streaming data in real-time, at scale, using SQL-like semantics. It offers an easy way to express streaming transformations.

KSQL provides powerful stream processing capabilities such as joins, aggregations, event-time windowing, all while leveraging the fully supported, enterprise-ready Confluent Platform.

Confluent Platform v4.1
Download to get started with KSQL
Streaming-SQL für Apache Kafka

KSQL: Query Your Streams Without Writing Code
Enjoy real-time, fault-tolerant stream processing against Kafka today.

Mit diesen praktischen Ressourcen können Sie im Nu loslegen

ONLINE-TALK ZU STREAMING-SQL
FÜR APACHE KAFKA

Finden Sie heraus, wie Sie mit KSQL Echtzeit-Streaming-Anwendungen erstellen können. In diesem Talk wird die Architektur der KSQL-Engine erläutert und Sie erfahren, wie Sie interaktive, kontinuierliche Abfragen für Streaming-ETL und Echtzeit-Analytics konzipieren und implementieren können.

Video ansehen
ONLINE-TALK ZU STREAMING-SQL<br />FÜR APACHE KAFKA

Anwendungsfälle und Beispiele

01

Streaming-ETL

Apache Kafka ist eine beliebte Wahl für den Betrieb von Daten-Pipelines. KSQL vereinfacht die Daten-transformation innerhalb der Pipeline, so dass Nachrichten sauber in einem anderen System ankommen können.

CREATE STREAM vip_actions AS 
SELECT
userid, page, action FROM clickstream c LEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';
02

Erkennung von Anomalien

KSQL eignet sich hervorragend zur Erkennung von Mustern und Anomalien bei Echtzeit-Daten. Durch die sofortige Verarbeitung des Streams, wenn Daten eintreffen, können Sie ungewöhnliche Ereignisse sofort erkennen und richtig damit umgehen – mit einer Latenz im Millisekundenbereich.

CREATE TABLE possible_fraud AS
SELECT
card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY
card_number
HAVING count(*) > 3;
03

Monitoring

Dank seiner Fähigkeit, skalierbare geordnete Nachrichten mit Stream-Verarbeitung bereitzustellen, wird Kafka häufig als Lösung für Log-Daten-Überwachung und -Warnungen eingesetzt. KSQL bietet eine vertraute Syntax zum Tracken, Verstehen und Verwalten von Warnungen.

CREATE TABLE error_counts AS 
SELECT
error_code, count(*) FROM monitoring_stream WINDOW TUMBLING (SIZE 1 MINUTE) WHERE type = 'ERROR' GROUP BY error_code;