Confluent KSQL

Streaming-SQL für Apache Kafka

Confluent KSQL ist die Streaming-SQL-Engine, die eine Echtzeit-Datenverarbeitung gegen Apache Kafka® ermöglicht. Sie bietet eine anwenderfreundliche, aber dennoch leistungsstarke innovative SQL-Schnittstelle für die Stream-Verarbeitung auf Kafka, ohne dass Code in einer Programmiersprache wie Java oder Python geschrieben werden muss. KSQL ist skalierbar, flexibel, fehlertolerant und unterstützt ein breites Spektrum an Datenstromverarbeitungsvorgängen wie etwa Datenfilterung, Transformationen, Aggregationen, Joins, Windowing und Sessionization.

Confluent herunterladen
Erste Schritte mit KSQL
Streaming-SQL für Apache Kafka

KSQL: Senden Sie ganz ohne Code Abfragen an Ihre Streams
Profitieren Sie jetzt von einer fehlertoleranten Kafka-Streamverarbeitung in Echtzeit.

Mit diesen praktischen Ressourcen können Sie im Nu loslegen

ONLINE-TALK ZU STREAMING-SQL
FÜR APACHE KAFKA

Finden Sie heraus, wie Sie mit KSQL Echtzeit-Streaming-Anwendungen erstellen können. In diesem Talk wird die Architektur der KSQL-Engine erläutert und Sie erfahren, wie Sie interaktive, kontinuierliche Abfragen für Streaming-ETL und Echtzeit-Analytics konzipieren und implementieren können.

Video ansehen
ONLINE-TALK ZU STREAMING-SQL<br />FÜR APACHE KAFKA

Bringen Sie Ihr KSQL eine Stufe weiter

Ganz egal, ob KSQL für Sie ein ganz neues Thema ist oder Sie schon bereit für die Produktionsumgebung sind, hier erhalten Sie detaillierte Informationen zu den wichtigsten KSQL-Konzepten, -Streams und -Tabellen, mit denen Sie unbegrenzt Daten und Datenaggregierungen, Skalierbarkeit, Sicherheitsfunktionen und vieles mehr für sich nutzen können.

  • Einführung in KSQL

    Erhalten Sie eine Einführung in das Konzept der Stream-Verarbeitung mit Apache Kafka und KSQL.

    Watch Now
  • KSQL und Core Kafka

    Erfahren Sie mehr über die Verknüpfung von KSQL mit Clients, die Auswahl der richtigen API und wie KSQL Kafka Topics verwendet.

    Watch Now
  • Anwendungsfälle von KSQL

    Zu den Anwendungsfällen von KSQL gehören die Datenexploration, die willkürliche Filterung, Streaming-ETL und mehr.

    Watch Now
  • Installation und Ausführung von KSQL

    Erfahren Sie neben anderen Syntaxgrundlagen, wie man KSQL erhält und den KSQL-Server sowie CLI startet.

    Watch Now
  • KSQL-Datenströme und -Tabellen

    Unterscheiden Sie einen DATENSTROM von einer TABELLE und entdecken Sie, wie unbegrenzt Streaming-Abfragen sind.

    Video ansehen
  • Auslesen von Kafka-Daten aus KSQL

    Entdecken Sie Kafka Topic-Daten. Erstellen Sie einen DATENSTROM oder eine TABELLE. Identifizieren Sie Felder, Metadaten und Formate.

    Video ansehen
  • Streaming und unbegrenzte Daten

    Streamen Sie Abfragen, lesen Sie Topics, entdecken Sie permanente und nicht permanente Abfragen und mehr.

    Video ansehen
  • Datenaufbereitung mit KSQL

    Verwenden Sie Skalarfunktionen, ändern Sie Feldtypen, filtern und führen Sie Daten zusammen und schlüsseln Sie Streams neu auf – mit KSQL.

    Video ansehen
  • Aggregierungen in KSQL

    Prüfen Sie verschiedene Aggregierungsfunktionen (z. B. MAX, MIN), Windowing und zu spät eintreffende Daten.

    Video ansehen
  • Bringen Sie KSQL in die Produktion

    Entwickeln Sie eine Streaming-ETL-Pipeline, skalieren Sie die Verarbeitung, sichern Sie KSQL und überwachen Sie die KSQL-Performance.

    Watch Now
  • INSERT INTO in KSQL

    Eine kurze Anleitung zur Verwendung von INSERT INTO in KSQL.

    Watch Now
  • STRUCT in KSQL

    Eine kurze Anleitung zur Verwendung von STRUCT (geschachtelte Daten) in KSQL.

    Watch Now

Anwendungsfälle und Beispiele

01

Streaming-ETL

Apache Kafka ist eine beliebte Wahl für den Betrieb von Daten-Pipelines. KSQL vereinfacht die Daten-transformation innerhalb der Pipeline, so dass Nachrichten sauber in einem anderen System ankommen können.

CREATE STREAM vip_actions AS 
SELECT
userid, page, action FROM clickstream c LEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';
02

Erkennung von Anomalien

KSQL eignet sich hervorragend zur Erkennung von Mustern und Anomalien bei Echtzeit-Daten. Durch die sofortige Verarbeitung des Streams, wenn Daten eintreffen, können Sie ungewöhnliche Ereignisse sofort erkennen und richtig damit umgehen – mit einer Latenz im Millisekundenbereich.

CREATE TABLE possible_fraud AS
SELECT
card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY
card_number
HAVING count(*) > 3;
03

Monitoring

Dank seiner Fähigkeit, skalierbare geordnete Nachrichten mit Stream-Verarbeitung bereitzustellen, wird Kafka häufig als Lösung für Log-Daten-Überwachung und -Warnungen eingesetzt. KSQL bietet eine vertraute Syntax zum Tracken, Verstehen und Verwalten von Warnungen.

CREATE TABLE error_counts AS 
SELECT
error_code, count(*) FROM monitoring_stream WINDOW TUMBLING (SIZE 1 MINUTE) WHERE type = 'ERROR' GROUP BY error_code;

Wir verwenden Cookies, damit wir nachvollziehen können, wie Sie unsere Website verwenden, und um Ihr Erlebnis zu optimieren. Klicken Sie hier, wenn Sie mehr erfahren oder Ihre Cookie-Einstellungen ändern möchten. Wenn Sie weiter auf dieser Website surfen, stimmen Sie unserer Nutzung von Cookies zu.