Auslesen von Streaming-Nachrichten aus einem Google Pub/Sub-Thema

Dieses Szenario soll Sie bei der Einrichtung und Verwendung von Konnektoren in einer Pipeline unterstützen. Es wird empfohlen, dass Sie das Szenario an Ihre Umgebung und Ihren Anwendungsfall anpassen.

Warum und wann dieser Vorgang ausgeführt wird

In diesem Szenario werden gestreamte JSON-Nachrichtendaten über in einem Google Pub/Sub-Thema veröffentlichte Bücher verarbeitet.

Prozedur

Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.
Example
Google Pub/Sub
Wählen Sie in der Liste Engine Ihre Engine aus.
InformationshinweisAnmerkung:
- Es wird empfohlen, die Moteur distant Gen2 und nicht die Moteur Cloud pour le design für eine erweiterte Datenverarbeitung einzusetzen.
- Wenn keine Moteur distant Gen2 in Talend Management Console erstellt wurde bzw. diese vorhanden, aber als nicht verfügbar markiert ist, d. h. sie ist nicht aktiv und wird nicht ausgeführt, dann können Sie weder einen Connection type (Verbindungstyp) in der Liste auswählen noch die neue Verbindung speichern.
- Die Liste der verfügbaren Verbindungstypen richtet sich nach der ausgewählten Engine.
Wählen Sie den Typ der zu erstellenden Verbindung aus.
Wählen Sie für dieses Beispiel Google Pub/Sub.
Geben Sie die Verbindungseigenschaften für den Zugriff auf Ihr Google-Projekt wie in Eigenschaften von Google Pub/Sub beschrieben ein, dazu gehören der Projektname und die JSON-Anmeldedaten, prüfen Sie die Verbindung und klicken Sie dann auf Add dataset (Datensatz hinzufügen).
Geben Sie im Fensterbereich Add a new dataset (Neuen Datensatz hinzufügen) einen Namen für Ihren Datensatz ein, book prices (Buchpreise).
Wählen Sie Google Pub/Sub in der Verbindungsliste aus.
Geben Sie die erforderlichen Eigenschaften für den Zugriff auf die Datei in Ihrem Pub/Sub-Thema ein (Name des Themas, Abonnementname, Datenformat) und klicken Sie dann auf View sample (Sample anzeigen), um eine Vorschau Ihres Datensatz-Samples anzuzeigen.
Klicken Sie auf Validate (Validieren), um den Datensatz zu speichern.
Gehen Sie genauso vor, um eine Testverbindung und einen Datensatz hinzuzufügen, der als Ziel in Ihrer Pipeline fungieren soll.
Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN), um ein Fenster zu öffnen, in dem Sie die Quelldaten, in diesem Fall die für Pub/Sub veröffentlichten JSON-Nachrichten, auswählen können.
Wählen Sie den Datensatz aus und klicken Sie auf Select (Auswählen), um ihn zur Pipeline hinzuzufügen.
Benennen Sie ihn um, falls erforderlich.
Klicken Sie auf und fügen Sie einen Prozessor vom Typ Window (Fenster) zur Pipeline hinzu. Daraufhin wird das Konfigurationsfenster geöffnet.
Geben Sie einen sinnvollen Namen für den Prozessor an.
Example
5sec window (5-Sek.-Fenster)
Führen Sie auf der Registerkarte Configuration (Konfiguration) Folgendes durch:
1. Aktivieren Sie die Option Use Window session (Fenstersitzung verwenden).
2. Geben Sie den Wert 5000 als Fensterdauer ein, damit alle 5 Sekunden Daten erfasst werden.
Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
Klicken Sie auf ADD DESTINATION (ZIEL HINZUFÜGEN) und wählen Sie den Testdatensatz aus, der Ihre neu organisierten Daten aufnehmen soll.
Benennen Sie den Datensatz um, falls erforderlich.
Aktivieren Sie auf der Registerkarte Configuration (Konfiguration) die Option Log records to STDOUT (Datensätze in STDOUT protokollieren), da die Ausgabelogs gespeichert werden sollen.
Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die im Pub/Sub-Thema veröffentlichten Nachrichten werden alle 5 Sekunden abgerufen und können in den Ausgabelogs angezeigt werden. Sie können die Ansicht Metrics (Metriken) im Fenster Pipeline Details (Pipeline-Details) aktualisieren, um die Anzahl der inkrementell aktualisierten Datensätze anzuzeigen.

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!

Geben Sie hier Ihr Feedback ab