Verwenden von Kontextvariablen zur Filterung verschiedener Daten bei der Ausführung - Cloud

Nutzungshandbuch für Talend Cloud Pipeline Designer

Version
Cloud
Language
Deutsch
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
Administration und Überwachung > Überwachung von Ausführungen
Administration und Überwachung > Überwachung von Logs
Data Governance > Datenfilterung
Datenqualität und Datenaufbereitung > Datenfilterung
Datenqualität und Datenaufbereitung > Verwaltung von Datensätzen
Design und Entwicklung > Konzeption von Pipelines
Implementierung > Implementierung > Pipeline-Ausführung
Last publication date
2024-02-12

In diesem Szenario wird eine Kontextvariable hinzugefügt, um den zur Filterung der Benutzerdaten verwendeten Wert bei der Ausführung zu überschreiben.

Pipeline namens „Filter user data with context variables“ mit einem Testdatensatz als Pipeline-Quelle, einem Filterprozessor mit Kontextvariablen und einem anderen Testdatensatz als Pipeline-Ziel.

Vorbereitungen

  • Sie haben zuvor eine Verbindung zu dem System erstellt, in dem Ihre Quelldaten gespeichert sind, in diesem Fall eine Testverbindung.

  • Sie haben zuvor den Datensatz hinzugefügt, der die Quelldaten enthält.

    Hier sind benutzerspezifische Informationen gespeichert, u. a. Name, Firma, E-Mail, Kontosaldo usw. Weitere Informationen finden Sie unter „Erstellen von Testdatensätzen“.

  • Sie haben ebenfalls den Ziel-Testdatensatz erstellt, in dem der Ausgabelog gespeichert werden soll.

Prozedur

  1. Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
  2. Legen Sie einen sinnvollen Namen für die Pipeline fest.

    Example

    Filter user data with context variables (Benutzerdaten mit Kontextvariablen filtern)
  3. Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN), um ein Fenster zu öffnen, in dem Sie die Quelldaten, in diesem Fall die Benutzerdaten, auswählen können.
  4. Wählen Sie den Datensatz aus und klicken Sie auf Select (Auswählen), um ihn zur Pipeline hinzuzufügen.
    Benennen Sie ihn um, falls erforderlich.
  5. Klicken Sie auf Plus und fügen Sie einen Filter-Prozessor zur Pipeline hinzu. Das Konfigurationsfenster wird geöffnet.
  6. Geben Sie einen aussagekräftigen Namen für den Prozessor ein, z. B. filter on balances >= $3,000 (Nach Saldo >= $3.000 filtern).
  7. Führen Sie im Filterbereich Folgendes durch:
    1. Wählen Sie .balance im Bereich Input (Eingabe) aus, da Sie die Datensätze ausfiltern möchten, die den Benutzerkontensalden entsprechen.
    2. Wählen Sie None (Keine) in der Liste Optionally select a function to apply (Optional anzuwendende Funktion auswählen) sowie >= in der Liste Operator aus und geben Sie $3,000 in der Liste Value (Wert) ein, da Sie Benutzer mit einem Kontosaldo von mindestens 3000  Dollar ausfiltern möchten.
  8. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.

    Wie Sie sehen, wurden die Datensätze gefiltert und nur 4 Datensätze entsprechen den von Ihnen definierten Kriterien:

    Vorschaufenster mit den Eingabedaten vor und den Ausgabedaten nach der FilteroperationV
  9. Klicken Sie auf das Element ADD DESTINATION (ZIEL HINZUFÜGEN) der Pipeline, um das Fenster zur Auswahl des Datensatzes zu öffnen, der die gefilterten Daten aufnehmen soll.
  10. Legen Sie für das Ziel einen aussagekräftigen Namen fest, beispielsweise log output (Log-Ausgabe).
  11. Aktivieren Sie auf der Registerkarte Configuration (Konfiguration) des Zieldatensatzes die Option Log records to STDOUT (Datensätze in STDOUT protokollieren), um die gelesenen Datensätze in die Ausführungslogs der Pipeline aufzunehmen.
  12. (Optional) Wenn Sie Ihre Pipeline zu diesem Zeitpunkt ausführen, können Sie in den Logs sehen, dass die in der Datenvorschau angezeigten 4 Datensätze gemäß dem von Ihnen festgelegten Filter übergeben wurden:
    Logs-Bereich mit der Angabe, dass bei der Pipeline-Ausführung 7 Datensätze gelesen und 4 Datensätze erzeugt wurden.
  13. Kehren Sie zur Registerkarte Configuration (Konfiguration) des Filter-Prozessors zurück, um eine Variable hinzuzufügen und zuzuweisen:
    Konfigurationsfenster des Filterprozessors mit hervorgehobenem X-Symbol zum Hinzufügen von Kontextvariablen
    1. Klicken Sie auf das Symbol neben dem Feld Value (Wert), um das Fenster [Assign a variable] (Variable zuweisen) zu öffnen.
    2. Klicken Sie auf Add variable (Variable hinzufügen).
    3. Geben Sie der Variable einen Namen, z. B. balance_amount (Saldobetrag).
    4. Geben Sie den Variablenwert ein, durch den der Standardwert, in diesem Fall $1,000, überschrieben werden soll.
    5. Geben Sie nach Bedarf eine Beschreibung ein und klicken Sie dann auf Add (Hinzufügen).
    6. Die Variable ist damit erstellt. Sie werden jetzt zum Fenster [Assign a variable] (Variable zuweisen) weitergeleitet, in dem alle Kontextvariablen aufgeführt sind. Wählen Sie Ihre aus und klicken Sie auf Assign (Zuweisen).
      Fenster „Assign a variable (Variable zuweisen)“ mit ausgewählter neuer Variable und aktivierter Schaltfläche „Assign (Zuweisen)“
      Ihre Variable und deren Wert werden dem Feld Value (Wert) des Filters zugewiesen, d. h. der Wert 1.000 Dollar überschreibt den zuvor festgelegten Wert von 3.000 Dollar.
    7. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  14. Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
  15. Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die Daten werden in Übereinstimmung mit der dem Filterwert zugewiesenen Kontextvariable gefiltert. In den Ausführungslogs der Pipeline wird Folgendes angezeigt:
  • Der Wert der Kontextvariablen, der bei der Ausführung verwendet wird.
    Logs-Fenster mit hervorgehobenen Informationen zu den zur Laufzeit verwendeten Kontextvariablen
  • Die Anzahl der erzeugten Datensätze, die den Kriterien entsprechen, in diesem Fall 7, d. h. 7 Benutzerdatensätze verfügen über ein Kontosaldo größer oder gleich 1.000 Dollar.
    Logs-Bereich mit der Angabe, dass bei der Pipeline-Ausführung 7 Datensätze gelesen und 4 Datensätze erstellt wurden.