Entfernen nicht benötigter Felder aus Flugdatensätzen - Cloud

Prozessorhandbuch für Talend Cloud Pipeline Designer
Version
Cloud
Language
Deutsch
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
Design und Entwicklung > Konzeption von Pipelines
Last publication date
2024-02-29

Eine Pipeline mit einer lokalen Quelle, einem Prozessor vom Typ „Data cleansing (Datenbereinigung)“, einem Prozessor vom Typ „Field remover (Feldentfernung)“ und einem Testziel.

Vorbereitungen

  • Sie haben zuvor den Datensatz hinzugefügt, der die Quelldaten enthält.

    Laden Sie folgende Datei herunter: field_remover-fields.csv. Sie enthält einen lokalen Datensatz mit einer Liste von Flügen und entsprechenden Informationen (Luftfahrzeugkennung, Flugnummer, ICAO-24-Adresse des Luftfahrzeugs, Luftfahrzeugregistrierung, Abflughafen, Zielflughafen usw.).

  • Sie haben außerdem die Verbindung und den zugehörigen Datensatz erstellt, der die verarbeiteten Daten aufnehmen soll.

    In diesem Beispiel ein Test-Zieldatensatz.

Prozedur

  1. Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
  2. Legen Sie einen sinnvollen Namen für die Pipeline fest.

    Example

    Remove fields from flight records (Felder aus Flugdatensätzen entfernen)
  3. Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN), um ein Fenster zu öffnen, in dem Sie die Quelldaten, in diesem Fall eine lokale Datei mit Fluginformationen, auswählen können.
    Vorschau eines Datenbeispiels mit Flugdatensätzen

    In diesem Beispiel können Sie feststellen, dass zahlreiche Flugnummern fehlen.

  4. Wählen Sie den Datensatz aus und klicken Sie auf Select (Auswählen), um ihn zur Pipeline hinzuzufügen.
    Benennen Sie ihn um, falls erforderlich.
  5. Klicken Sie auf Plus und fügen Sie einen Prozessor vom Typ Data cleansing (Datenbereinigung) zur Pipeline hinzu. Daraufhin wird das Konfigurationsfenster geöffnet.
  6. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    mark empty flight numbers as N/A (Leere Flugnummern mit N/A kennzeichnen)
  7. Konfigurieren Sie den Prozessor:
    1. Wählen Sie Fill cells with value (Zellen mit Werten füllen) in der Liste Function name (Funktionsname) aus.
    2. Wählen Sie .number (Nummer) in der Liste Fields to process (Zu verarbeitende Felder) aus bzw. geben Sie den Feldnamen ein.
    3. Wählen Sie Value (Wert) in der Liste Use with (Verwenden mit) aus und geben Sie N/A in das Feld Value (Wert) ein, da für fehlende Flugnummern „N/A“ eingetragen werden soll.
  8. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.

    Sehen Sie sich die Vorschau des Prozessors an, um die Daten vor dem Bereinigungsvorgang mit denjenigen nach dem Vorgang zu vergleichen.

    Vorschau des Prozessors vom Typ „Data cleansing (Datenbereinigung)“ nach dem Ersetzen von leeren Flugnummern mit dem Wert „N/A“ („Not available“: Nicht verfügbar).
  9. Klicken Sie auf Plus und fügen Sie einen Prozessor vom Typ Field remover (Feldentfernung) zur Pipeline hinzu. Daraufhin wird das Konfigurationsfenster geöffnet.
  10. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    remove unnecessary fields (Unnötige Felder entfernen)
  11. Um die Felder zu entfernen, die Sie nicht benötigen - in diesem Beispiel die ICAO-24-Luftfahrzeugadressen, die ICAO-Luftfahrzeugtypencodes und die Flugtag-Zeitstempel -, konfigurieren Sie den Prozessor folgendermaßen:
    1. Wählen Sie .icao24 in der Liste Field to remove (Zu entfernendes Feld) aus bzw. geben Sie den Namen ein.
    2. Fügen Sie ein neues Element hinzu und wählen Sie in der Liste Input (Eingabe) den Eintrag .typecode (Typencode) aus.
    3. Fügen Sie ein neues Element hinzu und wählen Sie in der Liste Input (Eingabe) den Eintrag .day (Tag) aus.
  12. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.

    Sehen Sie sich die Vorschau des Prozessors an, um die Daten vor mit denjenigen nach dem Löschvorgang zu vergleichen.

    Vorschau des Prozessors vom Typ „Field remover (Feldentfernung)“ nach der Entfernung von Datensätzen.

    Die nicht benötigten Felder wurden entfernt.

  13. Klicken Sie auf ADD DESTINATION (ZIEL HINZUFÜGEN) und wählen Sie den Datensatz aus, der Ihre bereinigten Daten aufnehmen soll.
    Benennen Sie ihn um, falls erforderlich.
  14. Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
  15. Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die Daten werden bereinigt und die nicht benötigten Felder gemäß den von Ihnen angegebenen Bedingungen gelöscht.