Vorbereitungen
- Sie müssen über Operator- (Bediener) oder Administratorrechte für Talend Cloud Pipeline Designer verfügen.
- Sie müssen eine Remote Engine Gen2 einrichten oder sicherstellen, dass Ihre Subskription die Nutzung der Cloud Engine for Design zulässt. Entsprechende Anweisungen finden Sie hier: Schnellstarthandbuch für Talend Remote Engine Gen2.
Prozedur
-
Öffnen Sie die Seite Engines.
-
Klicken Sie auf den Namen der Engine, für die Sie das Ausführungsprofil konfigurieren möchten.
-
Klicken Sie auf die Registerkarte Run profiles (Ausführungsprofile) auf der Seite Engine details (Engine-Details).
-
Klicken Sie auf Add profile (Profil hinzufügen).
-
Wählen Sie die Engine aus, auf die das Ausführungsprofil angewendet werden soll.
Standardmäßig ist die aktuellen Engine ausgewählt.
-
Wählen Sie den Ausführungsprofiltyp Standard aus.
-
Wählen Sie das Ausführungs-Framework aus.
Zurzeit wird nur Spark local (Spark lokal) unterstützt.
-
Geben Sie den Namen des Profils ein.
- Optional:
Geben Sie eine Beschreibung des Ausführungsprofils ein.
-
Geben Sie im Bereich Basic configuration (Basiskonfiguration) die Anzahl der Mikrobatch-Intervalle in Millisekunden ein.
Der Standardwert ist 5000.
-
Geben Sie die Anzahl der Threads ein, die das Ausführungsprofil verwenden kann.
- Optional:
Klicken Sie im Bereich Advanced configuration (Erweiterte Konfiguration) auf Add parameter (Parameter hinzufügen), um einen Parameter zu erstellen.
-
Geben Sie für jeden neuen Parameter den entsprechenden Schlüssel und Wert ein.
task_stepxmp
Um den für jeden Ausführerprozess zu verwendenden Speicher festzulegen, geben Sie spark.executor.memory im Parameterschlüssel und 16g in den Wertefeldern ein.
-
Klicken Sie auf Save (Speichern).
Ergebnisse
Das erstellte Ausführungsprofil wird auf der Seite in Talend Cloud Management Console angezeigt. In Talend Cloud Pipeline Designer wird dasselbe Ausführungsprofil in der Dropdown-Liste der Pipeline aufgeführt.