Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Einrichten von Data Planes in registrierten Kubernetes-Clustern

Availability-noteBeta

Registrieren Sie eines Ihrer bereits vorhandenen Kubernetes-Cluster für die Implementierung von Talend Data Plane-Umgebungen.

Sie müssen eines Ihrer eigenen Kubernetes-Cluster bereitstellen, damit Talend Data Plane-Umgebungen darin implementieren kann. Dieses Kubernetes-Cluster muss ausschließlich Talend Data Planes vorbehalten sein.

Wenn Sie sich zunächst mit Talend Control Plane und Data Plane vertraut machen möchten, bevor Sie Ihr Cluster registrieren, haltenSie sich an Einrichten einer Demo-Data Plane zu Testzwecken, um eine Demo-Data Plane zu Testzwecken einzurichten.

Vorbereitungen

  • Generieren von Zugriffstoken:

    Nach der Generierung läuft ein Dienstkonto-Token nach 30 Minuten ab. Generieren Sie dann ein neues Token mithilfe der POST-Methode am Endpunkt https://api.<env>.cloud.talend.com/security/oauth/token. Weitere Informationen zur Generierung von Token finden Sie unter „Generieren eines Dienstkonto-Tokens“.

  • Das Kubernetes-Cluster muss eine der folgenden Versionen aufweisen:
    • v1.25
    • v1.26
    • v1.27
  • Mindestanforderungen an das zu registrierende Kubernetes-Cluster:
    • Instanz-Größe: 16G Arbeitsspeicher und 4 vCPU
    • Festplattengröße: 100G
    • Anzahl Knoten: 3
    • Longhorn v1.5.1, ein verteiltes Blockspeichersystem für Kubernetes, wurde in Ihrem Cluster installiert. Mithilfe des folgenden Befehls können Sie schnell und problemlos ein funktionsfähiges Longhorn für einen direkten Start installieren:
      kubectl apply -f https://raw.githubusercontent.com/longhorn/longhorn/v1.5.1/deploy/prerequisite/longhorn-iscsi-installation.yaml
      Wenn Sie eine produktionsbereite Installation und Konfiguration von Longhorn benötigen, finden Sie hierzu Informationen in den Anweisungen in der Longhorn-Dokumentation.

Prozedur

  1. Wenn Sie noch nicht über ein Kubernetes-Cluster verfügen, erstellen Sie eines lokal oder auf einer Cloud-Plattform wie Azure oder AWS.
  2. Erstellen Sie eine Data Plane-Entität direkt in Talend Management Console oder mithilfe des entsprechenden API-Dienstes.
    • Talend Management Console: Siehe „Hinzufügen von Data Planes“. Achten Sie dabei darauf, dass die Option Install Data Plane as a single package including Kubernetes cluster (Data Plane als Einzelpaket mit Kubernetes-Cluster installieren) nicht ausgewählt ist, um sicherzustellen, dass Sie einen Befehl erhalten, mit dem nur Ihr Kubernetes-Cluster registriert wird.
    • API: Senden Sie den nachstehenden POST-Aufruf an https://api.<env>.cloud.talend.com/processing/data-planes.
      curl -i -X POST \
       -H "Content-Type:application/json" \ 
       -H "Authorization:Bearer <personal_access_token_or_service_access_token>" \ 
       -d \ 
      '{ 
       "provider": "REGISTER",
       "name": "a_meaningful_demo_data_plane_name", 
       "description": "A meaningful description."
      }' \
      'https://api.<ENV>.cloud.talend.com/processing/data-planes'

      Das Feld provider verwendet REGISTER. Dadurch wird ein Befehl generiert, der nur der Registrierung eines bestehenden Kubernetes-Clusters dient.

      Über diesen Request wird automatisch eine RKE2 Kubernetes-Distribution in Ihrem Cluster installiert. Weitere Informationen zur RKE2-Distribution finden Sie unter https://docs.rke2.io.

      Weitere Informationen zu diesem Endpunkt finden Sie unter „Erstellen neuer Data Planes“.

    Bei beiden Vorgehensweisen erhalten Sie einen Befehl, der die Registrierung des Clusters bei Talend für die Implementierung von Talend Data Plane-Umgebungen ermöglicht. Speichern Sie diesen Befehl zur späteren Verwendung. Der Befehl wird nur einmal angezeigt, deshalb müssen Sie sicherstellen, dass er verfügbar ist, wenn er benötigt wird.
    In der Antwort erhalten Sie ebenfalls die ID der Data Plane. Notieren Sie sich diese, um sie in späteren Schritten verwenden zu können.
    • Wenn Sie Talend Management Console zur Erstellung Ihrer Data Plane heranziehen, finden Sie deren ID in der URL beim Klicken auf die Data Plane. In der folgenden URL beispielsweise:
      <Your_TMC_URL>/processing/data-planes/c-m-nt4l5zx8/overview
      entspricht c-m-nt4l5zx8 der ID der ausgewählten Data Plane.
  3. Führen Sie diesen Befehl in Ihrem Kubernetes-Cluster aus, um das Cluster bei Talend Cloud zu registrieren. Das kann 2 bis 3 Minuten in Anspruch nehmen.
  4. Optional: Senden Sie den nachstehenden API-Request, um sicherzustellen, dass der Clusterknoten von der Data Plane-Steuerung erkannt wurde.
    curl -i -X GET \
       -H "Authorization:Bearer <personal_access_token_or_service_access_token>" \
     'https://api.<env>.cloud.talend.com/processing/data-planes/<data_plane_id_you_obtained>'
    Wenn der Knoten im Feld nodes (Knoten) in der Antwort aufgeführt wird, bedeutet das, dass die Data Plane-Steuerung den Knoten erfolgreich erkannt hat. Damit ist der Knoten bereit für die Implementierung einer Data Plane-Umgebung.

    Weitere Informationen zu diesem Endpunkt finden Sie unter „Abrufen von Data Planes über deren ID“.

  5. Erstellen Sie die Data Plane-Umgebung, die mit der oben erstellten Data Plane-Entität verbunden werden soll.
    Eine Data Plane-Umgebung ist eine Talend-Umgebung, die ausschließlich Data Planes vorbehalten ist und dem Scoping und Management von Verarbeitungsressourcen wie Diensten, Tasks oder Artefakten als Ganzes dient. Sie müssen Talend Management Console bzw. die entsprechende API verwenden, um eine Data Plane-Umgebung zu erstellen.

    Dazu benötigen Sie die Berechtigung Environments - Manage (Umgebungen - Verwalten) (ID: TMC_ENVIRONMENT_MANAGEMENT).

    Example

    • Talend Management Console: Siehe „Hinzufügen von Data Plane-Umgebungen“.
    • API: Senden Sie den nachstehenden Request.
      curl -i -X POST \
       -H "Content-Type:application/json" \ 
       -H "Authorization:Bearer <personal_access_token_or_service_access_token>" \ 
       -d \ 
      '{ 
       "name": "a_meaningful_data_plane_environment_name", 
       "description": "A meaningful description.",
       "workspaceName": 'the_name_of_the_workspace_to_be_created_and_associtated'"
      }' \
      'https://api.<ENV>.cloud.talend.com/orchestration/dataplane-environments'

      Weitere Informationen zu diesem Endpunkt finden Sie unter „Erstellen von Data Plane-Umgebungen“.

  6. Verbinden Sie die Data Plane-Entität mit der Data Plane-Umgebung, die für die Ausführung von Tasks oder Plänen genutzt werden soll.

    Verwenden Sie zur Erstellung der Verbindung Talend Management Console oder den nachstehenden Request. Dieser Request bewirkt ebenfalls die Implementierung der Data Plane-Umgebung im Kubernetes-Demo-Cluster.

    Sie benötigen dazu die Berechtigung Engines - Manage (Engines - Verwalten) (ID: TMC_CLUSTER_MANAGEMENT).

Ergebnisse

Die Talend Data Plane wurde erfolgreich in Kubernetes implementiert und mit Talend Control Plane verbunden. Sie kann nunmehr zur Ausführung von Job-Tasks verwendet werden, wie Sie das gewöhnlich mit Standard-Engines handhaben. Detaillierte Informationen zum Hinzufügen von Tasks in einer Data Plane-Umgebung zur Ausführung finden Sie unter „Hinzufügen von Tasks zu Data Plane-Umgebungen“.

Wenn Sie in Erfahrung bringen müssen, was genau in Ihrem Kubernetes-Cluster installiert wurde, gehen Sie zu Ihrer Kubernetes-Maschine und führen Sie die in dieser offiziellen Kubernetes-Dokumentation erläuterten Befehle aus.

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!