Architecture de Moteur distant Gen2 - Cloud

Guide de démarrage rapide de Talend Remote Engine Gen2

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
task
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau
Ce diagramme d'architecture présente les interactions entre les applications Talend Cloud, le Moteur Cloud pour le design et le Moteur distant Gen2.

Le diagramme est divisé en deux parties principales : l'infrastructure du Talend Cloud et le réseau local du client ou Cloud privé virtuel (VPC).

L'infrastructure Cloud

L'infrastructure Cloud comprend les applications Talend Cloud Management Console et Talend Cloud Pipeline Designer.
  • Dans Talend Cloud Management Console, vous pouvez gérer les rôles, les utilisateurs et utilisatrices, les projets, les moteurs et les licences. Talend Cloud Management Console est également utilisé pour définir le Moteur distant Gen2, ainsi que les profils d'exécution correspondants, dans lesquels vous pouvez personnaliser les ressources allouées aux exécutions.
  • Le service Dataset fournit la liste unifiée des jeux de données dans Talend Cloud. Talend Cloud Data Inventory est l'endroit central où accéder à votre collection de jeux de données et les maintenir.

    Talend Cloud Data Preparation et Talend Cloud Pipeline Designer sont les deux autres applications tirant parti de l'inventaire de jeux de données commun et vous permettent de nettoyer et transformer vos données.

  • Le Moteur Cloud pour le design et son profil d'exécution correspondant sont embarqués par défaut dans Talend Cloud Management Console pour permettre aux utilisateurs et utilisatrices de prendre les applications en main rapidement, mais il est recommandé d'installer le Moteur distant Gen2 sécurisé pour le traitement avancé des données.

    Ces moteurs sont utilisés pour exécuter des artefacts, tâches, préparations et pipelines dans le Cloud, ainsi que pour créer des connexions et obtenir des échantillons de données.

Cloud privé virtuel du client

Votre Cloud privé virtuel inclut le Moteur distant Gen2 utilisé pour exécuter des pipelines et préparations de façon sécurisée. Le Moteur distant Gen2 garantit un accès sécurisé à vos données stockées dans Kafka, dans des bases de données, systèmes de fichiers, etc, et exécute vos artefacts sur :
  • le moteur Spark local (par défaut) ;
  • un cluster Spark sur Yarn ;
  • des clusters sans serveur (serverless) (moteur Spark local, cluster Spark-on-Yarn, cluster Databricks, etc.)