Passer d'un mode à l'autre, d'une distribution à l'autre ou d'un environnement à l'autre avec Spark Universal - Cloud - 8.0

Guide d'utilisation du Studio Talend

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Last publication date
2024-03-06
Disponible dans...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Le mécanisme Spark Universal vous permet de passer rapidement et facilement d'un mode Spark à un autre, d'une distribution Spark à une autre et d'un environnement Spark à un autre, en modifiant le fichier JAR de configuration Hadoop, tout en conservant la configuration du Job. L'opération de passage d'un élément à un autre peut s'effectuer :

  • en mode Spark mode : vous pouvez passer du mode Local au mode Yarn cluster pour tester d'abord votre Job sur votre machine locale, avant de l'envoyer sur un cluster.
  • sur la Distribution : vous pouvez passer d'une distribution Big Data disponible à une autre pour une version Spark donnée.
  • sur l'environnement (Environment) : vous pouvez passer d'un environnement à l'autre parmi les environnements suivants : développement, intégration et production.

Pourquoi et quand exécuter cette tâche

Cette procédure utilise un Job sur lequel vous travaillez en mode Local.

Procédure

  1. Pour envoyer votre Job à un cluster, sélectionnez Yarn cluster dans la liste déroulante Spark Mode, dans la vue Spark configuration de votre Job.
  2. Spécifiez le chemin d'accès au fichier JAR de configuration Hadoop fournissant les paramètres de connexion au cluster de développement à utiliser :
  3. Pour modifier l'environnement ou la distribution, spécifiez le chemin d'accès à un autre fichier JAR de configuration Hadoop.
    Remarque : Si vous avez configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion Hadoop, vous pouvez également modifier l'environnement ou la distribution en sélectionnant Repository dans la liste Propriety type et en sélectionnant le cluster.