Disponible dans...
Big Data
Big Data Platform
Cloud Big Data
Cloud Big Data Platform
Cloud Data Fabric
Data Fabric
Real-Time Big Data Platform
Spark Universal est un mécanisme permettant au Studio Talend d'être compatible avec toutes les distributions Big Data pour une version donnée de Spark. Vous choisissez une version de Spark et chargez un fichier JAR de configuration Hadoop contenant toutes les informations nécessaires à la connexion au cluster.
Modes Spark Universal et compatibilité des environnements
Le Studio Talend supporte les modes et environnements suivants, selon les versions de Spark :
| Spark 2.4.x | Spark 3.0.x | Spark 3.1.x | Spark 3.2.x | Spark 3.3.x | Spark 3.4.x | |
| Local mode |  |
|
|
|
|
|
| Standalone |  |
|
|
|
|
|
| Mode Yarn cluster | |
|
|
|
|
|
| Databricks | |
|
|
|
|
|
| Dataproc | |
|
|
|
|
|
| Cloudera Data Engineering | |
|
|
|
|
|
| Kubernetes | |
|
|
|
|
|
| Spark-submit scripts (Scripts Spark-submit) | |
|
|
|
|
|
| Synapse | |
|
|
|
|
|
| HDInsight | |
|
|
|
|
|
| EMR Serverless | |
|
|
|
|
|
Remarque :
- Azure Synapse Analytics avec Spark Universal 3.2.x et 3.3.x est supporté uniquement dans les Jobs Spark Batch.
- Les scripts Spark-submit avec Spark Universal 3.3.x sont supportés uniquement dans les Jobs Spark Batch.
Support des distributions Spark Universal
Le Studio Talend supporte les distributions suivantes en mode Yarn cluster (Cluster YARN), selon les versions de Spark :
Par exemple, si vous souhaitez vous connecter à un cluster Amazon EMR 6.2, vous devez sélectionner la version Spark 3.0.x et charger le fichier JAR de configuration Hadoop contenant tous les fichiers
| Spark 2.4.x |
|
| Spark 3.0.x |
|
| Spark 3.1.x |
|
| Spark 3.2.x |
|
| Spark 3.3.x |
|
*-site.xml associés au cluster.Cette liste de distributions n'est pas exhaustive. Vous pouvez utiliser un cluster YARN avec d'autres distributions si la version de Spark correspond. Cependant, gardez à l'esprit que ces configurations n'ont pas été officiellement testées par Talend et que leur fonctionnement n'est pas garanti.