Utilisation de Spark 2.0 avec la version 6.3 du Studio - 6.5

Utilisation de Spark 2.0 avec la version 6.3 du Studio

EnrichVersion
6.5
task
Création et développement > Création de Jobs > Distributions Hadoop
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Batch
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Streaming
EnrichPlatform
Studio Talend

Lorsque la version 6.3 du Studio Talend est sortie, de nombreuses distributions Hadoop officiellement supportées par Talend ne fournissaient pas un support natif de Spark 2.0. Cependant, si vous installez Spark 2.0 dans votre cluster, vous pouvez toujours l'utiliser avec votre Job Talend.

Environnement :

  • Une souscription à Big Data 6.3 basée sur les solutions Talend.
  • Un cluster Hadoop officiellement supporté par la version 6.3 du Studio Talend.
  • Un cluster qui ne supporte pas nativement Spark 2.0
  • Spark 2.0 installé dans le cluster

Pour son exécution, un Job Spark Talend nécessite toutes les dépendances qui lui sont associées.

Avant Spark 2.0, un fichier .jar consolidé (également connu comme Assembly) était fourni nativement par Spark pour livrer toutes les dépendances nécessaires. Dans Spark 2.0, ce fichier jar n'existe plus. Pour exécuter votre Job Spark Talend avec Spark 2.0 installé, vous devez paramétrer la configuration du Job Spark pour permettre au Job de trouver les dépendances.