Big Data : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
Disponible dans |
|---|---|---|
| Support de Spark Universal | Vous pouvez à présent exécuter vos Jobs Spark à l'aide de Spark Universal avec Spark 2.4.x ou Spark 3.0.x, soit en mode Local, soit en mode Yarn cluster (Cluster YARN). Spark Universal est un mécanisme permettant au Studio Talend d'être compatible avec toutes les distributions Big Data disponibles pour une version de Spark donnée, via uniquement un fichier JAR de configuration Hadoop contenant toutes les informations nécessaires à l'établissement d'une connexion au cluster en mode Yarn cluster (Cluster YARN). Spark Universal renforce l'agilité en proposant de passer d'un mode Spark à l'autre, d'une distribution à l'autre ou d'un environnement à l'autre. Vous pouvez configurer votre connexion Spark Universal depuis la vue Spark configuration (Configuration de Spark) de votre Job ou depuis l'assistant de métadonnées Hadoop Cluster Connection (Connexion au cluster Hadoop), dans l'arborescence du référentiel (Repository) :
|
Tous les produits Talend avec Big Data nécessitant souscription |
| Support de Kubernetes avec Spark Universal 3.1.x | Vous pouvez à présent exécuter vos Jobs Spark à l'aide de Spark Universal avec Spark 3.1.x, en mode Kubernetes. Vous pouvez configurer votre connexion Spark Universal avec Kubernetes depuis la vue Spark configuration (Configuration de Spark) de votre Job ou depuis l'assistant de métadonnées Hadoop Cluster Connection (Connexion au cluster Hadoop), dans l'arborescence du référentiel (Repository) :
|
Tous les produits Talend avec Big Data nécessitant souscription |
| Support du schéma dynamique dans les composants Spark Batch | Vous pouvez à présent utiliser les schémas dynamiques dans vos Jobs Spark avec les composants suivants :
|
Tous les produits Talend avec Big Data nécessitant souscription |
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !