Accéder au contenu principal Passer au contenu complémentaire

Nouveautés de la version R2021-01

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Configuration de la fonctionnalité Assume Role pour les distributions Databricks 5.5 LTS et 6.4

Lorsque vous exécutez un Job sur Databricks 5.5 LTS ou 6.4 et que vous souhaitez écrire et lire des données dans/depuis S3, vous pouvez faire en sorte que votre Job prenne temporairement un rôle et les autorisations liées à ce rôle.

Cela vous permet de ne pas spécifier les clés d'accès et secrète aux clusters Databricks dans les paramètres du composant tS3Configuration. Vous avez juste à spécifier le nom Amazon Resource Name (ARN) du rôle à prendre dans la vue Spark configuration et saisir le nom du bucket, puis cocher la case Inherit credentials from AWS dans la vue Basic settings du composant tS3Configuration.

Tous les produits Talend incluant Big Data

Configuration simple de Assume Role dans le composant tS3Configuration Lorsque l'option Assume Role est activée dans le composant tS3Configuration, vous pouvez configurer les propriétés suivantes depuis la vue Basic settings afin d'adapter votre configuration :
  • Serial number (Numéro de série)
  • Token Code (Code du jeton)
  • Tags (Étiquettes)
  • Clés de balises transitives
  • Politiques ARN
  • Policy

Cette fonctionnalité est à présent disponible pour la distribution CDP Private Cloud Base 7.1.

Tous les produits Talend incluant Big Data

Options de topic, partition et clé disponibles dans les composants Kafka Vous pouvez ajouter des informations concernant la clé et la partition utilisées pour les messages dans le composant tKafkaOutput. Le composant tKafkaInput lit ces informations dans son schéma de sortie grâce aux nouveaux attributs suivants : topic, partition et key.

Cette fonctionnalité vous permet de récupérer et afficher plus d'informations dans le message Kafka depuis le topic.

Tous les produits Talend incluant Big Data

Le tKafkaCommit est disponible dans les Jobs Spark Streaming Vous pouvez utiliser le composant tKafkaCommit dans vos Jobs Spark Streaming avec Spark v2.0 et ultérieures en mode Spark local. Ce composant vous permet de contrôler manuellement le moment du commit de l'offset. Cela vous permet de commiter en une fois, plutôt que de commiter automatiquement à intervalles réguliers.

Tous les produits Talend incluant Big Data

Distributions dépréciées Les distributions suivantes sont à présent dépréciées :
  • HDP 2.6.0 et versions antérieures
  • Cloudera CDH 5.16 et versions antérieures
  • MapR 5.2.0 et versions antérieures
  • Microsoft HDInsight 3.4 et versions antérieures
  • Databricks 3.5 LTS et versions antérieures
  • Cloudera Altus 1.0
  • Dataproc 1.1

Tous les produits Talend incluant Big Data

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Mode partagé pour le Studio Talend Le Studio Talend supporte à présent le mode partagé, qui permet aux utilisateur·trices d'une machine où est installé le Studio Talend d'utiliser différentes configurations et différents répertoires Workspace.

Tous les produits Talend incluant le Studio Talend

Amélioration du partage de bibliothèques

Le Studio Talend supporte à présent :

  • la configuration du partage ou non des bibliothèques vers le référentiel des bibliothèques locales au démarrage,
  • le partage des bibliothèques manuellement après le démarrage.

Par défaut, les bibliothèques ne sont pas partagées lors du démarrage du Studio Talend, afin d'améliorer les performances de démarrage.

Tous les produits Talend incluant le Studio Talend

Personnalisation du chemin d'extraction des fonctions SAP

Vous pouvez spécifier le chemin pour la fonction SAP, afin de générer les fichiers contenant les données extraites. Composants concernés :

  • tELTSAPMap
  • tSAPDSOInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)
  • tSAPODPInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)
  • tSAPInfoCubeInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)

Tous les produits Talend incluant le Studio Talend

tGPGDecrypt : spécification de paramètres supplémentaires pour la commande de déchiffrement GPG

L'option Use extra parameters est fournie et vous permet de spécifier des paramètres supplémentaires pour la commande de déchiffrement GPG (GPG decrypt).

Tous les produits Talend incluant le Studio Talend

Support de Greenplum 6.x

Cette version fournit le support de Greenplum 6.x.

Tous les produits Talend incluant le Studio Talend

Composants Greenplum : le pilote par défaut de la base de données a été modifié

Pour les composants Greenplum, le pilote de la base de données est Greenplum par défaut.

Tous les produits Talend incluant le Studio Talend

Amélioration du tGreenplumGPLoad

Plusieurs nouvelles fonctionnalités et options ont été ajoutées au tGreenplumGPLoad. Elles sont les suivantes.

  • L'option Populate column list based on the schema dans la vue Basic settings, ajoutant les colonnes définies dans le schéma au fichier YAML.
  • Nouveaux paramètres fournis dans la table Addition options : LOG_ERRORS, MAX_LINE_LENGTH, EXTERNAL_SCHEMA (_ext_stg_objects), PRELOAD_TRUNCATE, PRELOAD_REUSE_TABLES, PRELOAD_STAGING_TABLE, PRELOAD_FAST_MATCH, SQL_BEFORE LOAD et SQL_AFTER LOAD.
  • Les options Remove datafile on successful execution et Gzip compress the datafile dans la vue Advanced settings, supprimant le fichier de données lorsque l'opération de chargement se termine correctement et compressant le fichier de données à l'aide de Gzip.
  • Nouvelles variables globales fournies : NB_LINE_INSERTED, NB_LINE_UPDATED, NB_DATA_ERRORS, GPLOAD_STATUS et GPLOAD_RUNTIME.

Tous les produits Talend incluant le Studio Talend

Data Quality : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Mode partagé Le Studio Talend supporte à présent le mode partagé. Si vous l'activez, certains chemins changent :
  • Pour le tBRMS, le chemin d'accès au dossier Drools est C:/Users/user-account/studio-path/Drools/.
  • Pour le tDqReportRun, le chemin d'accès au dossier Generated reports est C:/Users/user-account/studio-path/Generated reports/.
  • Pour les index de synonymes, le chemin au dossier addons est C:/Users/user-account/studio-path/addons/.

Tous les produits Talend Platform et Data Fabric

Bases de données supportées SAP HANA est à présent supportée dans la perspective Profiling pour les schémas Table, View et Calculation.

Tous les produits Talend Platform et Data Fabric

Nouveaux composants

Les composants tSAPHanaValidRows et tSAPHanaInvalidRows vérifient les lignes d'une base de données SAP Hana par rapport à des modèles de qualité de données (expressions régulières) ou à des règles de qualité de données (règles métier).

Tous les produits Talend Platform et Data Fabric

tDataMasking

tDataUnmasking

Le type de données Dynamic est à présent supporté par le composant Standard.

Tous les produits Talend Platform et Data Fabric

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !