Nouveautés de la version R2021-10

Vous pouvez à présent utiliser Azure Synapse Analytics avec les pools Apache Spark en tant que nouvelle distribution pour vos Jobs Spark Batch et Spark Streaming avec Spark 3.0 en mode YARN cluster uniquement. Vous pouvez la configurer dans la vue Spark Configuration (Configuration de Spark) de vos Jobs Spark ou dans l'assistant de métadonnée Hadoop Cluster Connection (Connexion au cluster Hadoop). Pour plus d'informations, consultez Définir les paramètres de connexion à Azure Synapse Analytics.

Azure Synapse Analytics vous permet de traiter vos données via différents moteurs analytiques. Avec les pools Apache Spark, différentes fonctionnalités de calcul sont possibles (comme la rapidité et l'efficacité), ainsi que la compatibilité avec le stockage ADLS Gen2.

Cette fonctionnalité est à présent généralement disponible.

Tous les produits Talend incluant Big Data

• tHiveWarehouseConfiguration : ce composant permet la réutilisation de la configuration de connexion Hive Warehouse Connector vers Hive dans le même Job.
• tHiveWarehouseInput : ce composant extrait des données de Hive et envoie les données au composant suivant à l'aide de Hive Warehouse Connector.
• tHiveWarehouseOutput : ce composant se connecte à une base de données Hive et écrit les données qu'il reçoit dans une table Hive ou dans un répertoire HDFS, à l'aide de Hive Warehouse Connector.

Avec Hive Warehouse Connector, le Studio Talend supporte les tables transactionnelles gérées par Hive, vous permettant d'avoir un contrôle optimal sur les transactions de vos données.

Tous les produits Talend incluant Big Data

Tous les produits Talend incluant le Studio Talend

Les composants tSnowflakeOutputBulk, tSnowflakeBulkExec et tSnowflakeOutputBulkExec fournissent l'option S3 assume role (Endosser un rôle), vous permettant d'obtenir les droits d'accès à un rôle AWS IAM associé.

Tous les produits Talend incluant le Studio Talend

Les composants tSnowflakeBulkExec et tSnowflakeOutputBulkExec fournissent la liste déroulante Snowflake access to storage (Accès au stockage Snowflake), utilisée pour la commande d'authentification COPY.

Tous les produits Talend incluant le Studio Talend

Le composant tFileOutputExcel fournit l'option Streaming append (Écrire à la suite en mode flux), qui, lorsqu'elle est sélectionnée, vous permet d'écrire des données dans un fichier existant en mode flux. Cette option permet d'améliorer les performances lors de l'écriture d'un grand volume de données, avec une mémoire limitée.

Tous les produits Talend incluant le Studio Talend

Les composants tSalesforceInput et tSalesforceOutput fournissent l'option Use UTC time for datetime (Utiliser UTC pour le type datetime), qui, lorsqu'elle est sélectionnée, utilise le fuseau horaire UTC pour les colonnes de type datetime. Si cette option n'est pas sélectionnée, l'heure locale est utilisée.

Tous les produits Talend incluant le Studio Talend

Cette version fournit les nouveaux composants suivants :

• tFileInputORC et tFileOutputORC, fournissant l'accès aux fichiers de format ORC.
• tCyberarkInput, récupérant les informations de connexion gérées par CyberArk de l'application spécifiée et passant les informations au composant suivant ayant besoin de ces informations. Pour éviter l'exposition de vos informations de connexion, ce composant améliore la sécurité des applications gérées.

Tous les produits Talend incluant le Studio Talend

Les options Include shared folders/files (Inclure les dossiers/fichiers partagés) et Include shared drives (Inclure les disques partagés) ont été ajoutées à la vue Advanced settings (Paramètres avancés) et vous permettent d'accéder aux fichiers, dossiers et disques partagés. L'option Corpora type a été ajoutée, permettant de réduire le périmètre des recherches de fichiers et dossiers.

Ces options sont disponibles pour les composants tGoogleDriveCopy, tGoogleDriveCreate, tGoogleDriveDelete, tGoogleDriveGet, tGoogleDriveList et tGoogleDrivePut.

Tous les produits Talend incluant le Studio Talend

L'option Use query (Utiliser la requête) a été ajoutée à la vue Advanced settings (Paramètres avancés) et vous permet de rechercher des fichiers et dossiers spécifiques.

Tous les produits Talend incluant le Studio Talend

Tous les produits Talend Platform et Data Fabric