Nouvelles fonctionnalités de la version R2020-06 - 7.3

Notes de version des produits Talend Big Data

EnrichVersion
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Installation et mise à niveau
Notes de version

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Support de Cloudera Data Platform (CDP) Lorsque vous configurez une connexion à un cluster Hadoop, vous pouvez sélectionner Cloudera CDP 7.1. Vous pouvez également ajouter et utiliser les distributions dynamiques de CDP Private Cloud Base 7.x.

L'intégration de CDP dans Studio Talend comprend un système de gestion des dépendances améliorant les performances de vos Jobs lors de l'exécution.

CDP supporte les éléments suivants :
  • Composants d'intégration de données :
    • HBase
    • HDFS
    • Hive
  • Composants Spark Batch :
    • Stockage Blob Azure
    • HBase
    • HDFS
    • Hive
    • Kudu
  • Composants Spark Streaming :
    • Stockage Blob Azure
    • HBase
    • HDFS
    • Hive
    • Kafka

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Support de Microsoft HD Insight 4.0 Vous pouvez à présent utiliser la distribution 4.0 de Microsoft HD Insight dans des Jobs Standard et dans des Jobs Spark utilisant Spark v2.3 et v2.4. Ce nouveau support fournit plusieurs fonctionnalités :
  • Le support de Azure Data Lake Storage (ADLS) Gen2 : cette option de stockage est disponible lorsque vous utilisez Hive ou HDFS pour configurer une connexion avec le tAzureFSConfiguration. Vous pouvez également ajouter ADLS Gen2 en tant que stockage primaire lorsque vous configurez une connexion centralisée à HD Insight dans Metadata.
  • Support de TLS pour sécuriser les connexions à ADLS Gen2 et Azure Blob Storage

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Vérifiez le statut des Jobs s'exécutant sur HD Insight Pour vérifier qu'un Job est toujours en cours d'exécution, configurez une interrogation récupérant le statut de ce Job. Dans l'onglet Spark Configuration dans la vue Run du Job, dans la section Job status polling configuration, spécifiez l'intervalle de temps entre les interrogations et le nombre maximal de tentatives.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Utiliser les pools Databricks Vous pouvez réduire le temps de démarrage et de dimensionnement automatique de votre cluster Databricks en utilisant un pool. Dans l'onglet Spark Configuration de la vue Run de votre Job, cochez la case Use pool et indiquez l'ID du pool à utiliser. Vous devez également cocher la case Use transient cluster. Pour plus d'informations concernant les pools Databricks, consultez Pools dans la documentation Databricks (en anglais).

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Composants Azure ADLS Gen2 : authentification via Azure Active Directory supportée

Les composants Azure ADLS Gen2 suivants supportent l'authentification via Azure Active Directory (authentification AD).

  • tAzureAdlsGen2Input
  • tAzureAdlsGen2Output

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Améliorations de la propagation des contextes La propagation des contextes sur le projet de référence a été améliorée pour une meilleure résolution des conflits pour les fichiers techniques Git/SVN lors de la fusion des branches.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Mise à jour de l'assistant de métadonnées Microsoft SQL Server La version par défaut de la base de données pour Microsoft SQL Server dans l'assistant de métadonnées Studio Talend est modifiée à Microsoft.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Intégration des connecteurs Stitch Vous pouvez rechercher les connecteurs Stitch dans l'espace de modélisation graphique et dans la Palette du Studio Talend. Le résultat de recherche vous conduit à la page Web Stitch concernant le connecteur sélectionné.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

amélioration de tDataprepRun

Le composant tDataprepRun supporte maintenant la fonctionnalité de schémas dynamiques.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Nouveaux composants disponibles

Cette version fournit les deux nouveaux composants suivants.

  • Le tCosmosDBSQLAPIInput, qui récupère les données d'une collection de base de données Cosmos via une API SQL.
  • Le tCosmosDBSQLAPIOutput qui insère, met à jour, insère et met à jour ou supprime des documents dans une collection d'une base de données Cosmos, à partir du flux entrant du composant précédent, via une API SQL.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Composants Snowflake : support de OAuth externe ajouté

Les composants Snowflake suivants supportent OAuth externe pour l'accès aux données.

  • tSnowflakeBulkExec
  • tSnowflakeConnection
  • tSnowflakeInput
  • tSnowflakeOutput
  • tSnowflakeOutputBulk
  • tSnowflakeOutputBulkExec
  • tSnowflakeRow

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Connecteurs MS SQL Server : le fournisseur JDBC par défaut est à présent le pilote Microsoft officiel

Le fournisseur JDBC par défaut des composants suivants est à présent le pilote Microsoft officiel.

  • tCreateTable
  • tELTMSSqlMap
  • tMSSqlBulkExec, tMSSqlConnection, tMSSqlInput, tMSSqlOutput, tMSSqlOutputBulkExec, tMSSqlRow, tMSSqlSCD, tMSSqlSP, tMSSqlCDC, tMSSqlInvalidRows, tMSSqlValidRows

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tJDBCInput : nouvelle option fournie pour empêcher la conversion de caractères inattendue dans une colonne dynamique

Le composant tJDBCInput fournit l'option Allow special character in dynamic table name, qui conserve les caractères spéciaux dans le nom des colonnes de tables.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform