Big Data : nouvelles fonctionnalités - 7.2

Notes de version des produits Talend Big Data
EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Installation et mise à niveau
Release Notes

Améliorations apportées à la conception de Jobs Spark

Fonctionnalité

Description
Delta Lake Les composants tDeltaLakeInput et tDeltaLakeOutput ont été créés afin de tirer parti de cette couche de stockage open source embarquant des transactions ACID dans des projets Big Data sur Apache Spark.
Avertissement : Cette fonctionnalité est au stade d'aperçu technique.
Apache Spark V2.4 La nouvelle version d'Apache Spark est supportée dans le mode Local et dans les Jobs Spark Batch et Spark Streaming avec Cloudera CDS V6.1.
Databricks
  • Les clusters transitoires sont supportés par Databricks sur AWS.
  • les utilisateurs et utilisatrices peuvent désormais cocher une case pour continuer l'exécution de leur cluster lors de la soumission de Jobs.
Snowflake Création des composants Snowflake pour Spark Batch.
Avertissement : Cette fonctionnalité est au stade d'aperçu technique.
Elasticsearch Les versions V5.6.x et V6.4.x d'Elasticsearch sont supportées.
Sécurité du Cloud
  • Le support pour SSE KMS sur S3 a été ajouté.
  • La fonctionnalité d'héritage d'informations d'authentification est désormais disponible dans les Jobs avec Apache Spark.
tFileInputDelimited les utilisateurs et utilisatrices peuvent cocher une case pour permettre au cluster Spark d'utiliser plusieurs exécuteurs afin de lire des fichiers CSV volumineux en parallèle.

Support des plateformes Big Data

Fonctionnalité

Description
Cloudera
  • Cloudera CDH V6.1 est désormais supporté.
  • Les versions V6.x de Cloudera sont maintenant officiellement disponibles parmi les distributions dynamiques. Elles ne sont plus en aperçu technique.
MapR Le support pour MapR a été mis à jour dans MapR V6.1 avec MEP (MapR Ecosystem Pack) V6.1

Autres composants

Fonctionnalité

Description
Google BigQuery
  • Les composants Google BigQuery supportent désormais les localités régionales dans les Jobs Standard.
  • Le composant tBigQuerySQLRow a été ajouté.
API CouchBase
  • Les composants tCouchbaseInput et tCouchbaseOutput ont été créés pour mieux refléter la logique de l'API Couchbase Java SDK.
  • Les anciens composants tCouchbaseInput et tCouchbaseOutput, sont renommés en tCouchbaseDCPInput et tCouchbaseDCPOutput, respectivement, car ils utilisent le Database Change Protocol pour diffuser en flux des modifications de données vers des buckets.

Intégration et déploiement continus

Fonctionnalité

Description
Intégration et déploiement continus : CommandLine léger et installation légère

L'installation de Talend CommandLine n'est plus requise comme le référentiel contenant l'application. Les plug-ins Maven Talendpeuvent à présent être hébergés sur votre serveur local et automatiquement installés durant le processus de build.

Pour améliorer les performances et l'utilisation des ressources, la taille de Talend CommandLine a été réduite de moitié.