Big Data : nouvelles fonctionnalités - 7.1

Notes de version de Talend Data Fabric

EnrichVersion
7.1
EnrichProdName
Talend Data Fabric
task
Installation et mise à niveau

Améliorations apportées à la conception de Jobs Spark

Fonctionnalité

Description

Version de Spark La version Spark 2.3 est supportée en mode local ainsi qu'avec EMR 5.15 (et CDH6.0 et HDP 3.0, comme aperçus techniques) et tire pleinement parti des innovations et de la stabilité accrue de la dernière version d'Apache Spark.
Sécurité via Kerberos

Talend prend désormais en charge Kerberos sur EMR avec l'ajout d'EMR 5.15

Améliorations apportées au tAzureFSConfiguration

Le support d'Azure Data Lake Store et d'Azure Blob Storage dans ce composant est disponible avec Databricks.

Améliorations apportées à Spark Codegen Ces améliorations préparent les Jobs Talend pour Apache Spark pour l'utilisation des jeux de données Spark.
Conformité de schéma Le tSchemaComplianceCheck a été créé.
Granularité d'horodatage

Les utilisateurs peuvent saisir des dates, heures, minutes et secondes figurant dans leurs données de type Date.

Support des plateformes Big Data

Fonctionnalité

Description

Plateformes Cloud Big Data

Le support des plateformes suivantes a été ajouté :

  • Databricks :
    • Azure Databricks et Databricks sur AWS dans les Jobs Spark.
    • Les composants DBFS ont été créés.
    • Les Jobs Spark prennent en charge Databricks.
  • Qubole :
    • Le support de cette plateforme a été ajouté pour les composants Hive et Pig.
    • Le support de cette distribution a été ajouté pour les composants Hive, les composants Pig et les Jobs Spark.

Ensemble, toutes les modifications ci-dessus contribuent à assurer un retour sur investissement avec Big Data Serverless et à réduire les coûts de traitement à l'aide de Spark en tant que service dans le Cloud. Elles permettent une utilisation transitoire pour la gestion des données, confèrent plus de flexibilité au traitement élastique et facilitent la facturation à l'utilisation pour Spark.

Support des distributions Hadoop mis à niveau
  • Hortonworks Data Platform V2.6.0.3-8
  • EMR 5.15
  • MapR 6.0.1 avec MEP 5.0
Distributions Hadoop dynamiques

La possibilité d'utiliser une version Cloudera ou Hortonworks qui n'était pas sortie au moment où votre Studio Talend a été publié, en ajoutant simplement cette version vous-même en quelques clics, confère une réactivité et une flexibilité sans précédent.

Les distributions dynamiques pour HDP 3.x et CDH 6.x sont en aperçu technique dans cette version.

Autres composants

Fonctionnalité

Description

Composants Kafka

Les composants Kafka prennent en charge Kafka V1.1.0 dans les Jobs standard.

Sqoop et HCatalog Le tSqoopExport peut désormais lire le schéma à partir de HCatalog.
Hive Metastore Les utilisateurs peuvent configurer un Hive Metastore à haut disponibilité (HA) à l'aide de l'Assistant des métadonnées de connexion Hive ou du composant tHiveConfiguration dans un Job Spark.
HDFS Le support explicite du schéma WebHDFS et du schéma ADLS a été ajouté aux composants HDFS.
Google BigQuery

Le mode de compte de service Google est supporté pour l'authentification auprès de Google BigQuery.

MapR OJAI

Le composant tMapROjaiInput est créé.

MarkLogic

Marklogic V9.0.5 est supporté.

Déploiement continu

Fonctionnalité

Description

Déploiement continu : support de Docker

Vous pouvez désormais configurer votre serveur d'intégration continue en vue de déployer les artefacts de votre projet Talend dans un registre Docker.