Améliorations apportées à la conception de Jobs Spark
|
Fonctionnalité |
Description |
|---|---|
| Version de Spark | La version Spark 2.3 est supportée en mode local ainsi qu'avec EMR 5.15 (et CDH6.0 et HDP 3.0, comme aperçus techniques) et tire pleinement parti des innovations et de la stabilité accrue de la dernière version d'Apache Spark. |
| Sécurité via Kerberos |
Talend prend désormais en charge Kerberos sur EMR avec l'ajout d'EMR 5.15 |
| Améliorations apportées au tAzureFSConfiguration | Le support d'Azure Data Lake Store et d'Azure Blob Storage dans ce composant est disponible avec Databricks. |
| Améliorations apportées à Spark Codegen | Ces améliorations préparent les Jobs Talend pour Apache Spark pour l'utilisation des jeux de données Spark. |
| Conformité de schéma | Le tSchemaComplianceCheck a été créé. |
| Granularité d'horodatage | Les utilisateurs peuvent saisir des dates, heures, minutes et secondes figurant dans leurs données de type Date. |
Support des plateformes Big Data
|
Fonctionnalité |
Description |
|---|---|
| Plateformes Cloud Big Data | Le support des plateformes suivantes a été ajouté :
Ensemble, toutes les modifications ci-dessus contribuent à assurer un retour sur investissement avec Big Data Serverless et à réduire les coûts de traitement à l'aide de Spark en tant que service dans le Cloud. Elles permettent une utilisation transitoire pour la gestion des données, confèrent plus de flexibilité au traitement élastique et facilitent la facturation à l'utilisation pour Spark. |
| Support des distributions Hadoop mis à niveau |
|
| Distributions Hadoop dynamiques | La possibilité d'utiliser une version Cloudera ou Hortonworks qui n'était pas sortie au moment où votre Studio Talend a été publié, en ajoutant simplement cette version vous-même en quelques clics, confère une réactivité et une flexibilité sans précédent. 
Les distributions dynamiques pour HDP 3.x et CDH 6.x sont en aperçu technique dans cette version. |
Autres composants
|
Fonctionnalité |
Description |
|---|---|
| Composants Kafka | Les composants Kafka prennent en charge Kafka V1.1.0 dans les Jobs standard. 
|
| Sqoop et HCatalog | Le tSqoopExport peut désormais lire le schéma à partir de HCatalog. |
| Hive Metastore | Les utilisateurs peuvent configurer un Hive Metastore à haut disponibilité (HA) à l'aide de l'Assistant des métadonnées de connexion Hive ou du composant tHiveConfiguration dans un Job Spark. |
| HDFS | Le support explicite du schéma WebHDFS et du schéma ADLS a été ajouté aux composants HDFS. |
| Google BigQuery | Le mode de compte de service Google est supporté pour l'authentification auprès de Google BigQuery. |
| MapR OJAI | Le composant tMapROjaiInput est créé. |
| MarkLogic | Marklogic V9.0.5 est supporté. |
Déploiement continu
|
Fonctionnalité |
Description |
|---|---|
| Déploiement continu : support de Docker | Vous pouvez désormais configurer votre serveur d'intégration continue en vue de déployer les artefacts de votre projet Talend dans un registre Docker. |