Access
Composants Access
tAccessBulkExec | Ce composant permet un gain de performance pendant les opérations d'Insert dans une base de données Access. |
tAccessClose | Ce composant ferme une connexion active à une base de données Access afin de libérer des ressources occupées. |
tAccessCommit | Ce composant commite en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, et permet un gain de performance, en utilisant une connexion unique. |
tAccessConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tAccessInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tAccessOutput | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tAccessOutputBulk | Ce composant prépare le fichier à utiliser pour alimenter une base de données Access. |
tAccessOutputBulkExec | Ce composant effectue une action d'Insert sur les données fournies, dans une base de données Access. |
tAccessRollback | Ce composant annule la transaction dans une base de données connectée et évite le commit de transaction involontaire. |
tAccessRow | Ce composant exécute des requêtes SQL déclarées sur la base de données spécifiée. |
Scénario pour les composants Access
Amazon Aurora
Composants Amazon Aurora
tAmazonAuroraInvalidRows | Ce composant vérifie des lignes d'une base de données Amazon Aurora par rapport à des modèles de qualité de données (expressions régulières) ou des règles de qualité de données (règles métier). Seule MySQL est supportée. |
tAmazonAuroraValidRows | Ce composant vérifie des lignes d'une base de données Amazon Aurora par rapport à des modèles de qualité de données (expressions régulières) ou des règles de qualité de données (règles métier). Seule MySQL est supportée. |
tAmazonAuroraClose | Ce composant ferme une connexion active à une instance d'une bases de données Amazon Aurora afin de libérer des ressources. |
tAmazonAuroraCommit | Ce composant commite en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, et permet un gain de performance, en utilisant une connexion unique. |
tAmazonAuroraConnection | Ce composant ouvre une connexion à une instance de la base de données pouvant être réutilisée par d'autres composants Amazon Aurora. |
tAmazonAuroraInput | Ce composant lit une base de données Amazon Aurora et en extrait des champs à l'aide de requêtes. |
tAmazonAuroraOutput | Ce composant écrit, met à jour, modifie ou supprime des entrées dans une base de données Amazon Aurora. |
tAmazonAuroraRollback | Ce composant vous permet d'annuler des modifications apportées à la base de données Amazon Aurora pour éviter le commit de transaction involontaire si une erreur survient. |
tAmazonAuroraRow | Exécute des instructions de requêtes sur une table de base de données Amazon Aurora. |
Scénario pour les composants Amazon Aurora
Amazon DynamoDB
Composants Amazon DynamoDB
tDynamoDBConfiguration | Ce composant stocke des informations de connexion et d'authentification pouvant être réutilisées par d'autres composants DynamoDB. |
tDynamoDBLookupInput | Ce composant exécute une requête de base de données dans un ordre strictement défini devant correspondre à celui du schéma défini. |
tDynamoDBInput | Ce composant récupère des données depuis une table Amazon DynamoDB et les envoie au composant suivant pour transformation. |
tDynamoDBOutput | Ce composant crée, met à jour ou supprime des données dans une table Amazon DynamoDB. |
Scénario Amazon DynamoDB
Amazon EMR
Composants Amazon EMR
tAmazonEMRListInstances | Ce composant liste les détails concernant les groupes d'instances dans un cluster, dans Amazon EMR (Elastic MapReduce). |
tAmazonEMRManage | Ce composant lance ou termine un cluster sur Amazon EMR (Elastic MapReduce). |
tAmazonEMRResize | Ce composant ajoute ou redimensionne un groupe d'instances de tâches dans un cluster, dans Amazon EMR (Elastic MapReduce). |
Scénario pour les composants Amazon EMR
Distribution Amazon EMR
Scénario pour la distribution Amazon EMR
Amazon MySQL
Composants Amazon MySQL
tAmazonMysqlClose | Ce composant ferme la connexion à une base de données connectée. |
tAmazonMysqlCommit | Ce composant commite en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, et permet un gain de performance, en utilisant une connexion unique. |
tAmazonMysqlConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tAmazonMysqlInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tAmazonMysqlOutput | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tAmazonMysqlRollback | Ce composant annule la transaction dans une base de données connectée et évite le commit de transaction involontaire. |
tAmazonMysqlRow | Ce composant exécute des requêtes SQL déclarées sur la base de données spécifiée. |
Amazon Oracle
Composants Amazon Oracle
tAmazonOracleClose | Ce composant ferme la connexion à une base de données connectée. |
tAmazonOracleCommit | Ce composant commite en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, et permet un gain de performance, en utilisant une connexion unique. |
tAmazonOracleConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tAmazonOracleInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tAmazonOracleOutput | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tAmazonOracleRollback | Ce composant annule la transaction dans une base de données connectée et évite le commit de transaction involontaire. |
tAmazonOracleRow | Ce composant exécute des requêtes SQL déclarées sur la base de données spécifiée. |
Amazon Redshift
Composants Amazon Redshift
tRedshiftConfiguration | Ce composant réutilise les informations de connexion à une base de données Redshift dans le même Job. |
tRedshiftLookupInput | Ce composant lit une base de données Redshift et extrait des champs à partir d'une requête. |
tAmazonRedshiftManage | Ce composant gère des clusters et snapshots Amazon Redshift. |
tRedshiftBulkExec | Ce composant charge des données dans à partir d'Amazon S3, d'un cluster Amazon EMR, d'Amazon DynamoDB ou d'hôtes distants. |
tRedshiftClose | Ce composant ferme la connexion à une base de données connectée. |
tRedshiftCommit | Ce composant améliore les performances. |
tRedshiftConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tRedshiftInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tRedshiftOutput | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tRedshiftOutputBulk | Ce composant prépare un fichier délimité/CSV pouvant être utilisé par le tRedshiftBulkExec pour alimenter Amazon Redshift. |
tRedshiftOutputBulkExec | Ce composant exécute l'action Insert sur les données fournies. |
tRedshiftRollback | Ce composant annule le commit de transaction dans une base de données Redshift pour éviter le commit d'une transaction involontaire. |
tRedshiftRow | Selon la nature de la requête et de la base de données, ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
tRedshiftUnload | Ce composant retire des données dans Amazon Redshift et les ajoute dans des fichiers dans Amazon S3. |
Scénarios pour les composants Amazon Redshift
Amazon S3
Amazon S3 components
tS3Configuration | Réutilise la configuration de la connexion à S3 au sein du même Job. Le cluster Spark à utiliser lit cette configuration pour une éventuelle connexion à S3. |
tS3Input | Ce composant lit des données depuis un système de fichiers S3N (S3 Native Filesystem) donné. |
tS3Output | Ce composant écrit des données dans un système de fichiers S3 donné. |
tS3BucketCreate | Ce composant crée un bucket dans Amazon S3. |
tS3BucketDelete | Ce composant supprime un bucket vide d'Amazon S3. |
tS3BucketExist | Ce composant vérifie que le bucket spécifié existe dans Amazon S3. |
tS3BucketList | Ce composant liste tous les buckets dans Amazon S3. |
tS3Close | Ce composant ferme une connexion à Amazon S3 et libère ainsi les ressources réseau. |
tS3Connection | Ce composant tS3Connection permet de vous connecter à Amazon S3 afin de stocker et de récupérer des données. |
tS3Copy | Ce composant copie un objet Amazon S3 d'un bucket source à un bucket cible. |
tS3Delete | Ce composant supprime un fichier dans Amazon S3. |
tS3Get | Ce composant récupère un fichier d'Amazon S3. |
tS3List | Ce composant de liste les fichiers dans Amazon S3 selon les paramètres de préfixe du bucket ou du fichier. |
tS3Put | Ce composant charge des données dans Amazon S3 depuis un fichier local ou depuis la mémoire cache, via le mode streaming. |
Scénarios Amazon S3
- Écrire et lire des données depuis S3 (Databricks sur AWS)
- Écriture côté serveur de données chiffrées KMS sur EMR
- Copie d'un objet S3 d'un bucket à un autre
- Échanger des fichiers avec Amazon S3
- Création d'une liste de fichiers d'un bucket ayant le même préfixe
- Récupération de données depuis un objet S3 dans le Studio
- Ajout de libellés sur des objets S3
- Vérifier l'absence d'un bucket, le créer et lister tous les buckets S3
Amazon SQS
Amazon SQS components
tSQSConnection | Ce composant ouvre une connexion à Amazon Simple Queue Service pouvant être réutilisée par d'autres composants SQS. |
tSQSInput | Ce composant récupère un ou plusieurs messages, dans la limite de dix messages, depuis une file Amazon SQS (Simple Queue Service). |
tSQSMessageChangeVisibility | Ce composant modifie le temps durant lequel un message spécifié est visible dans une file d'attente Amazon SQS (Simple Queue Service). |
tSQSMessageDelete | Ce composant supprime un message spécifié d'une file Amazon SQS (Simple Queue Service). |
tSQSOutput | Ce composant livre un ou plusieurs messages dans une file Amazon SQS (Simple Queue Service). |
tSQSQueueAttributes | Ce composant récupère les attributs d'une file Amazon SQS (Simple Queue Service) spécifiée. |
tSQSQueueCreate | Ce composant crée une file Amazon SQS (Simple Queue Service). |
tSQSQueueDelete | Ce composant supprime une file Amazon SQS (Simple Queue Service). |
tSQSQueueList | Ce composant effectue des itérations et liste l'URL des files Amazon SQS (Simple Queue Service) dans une région spécifiée. |
tSQSQueuePurge | Ce composant purge les messages dans une file Amazon SQS (Simple Queue Service). |
Scénarios pour les composants Amazon SQS
Log Apache
Composant de log Apache
tApacheLogInput | Ce composant lit le fichier de log d'accès d'un serveur Apache. |
Scénario pour les composants de log Apache
Composants pour archiver/désarchiver
Composants permettant d'archiver/désarchiver
tFileArchive | Ce composant crée une nouvelle archive .zip, .gzip ou .tar.gz à partir d'un ou plusieurs fichiers ou dossiers. |
tFileUnarchive | Ce composant dézippe un fichier archive pour un éventuel traitement, dans l'un des formats suivants : *.tar.gz , *.tgz, *.tar, *.gz and *.zip. |
Scénarios pour les composants permettant d'archiver/désarchiver
ARFF
Composants ARFF
tFileInputARFF | Ce composant lit un fichier ARFF ligne par ligne afin de le diviser en champs et d'envoyer ces champs au composant suivant, comme défini par le schéma. |
tFileOutputARFF | Ce composant écrit un fichier ARFF contenant des données organisées en fonction du schéma défini. |
Scénario pour les composants ARFF
AS400
Composants AS400
tAS400Close | Ce composant ferme la connexion à une base de données connectée. |
tAS400Commit | Ce composant commite en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, et permet un gain de performance, en utilisant une connexion unique. |
tAS400Connection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tAS400Input | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tAS400LastInsertId | Ce composant récupère les clés primaires des entrées dernièrement ajoutées à une table AS/400. |
tAS400Output | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tAS400Rollback | Ce composant annule la transaction dans une base de données connectée et évite le commit de transaction involontaire. |
tAS400Row | Ce composant exécute des requêtes SQL déclarées sur la base de données spécifiée. |
Scénario pour les composants AS400
Avro
Composants Avro
tAvroInput | Ce composant extrait les enregistrements de n'importe quel fichier au format Avro afin que d'autres composants traitent ces enregistrements. |
tAvroOutput | Ce composant reçoit des flux de données du composant de traitement précédent et écrit ces données dans des fichiers au format Avro dans un système de fichiers distribué donné. |
tAvroStreamInput | Ce composant écoute un répertoire donné, lit des données depuis des fichiers Avro après leur création puis envoie ces données aux composants suivants. |
Scénario pour les composants Avro
Azure Data Lake Store
Composants Azure Data Lake Store
tAzureAdlsGen2Input | Ce composant récupère des données depuis un système de fichiers ADLS Gen2 d'un compte de stockage Azure et passe les données au composant suivant lié à l'aide d'un lien Main>Row. |
tAzureAdlsGen2Output | Charge des données entrantes dans un système de fichiers ADLS Gen2 d'un compte de stockage Azure au format spécifié. |
tAzureFSConfiguration | Ce composant fournit les informations d'authentification pour que Spark se connecte à un système de fichiers Azure donné. |
Scénarios pour les composants Azure Data Lake Store
Azure Storage Blob
Composants Azure Storage Blob
tAzureFSConfiguration | Ce composant fournit les informations d'authentification pour que Spark se connecte à un système de fichiers Azure donné. |
tAzureStorageConnection | Ce composant utilise des informations d'authentification et de protocole afin de créer une connexion au système Microsoft Azure Storage pouvant être réutilisée par d'autres composants Azure Storage. |
tAzureStorageContainerCreate | Ce composant crée un nouveau conteneur de stockage utilisé pour stocker des blobs Azure (Binary Large Object) pour un compte Azure Storage donné. |
tAzureStorageContainerDelete | Ce composant automatise la suppression d'un conteneur de blobs donné dans l'espace d'un compte de stockage spécifique. |
tAzureStorageContainerExist | Ce composant automatise la vérification de l'existence d'un conteneur de blobs donné au sein d'un compte de stockage. |
tAzureStorageContainerList | Ce composant liste tous les conteneurs dans un compte Azure Storage donné. |
tAzureStorageDelete | Ce composant supprime des blobs d'un conteneur donné pour un compte Azure Storage, selon les filtres de blobs spécifiés. |
tAzureStorageGet | Ce composant récupère des blobs d'un conteneur donné pour un compte Azure Storage, en respectant les filtres appliqués sur la hiérarchie virtuelle des blobs, puis écrit les blobs sélectionnés dans un dossier local. |
tAzureStorageList | Ce composant liste des blobs dans un conteneur donné, selon les filtres de blobs spécifiés. |
tAzureStoragePut | Ce composant charge des fichiers locaux dans un conteneur donné, pour un compte Azure Storage. |
Scénarios pour les composants Azure Storage Blob
Azure Storage Queue
Composants Azure Storage Queue
tAzureStorageConnection | Ce composant utilise des informations d'authentification et de protocole afin de créer une connexion au système Microsoft Azure Storage pouvant être réutilisée par d'autres composants Azure Storage. |
tAzureStorageQueueCreate | Ce composant crée une file dans un compte Azure Storage donné. |
tAzureStorageQueueDelete | Ce composant supprime de manière définitive une file spécifiée pour un compte Azure Storage donné. |
tAzureStorageQueueInput | Ce composant récupère un ou plusieurs messages du début d'une file Azure. |
tAzureStorageQueueInputLoop | Ce composant exécute une boucle sans fin pour récupérer des messages du début d'une file Azure. |
tAzureStorageQueueList | Ce composant retourne toutes les files associées au compte Azure Storage donné. |
tAzureStorageQueueOutput | Ce composant ajoute des messages à la fin d'une file Azure. |
tAzureStorageQueuePurge | Ce composant purge les messages dans une file Azure. |
Azure Storage Table
Composants Azure Storage Table
tAzureStorageConnection | Ce composant utilise des informations d'authentification et de protocole afin de créer une connexion au système Microsoft Azure Storage pouvant être réutilisée par d'autres composants Azure Storage. |
tAzureStorageInputTable | Ce composant récupère, depuis une table Azure Storage, un ensemble d'entités répondant aux critères de filtre spécifiés. |
tAzureStorageOutputTable | Ce composant effectue l'action définie sur une table Azure Storage et insère, remplace, fusionne ou supprime des entités dans la table, en se basant sur les données entrantes du composant précédent. |
Scénario pour les composants Azure Storage Table
Azure Synapse Analytics
Composants Azure Synapse Analytics
tAzureSynapseBulkExec | Ce composant charge des données dans une table Azure Synapse Analytics depuis Azure Blob Storage ou Azure Data Lake Storage. |
tAzureSynapseClose | Ce composant ferme une connexion active à une base de données Azure Synapse Analytics. |
tAzureSynapseCommit | Ce composant commite en une fois une transaction globale au lieu de commiter ligne par ligne ou lot par lot, vous permettant ainsi d'améliorer les performances. |
tAzureSynapseConnection | Ce composant ouvre une connexion à une base de données Azure Synapse Analytics. |
tAzureSynapseInput | Ce composant lit des données et extrait des champs en se basant sur une requête, à partir d'une base de données Azure SQL Data Warehouse. |
tAzureSynapseOutput | Ce composant écrit, met à jour, modifie ou supprime des entrées dans une base de données Azure SQL Data Warehouse. |
tAzureSynapseRollback | Ce composant annule le commit d'une transaction dans la base de données Azure SQL Data Warehouse connectée, afin d'empêcher les commits partiels de transactions si une erreur survient. |
tAzureSynapseRow | Ce composant exécute une requête SQL sur une base de données Azure Synapse Analytics. |
Bonita
Composants Bonita
tBonitaDeploy | Ce composant déploie un processus spécifique Bonita vers Bonita Runtime. |
tBonitaInstantiateProcess | Ce composant commence l'instance d'un processus spécifique déployé dans le moteur Bonita Runtime. |
Scénarios pour les composants Bonita
Box
Composants Box
tBoxConnection | Ce composant crée une connexion à Box que les autre composants Box peuvent réutiliser. |
tBoxCopy | Ce composant copie ou déplace un dossier ou un fichier donné au sein de Box. |
tBoxDelete | Ce composant supprime un fichier ou dossier depuis Box. |
tBoxGet | Ce composant télécharge un fichier depuis un compte Box. |
tBoxList | Ce composant liste des fichiers stockés dans un répertoire défini sur Box. |
tBoxPut | Ce composant charge des fichiers sur un compte Box. |
Scénario pour les composants Box
Buffer
Composants Buffer
tBufferInput | Ce composant récupère les données mises en mémoire tampon, via un composant tBufferOutput par exemple, pour les traiter dans un autre sous-Job. |
tBufferOutput | Ce composant met en tampon des données afin de pouvoir y accéder plus tard via un service Web par exemple. |
Scénarios pour les composants Buffer
Règles métier
Composants de règles métier (Business rules)
Scénarios pour composants de règles métier (Business Rules)
Cassandra
Composants Cassandra
tCassandraConfiguration | Ce composant permet la réutilisation de la configuration d'une connexion au serveur à Cassandra dans le même Job. |
tCassandraLookupInput | Ce composant extrait les données souhaitées d'une famille de colonnes ou d'une super famille de colonnes d'un Keyspace Cassandra, afin d'appliquer les modifications aux données. |
tCassandraBulkExec | Ce composant permet un gain de performance pendant les opérations d'Insert dans une famille de colonnes Cassandra. |
tCassandraClose | Ce composant est utilisé pour arrêter une connexion active à un serveur Cassandra afin de libérer des ressources occupées. |
tCassandraConnection | Ce composant réutilise la connexion à un serveur Cassandra créée. |
tCassandraInput | Ce composant extrait les données souhaitées d'une famille de colonnes ou d'une super famille de colonnes d'un Keyspace Cassandra, afin d'appliquer les modifications aux données. |
tCassandraOutput | Ce composant écrit des données dans une famille de colonnes d'un Keyspace Cassandra ou en supprime. |
tCassandraOutputBulk | Ce composant prépare une table SSTable de grande taille et de la traiter selon vos besoins avant de charger cette table SSTable dans une famille de colonne d'un Keyspace Cassandra. |
tCassandraOutputBulkExec | Ce composant dédié permet un gain de performance pendant les opérations d'Insert dans une famille de colonnes dans un Keyspace Cassandra. |
tCassandraRow | Ce composant agit sur la structure même de la base de données ou sur les données, selon la nature de la requête et de la base de données. |
Scénario pour les composants Cassandra
Change Data Capture
Composants Change Data Capture
tAS400CDC | Ce composant permet l'extraction et la migration de données. |
tDB2CDC | Ce composant extrait les changements effectués sur les données source et les met à disposition de(s) système(s) cible(s) utilisant l'aperçu de base de données CDC. |
tInformixCDC | Ce composant extrait les données d'un système source qui ont été modifiées depuis la dernière extraction et transfère ces données vers un ou plusieurs autre(s) système(s). |
tIngresCDC (déprécié) | Ce composant extrait les données du système source ayant été modifiées depuis la dernière extraction et les transporte vers un ou plusieurs autre(s) système(s). |
tMSSqlCDC | Ce composant extrait les changements apportés aux données source et les met à disposition de(s) système(s) cible(s) utilisant l'aperçu de base de données CDC. |
tMysqlCDC | Ce composant extrait les modifications effectuées sur les données opérationnelles source et les rend disponibles au(x) système(s) cible(s) à l'aide des vues CDC de la base de données. |
tOracleCDC | Ce composant extrait les données du système source ayant été modifiées depuis la dernière extraction et les transporte vers un ou plusieurs autre(s) système(s). |
tOracleCDCOutput | Ce composant synchronise les modifications de données à l'aide du mode XStream CDC d'Oracle. |
tPostgresqlCDC | Il extrait uniquement les changements apportés aux données source et les met à disposition de(s) système(s) cible(s) utilisant l'aperçu de base de données CDC. |
tSybaseCDC | Ce composant extrait les données du système source ayant été modifiées depuis la dernière extraction et les transporte vers un ou plusieurs autre(s) système(s). |
tTeradataCDC | Ce composant extrait des données d'un système source ayant été modifiées depuis la dernière extraction et les transporte vers un autre système (ou d'autres systèmes), à l'aide du mode Trigger. |
Scénarios pour les composants Change Data Capture
Diagramme
Composants de diagramme (Chart)
tBarChart | Ce composant génère un diagramme en barres à partir des données d'entrée afin de faciliter l'analyse technique. |
tLineChart | Ce composant lit des données à partir d'un flux d'entrée et transforme les données en graphique en lignes dans un fichier image au format PNG afin de faciliter l'analyse technique. |
Scénarios pour les composants de diagramme (Chart)
Cloud
Composants Cloud
tCloudStart | Ce composant démarre des instances sur Amazon EC2 (Amazon Elastic Compute Cloud). |
tCloudStop | Ce composant modifie le statut d'une instance lancée sur Amazon EC2 (Amazon Elastic Compute Cloud). |
CombinedSQL
Composants CombinedSQL
tCombinedSQLAggregate | Ce composant fournit un ensemble de matrices basées sur des valeurs ou sur des calculs. |
tCombinedSQLFilter | Ce composant filtre des données en réorganisant, supprimant ou ajoutant des colonnes à partir de la table source et de filtrer la source de données à l'aide de conditions de filtre. |
tCombinedSQLInput | Ce composant extrait des champ d'une table de base de données selon la définition de son schéma. |
tCombinedSQLOutput | Ce composant insère des enregistrements du flux entrant dans une table de base de données existante. |
Scénario pour les composants CombinedSQL
Contexte
Composants de contexte
tContextDump | Ce composant copie la configuration du contexte du Job courant dans un fichier plat, une table de base de données, etc, pouvant être réutilisé(e) par le tContextLoad. |
un tContextLoad | Ce composant charge un contexte à partir d'un flux entrant. |
Scénario pour les composants de contexte
CosmosDB
Composants CosmosDB
tCosmosDBSQLAPIInput | Ce composant récupère des données d'une collection d'une base de données Cosmos, via une API SQL. |
tCosmosDBSQLAPIOutput | Ce composant insère, met à jour, insère et met à jour ou supprime des documents dans une collection d'une base de données Cosmos, à partir du flux entrant du composant précédent, via une API SQL. |
tCosmosDBBulkLoad | Ce composant importe des fichiers de données dans différents formats (CSV, TSV ou JSON) dans la base de données Cosmos spécifiée, afin que les données puissent être traitées. |
tCosmosDBConnection | Ce composant crée une connexion à une base de données CosmosDB et réutilise cette connexion dans d'autres composants. |
tCosmosDBInput | Ce composant récupère des documents d'une collection dans la base de données Cosmos en fournissant un document de requête contenant les champs auxquels doivent correspondre les documents souhaités. |
tCosmosDBOutput | Ce composant insère, met à jour, insère et met à jour ou supprime des documents dans une collection d'une base de données Cosmos, à partir du flux entrant du composant précédent dans le Job. |
tCosmosDBRow | Ce composant exécute les commandes et les fonctions de la base de données Cosmos. |
Couchbase
Composants Couchbase
tCouchbaseDCPInput | Ce composant interroge les documents de la base de données Couchbase, sous le Database Change Protocol (DCP), protocole de diffusion. |
tCouchbaseDCPOutput | Ce composant effectue des actions d'upsert sur des documents dans une base de données Couchbase selon les données plates provenant des composants précédents, sous le Database Change Protocol (DCP), protocole de diffusion. |
tCouchbaseInput | Ce composant interroge des documents dans une base de données Couchbase. |
tCouchbaseOutput | Ce composant effectue des actions d'upsert sur des documents dans une base de données Couchbase selon les données plates provenant des composants précédents. |
Scénario pour les composants Couchbase
CyberArk
Composant CyberArk
tCyberarkInput | Récupère le contenu d'un objet secret (généralement un mot de passe) stocké dans une chambre forte CyberArk, lors de l'exécution. Le contenu récupéré est stocké dans la variable After SECRET, pouvant être référencée par les composants subséquents du Job. Le contenu peut également être passé au composant suivant dans une colonne nommée secret à l'aide d'un lien Row > Main. |
Scénario CyberArk
Mapping de données
Composants de mapping de données (Data mapping)
tHConvertFile | Ce composant utilise des structures de Talend Data Mapper pour effectuer une conversion d'une représentation à une autre, en tant qu'exécution Spark Batch. |
tHMap | Ce composant exécute des transformations (appelées mappings) entre différentes sources et destinations, en tirant parti des fonctionnalités de Talend Data Mapper, disponibles dans la perspective Mapping. |
tHMapFile | Ce composant exécute un mapping Talend Data Mapper dans lequel les structures d'entrée et de sortie peuvent varier, en tant qu'exécution Spark batch. |
tHMapInput | Ce composant exécute un mapping Talend Data Mapper dans lequel les structures d'entrée et de sortie peuvent varier, en tant qu'exécution Spark batch et envoie les données afin de les utiliser par un composant en aval. |
tHMapRecord | Ce composant exécute un mapping Talend Data Mapper dans lequel les structures d'entrée et de sortie peuvent varier, en tant qu'exécution Spark streaming. |
Scénarios pour les composants de mapping de données (Data mapping)
- Connexion du tHMapRecord à plusieurs sorties
- Génération de la sortie à l'aide d'un tHMap avec plusieurs schémas d'entrée
- Générer la sortie à l'aide d'un tHMap comprenant plusieurs entrées Payload
- Gestion des erreurs
- Transformation de données dans un environnement Spark
- Transformation d'un schéma d'intégration de données en un schéma complexe
- Utiliser les métadonnées dans Talend Data Integration
- Utiliser les métadonnées dans Talend Data Mapper
Data Preparation
Composants Data Preparation
tDataprepRun | Ce composant applique une préparation faite à l'aide de Talend Data Preparation dans un Job d'intégration de données standard. |
tDataSetInput | Ce composant crée un flux avec des données provenant d'un jeu de données Talend Data Preparation. |
tDatasetOutput | Ce composant crée un jeu de données dans Talend Data Preparation. |
Scénarios pour les composants Data Preparation
- Appliquer une préparation à un échantillon de données dans un Job Apache Spark Batch
- Appliquer une préparation à un échantillon de données dans un Job Apache Spark Streaming
- Créer un jeu de données à partir d'un Job
- Sélectionner une préparation dynamiquement lors de l'exécution selon le fichier source
- Préparer des données depuis une base de données dans un Job Talend
- Promouvoir un Job utilisant une préparation à travers des environnements
Qualité de données
Standardisation d'adresses
Composants de standardisation d'adresses
tAddressRowCloud | Ce composant vérifie et formate les adresses internationales dans le Cloud en utilisant des services en ligne. |
tBatchAddressRowCloud | Ce composant utilise le traitement batch afin de parser les données d'adresses et obtenir rapidement des adresses formatées, précises et sans devoir installer de logiciel. |
Scénarios de standardisation d'adresses
- Modification du mapping des codes de vérification retournés par les fournisseurs d'outils de validation d'adresses vers les niveaux de vérification Talend
- Analyse des adresses par rapport aux données de référence dans le Cloud
- Analyse d'adresses par rapport à des données de référence dans le Cloud, à l'aide du traitement batch
Rapprochement continu
Composants de rapprochement continu (Continuous matching)
tMatchIndex | Ce composant indexe un jeu de données nettoyées et dédoublonnées dans ElasticSearch afin d'effectuer un rapprochement continu. |
tMatchIndexPredict | Ce composant compare un nouveau jeu de données à un jeu de données de référence stocké dans ElasticSearch à l'aide du tMatchIndex. Le tMatchIndexPredict écrit en sortie les enregistrements uniques et les doublons suspects dans des fichiers séparés. |
Scénarios pour les composants de rapprochement continu (Continuous matching)
Extraction de données
Composants d'extraction de données
tExtractRegexFields | Ce composant extrait des données et génère des colonnes multiples à partir d'une chaîne de caractères formatée, à l'aide de correspondances regex. |
tPatternExtract | Ce composant écrit toutes les données qui correspondent à un modèle donné. Vous pouvez implémenter tout type d'opération nécessaire sur les données extraites. |
Scénarios pour les composants d'extraction de données
Rapprochement de données
Composants de rapprochement de données
tMatchGroup | Ce composant crée des groupes d'enregistrements de données similaires dans toute source de données, même les gros volumes, à l'aide d'une ou plusieurs règles de mise en correspondance. |
tRecordMatching | Ce composant assure la qualité des données de n'importe quelle source de données en les comparant aux données de référence. |
Scénarios de rapprochement de données
- Groupement de données de sortie dans des flux séparés, selon la distance minimale calculée dans chaque enregistrement
- Rapprochement de données clients via de multiples passes
- Correspondance de données via de multiples passes à l'aide de composants Map/Reduce
- Correspondance d'entrées utilisant les algorithmes Q-grams et Levenshtein
- Utilisation d'un algorithme de mise en correspondance personnalisé pour faire correspondre des entrées
- Utilisation de fonctions de consolidation pour fusionner deux enregistrements et créer un enregistrement maître
Confidentialité des données
Composants de confidentialité des données
tDataDecrypt | Déchiffre les données chiffrées avec le composant tDataEncrypt. |
tDataEncrypt | Protège les données en les convertissant en du texte chiffré non lisible. |
tDataMasking | Ce composant masque les données originales avec des caractères ou des chiffres aléatoires afin de protéger les données réelles, tout en ayant un substitut fonctionnel lorsqu'il n'est pas recommandé d'afficher des données réelles sensibles. |
tDataShuffling | Ce composant mélange les données d'une table d'entrée afin de protéger les données tout en ayant un jeu de données fonctionnel. Les données restent utilisables, par exemple pour le test et l'apprentissage. |
tDataUnmasking | Ce composant révèle les données masquées par le tDataMasking afin de récupérer les données originales. |
tDuplicateRow | Ce composant crée des doublons de données significatives afin d'effectuer des tests fonctionnels de qualité de données. |
tPatternMasking | Ce composant masque des données suivant un modèle spécifique et peut transformer les données source de manière cohérente, si nécessaire. |
tPatternUnmasking | Ce composant révèle les données masquées par le tPatternMasking afin de récupérer les données originales. |
Scénarios relatifs à la confidentialité des données
- Modification de valeurs de données afin de restreindre l'utilisation de données sensibles
- Chiffrer et déchiffrer des données sensibles
- Génération de données en doublon d'un flux d'entrée
- Masquage des numéros de téléphone australiens
- Masquage de numéros d'assurance-maladie Medicare
- Mélange de valeurs de données afin de restreindre l'utilisation de données sensibles
- Révéler les numéros de téléphone australiens
Dédoublonnage
Composants de dédoublonnage
tRuleSurvivorship | Ce composant crée un représentant unique d'une entité selon des règles métier et peut créer une copie maître des données pour la gestion de données maître. |
tSurviveFields | Ce composant centralise des données à partir de sources variées et hétérogènes pour créer une copie maître des données pour MDM. |
tUniqRow | Ce composant assure une qualité de données des flux d'entrée et de sortie du Job. |
Scénarios pour les composants de dédoublonnage (Deduplication)
- Conversion d'un Job standard en un Job Spark Batch
- Créer un jeu de données nettoyées à partir des paires suspectes libellées par le tMatchPredict et les enregistrements uniques calculés par le tMatchPairing
- Dédoublonnage d'entrées en se basant sur le schéma dynamique
- Dédoublonnage d'entrées en utilisant des composants Map/Reduce
- Fusionner le contenu de plusieurs lignes en utilisant différentes colonnes comme valeur de rang
- Modification manuelle du fichier de règle afin de coder les conditions à utiliser pour créer un enregistrement consolidé
- Sélection des meilleures données d'un groupe de doublons afin de créer un enregistrement consolidé
- Dédoublonnage de données
Validation d'e-mail (Email validation)
Composant de validation d'adresse e-mail (Email validation)
tVerifyEmail | Le tVerifyEmail vérifie si les adresses e-mail sont conformes aux règles spécifiques et corrige les adresses ne correspondant pas aux règles, en utilisant le contenu de colonnes spécifiques. |
Scénario pour le composant de validation d'e-mail (Email validation)
Formatage
Composant de formatage
tChangeFileEncoding | Ce composant transforme l'encodage des caractères d'un fichier donné, et génère un nouveau fichier en fonction de l'encodage des caractères transformés. |
Scénario pour les composants de formatage
Rapprochement flou (Fuzzy matching)
Composants de rapprochement flou (Fuzzy matching)
tBlockedFuzzyJoin | Ce composant améliore la qualité des données de toute source, en les à une source de données de référence. |
tFuzzyJoin | Ce composant effectue une jointure de deux tables, en appliquant le rapprochement flou sur plusieurs colonnes. Il compare les colonnes du flux principal et les colonnes de référence du flux de référence (Lookup), puis écrit en sortie les données du flux principal et les données rejetées. |
tFuzzyMatch | Ce composant compare une colonne du flux principal avec une colonne du flux de référence et extrait les données du flux principal en affichant la distance. |
tFuzzyUniqRow | Ce composant compare des colonnes dans le flux d'entrée, en utilisant une méthode de rapprochement définie, et collecte les doublons rencontrés. |
Scénarios pour les composants de rapprochement flou (Fuzzy matching)
- Calcul de la distance de Levenshtein de 0 pour les prénoms
- Calcul de la distance de Levenshtein de 1 ou 2 pour les prénoms
- Vérification de la distance métaphonique pour les prénoms
- Comparaison de quatre colonnes en utilisant différentes méthodes de correspondance et en collectant les doublons rencontrés
- Correspondance floue entre deux colonnes et écriture en sortie des données principales et rejetées
- Correspondance floue entre deux colonnes et écriture en sortie des valeurs de correspondance, de correspondance possible et de non correspondance
Standardisation d'adresses Google
Composants de standardisation d'adresses Google
tGoogleAddressRow | Ce composant convertit des adresses d'un format lisible par l'humain en coordonnées géographiques et autres informations géographiques. |
tGoogleGeocoder | Ce composant convertit des adresses d'un format lisible par l'humain en coordonnées géographiques. |
tGoogleMapLookup | Ce composant obtient des informations géographiques détaillées, à l'aide de coordonnées géographiques et d'adresses. |
Scénarios pour les composants Google de standardisation d'adresses
Identification
Composants d'identification
tGenKey | Ce composant génère une clé fonctionnelle à partir des colonnes d'entrée, en appliquant différents types d'algorithmes sur chaque colonne et en regroupant les résultats calculés en une seule clé, puis écrit en sortie cette clé avec les colonnes d'entrée. |
tAddCRCRow | Ce composant fournit un ID unique afin d'améliorer la qualité des données traitées. CRC est l'acronyme de Cycle de redondance cyclique (Cyclical Redundancy Checking). |
Scénarios pour les composants d'identification
Standardisation d'adresses Loqate
Composant de standardisation d'adresses Loqate
tLoqateAddressRow | Ce composant parse, standardise, vérifie, nettoie, translittère et formate les adresses internationales. |
Scénario pour le composant de standardisation d'adresses Loqate
Rapprochement avec apprentissage automatique
Composants de rapprochement avec apprentissage automatique (Matching with machine learning)
tMatchModel | Ce composant génère le modèle de rapprochement utilisé par le composant tMatchPredict pour prédire automatiquement les libellés pour les paires suspectes et de grouper les enregistrements qui correspondent au(x) libellé(s) configuré(s) dans les propriétés du composant. |
Le tMatchPairing | Ce composant vous permet de calculer des paires de doublons suspects de toute source de données, y compris dans de grands volumes dans le contexte de l'apprentissage automatique dans Spark. |
tMatchPredict | Ce composant libelle automatiquement des enregistrements suspects correspondant au(x) libellé(s) configurés dans les propriétés du composant. |
Scénarios pour les composants de rapprochement avec apprentissage automatique (Matching with machine learning)
- Calcul de paires suspectes et d'un échantillon suspect à partir de données source
- Calculer des paires suspectes et écrire un échantillon dans Talend Data Stewardship
- Générer un modèle de rapprochement
- Générer un modèle de rapprochement à partir d'une campagne Grouping
- Marquage de paires suspectes avec des libellés assignés
Standardisation d'adresses Melissa Data
Composants de standardisation d'adresses Melissa Data
tMelissaDataAddress | Ce composant vérifie qu'une adresse est correctement formatée et corrige les erreurs de format ou d'orthographe dans chaque ligne. |
tPersonator | Assure la qualité d'une base de données de contacts des États-Unis et du Canada en vérifiant, déplaçant et ajoutant des données de contact. |
Scénario relatifs à la standardisation d'adresses Melissa Data
Validation Microsoft SQL Server
Composants de validation Microsoft SQL Server
tMSSqlInvalidRows | Ce composant extrait des lignes de base de données correspondant à une règle de qualité de données spécifiée. Vous pouvez implémenter toute correction nécessaire. |
tMSSqlValidRows | Ce composant extrait des lignes de base de données correspondant à une règle de qualité de données spécifiée. |
Validation MySQL
Composants de validation MySQL
tMySQLInvalidRows | Ce composant vérifie les lignes d'une base de données par rapport à des modèles de qualité de données (expressions régulières) ou à des règles de qualité de données spécifiques (règles métier). |
tMySQLValidRows | Ce composant vérifie les lignes d'une base de données par rapport à des modèles spécifiques de qualité de données (expressions régulières). |
Scénarios pour les composants de validation MySQL
Standardisation de noms
Composant de standardisation de noms
tFirstnameMatch | Ce composant rapproche des prénoms par rapport à un index de référence afin de standardiser les données. |
Scénario pour les composants de standardisation de noms
Validation Oracle
Composants de validation Oracle
tOracleInvalidRows | Ce composant vérifie les lignes d'une base de données par rapport à des modèles spécifiques de qualité de données (expressions régulières). |
tOracleValidRows | Ce composant vérifie les lignes d'une base de données par rapport à des modèles spécifiques de qualité de données (expressions régulières). |
Validation de modèles
Composants de validation de modèles
tFindRegexlibExpressions | Ce composant retourne un jeu de données contenant des informations à propos des expressions régulières qui correspondent à la requête envoyée au serveur Web. |
tLastRegexlibExpressions | Ce composant retourne un jeu de données contenant des informations à propos des expressions régulières N les plus récemment ajoutées à la bibliothèque qui correspondent à la requête envoyée à http://regexlib.com. |
tMultiPatternCheck | Ce composant vérifie toutes les données existantes dans différentes colonnes par rapport à une expression régulière Java donnée. |
tPatternCheck | Ce composant donne deux flux de sortie : Matching Data et Non-Matching Data. Le premier collecte toutes les données qui correspondent à un modèle donné, et le second collecte toutes les données qui ne correspondent pas à un modèle donné. Vous pouvez implémenter toute correction requise. |
Scénarios pour les composants de validation de modèles
Standardisation de numéros de téléphone
Composant de standardisation de numéros de téléphone
tStandardizePhoneNumber | Ce composant standardise les numéros de téléphone selon les formats définis. |
Scénario pour le composant de standardisation de numéros de téléphone
Validation PostgreSQL
Composants de validation PostgreSQL
tPostgresqlInvalidRows | Ce composant extrait des lignes d'une base de données qui ne correspondent pas à un modèle donné de qualité de données. |
tPostgresqlValidRows | Ce composant extrait des lignes d'une base de données qui correspondent à un modèle donné de qualité de données. |
Standardisation d'adresses QAS
Composants de standardisation d'adresses QAS
tQASAddressIncomplete (déprécié) | Ce composant donne deux flux de sortie : Incomplete et Reject. |
tQASAddressRow | Ce composant corrige toutes les erreurs de format ou d'orthographe, et donne le statut de vérification pour chaque ligne. |
tQASAddressUnknown (déprécié) | Donne un flux de sortie : Unknown collecte toutes les adresses qui ne correspondent pas aux résultats retournables dans les données de QuickAddress. |
tQASAddressVerified (déprécié) | Ce composant donne trois flux de sortie : Verified, Interaction required, et Reject. |
tQASBatchAddressRow | Ce composant corrige toute erreur de format ou d'orthographe, ajoute les données manquantes et donne le statut de vérification pour chaque ligne. |
Scénarios pour les composants de standardisation d'adresses QAS
Reporting
Composants de reporting
tDqReportRun | Ce composant lance les analyses listées dans un rapport et sauvegarde les résultats dans le datamart DQ. |
tThresholdViolationAlert | Ce composant alerte en cas de violation de n'importe quel seuil parmi les seuils définis sur les indicateurs, lors d'analyses de qualité de données créées dans le Studio. |
Scénarios relatifs au reporting
Échantillonnage (Sampling)
Composant d'échantillonnage (Sampling)
tReservoirSampling | Ce composant extrait un échantillon de données aléatoires d'un ensemble de Big Data. |
Scénario pour le composant d'échantillonnage (Sampling)
Standardisation
Composants de standardisation
tStandardizeRow | Ce composant normalise les données d'entrée dans un flux de données XML ou JSON distinct, afin de séparer ou standardiser les données conformes à la règle des données non conformes. |
tIntervalMatch | Ce composant retourne une valeur à l'aide d'une jointure. |
tReplaceList | Ce composant nettoie tous les fichiers avant traitement. |
Scénarios pour les composants de standardisation
- Extraction de correspondances exactes à l'aide des règles d'Index
- Normalisation de données à l'aide de règles de type simple
- Standardisation d'adresses provenant de données non structurées
- Utilisation de deux niveaux de parsing pour extraire des informations de données non structurées
- Identification de l'emplacement de serveurs à partir de leur adresse IP
- Remplacer des noms d'États par leur code à deux lettres
Index des synonymes
Composants d'index des synonymes
tSynonymOutput | Ce composant crée un index Lucene et l'alimente avec des entrées et les synonymes associés qu'il reçoit. |
tSynonymSearch | Ce composant recherche dans un index de synonymes les entrées de référence qui correspondent aux données d'entrée. |
Scénarios pour les composants d'index des synonymes
Standardisation de texte
Composants de standardisation de texte
tJapaneseNumberNormalize | Ce composant normalise des nombres japonais (kansūji) vers des nombres arabes. |
tJapaneseTokenize | Ce composant segmente du texte japonais. |
tJapaneseTransliterate | Ce composant convertit des données textuelles en japonais vers des caractères kana et caractères de l'alphabet latin. |
tStem | Ce composant permet de standardiser des données dans des colonnes avant d'effectuer des correspondances. |
tTransliterate | Ce composant convertit des chaînes de caractères de différentes langues du monde en un jeu de caractères standard (Universal Coded Character Set, UCS). |
Scénarios pour les composants de standardisation de texte
- Conversion de chiffres japonais en chiffres arabes
- Conversion de mots de différentes langues en un ensemble de caractères standards
- Extraction des radicaux de mots anglais d'une colonne spécifique d'une base de données
- Génération de radicaux pour une liste de mots anglais
- Segmentation de texte en japonais
- Translittération de texte en japonais
Uniserv
Composants Uniserv
tUniservBTGeneric (déprécié) | Ce composant exécute un processus créé avec le produit Uniserv DQ Batch Suite. |
tUniservRTConvertName (déprécié) | Ce composant analyse les éléments de nom dans une adresse . |
tUniservRTMailBulk (déprécié) | Ce composant prépare le pool d'index pour la recherche de doublons. |
tUniservRTMailOutput (déprécié) | Ce composant synchronise le pool d'index utilisé pour la recherche de doublons. |
tUniservRTMailSearch (déprécié) | Ce composant cherche les valeurs en doublon en se basant sur un enregistrement d'entrée donnée et ajoute des données supplémentaires à chaque enregistrement. |
tUniservRTPost (déprécié) | Ce composant améliorer la qualité des adresses, ce qui est extrêmement important dans la gestion de la relation client et le e-commerce : cela est directement lié aux coûts du courrier et de la publicité. |
Scénarios Uniserv
- Ajout de contacts au pool d'index de mailRetrieval
- Analyse du nom d'une personne et attribution des salutations
- Vérification et correction du code postal, de la ville et de la rue
- Vérification et correction du code postal, de la ville et la rue, tout en rejetant les données incorrectes
- Création d'un pool d'index
- Exécution d'un Job dans Data Quality Service Hub Studio
Validation (Intégration)
Composant de validation (Intégration)
tSchemaComplianceCheck | Ce composant assure la qualité des données de n'importe quelle source de données en les comparant aux données de référence. |
Scénario relatif à la validation (Intégration)
Data Stewardship
Composants Data Stewardship
tDataStewardshipTaskDelete | Ce composant se connecte à Talend Data Stewardship et supprime les données stockées sous forme de tâches dans différentes campagnes. |
tDataStewardshipTaskInput | Ce composant se connecte à Talend Data Stewardship et récupère les données stockées sous forme de tâches dans différentes campagnes. |
tDataStewardshipTaskOutput | Ce composant se connecte à Talend Data Stewardship et charge des données dans des campagnes, sous forme de tâches. Les tâches doivent avoir le même schéma défini dans la campagne. |
Scénarios pour les composants Data Stewardship
- Attribuer dynamiquement des tâches dans Talend Data Stewardship
- Suppression de tâches de Talend Data Stewardship
- Alimenter des campagnes dynamiquement à l'aide d'ID de campagnes
- Alimenter des tâches dans une même campagne dans différentes instances de Talend Data Stewardship
- Récupérer des tâches depuis Talend Data Stewardship
- Écrire des tâches dans une campagne Merging
- Écrire des tâches dans les campagnes Talend Data Stewardship
Utilitaire de base de données
Composant utilitaire de base de données
tCreateTable | Ce composant crée une table pour un type de base de données spécifique. |
Scénario pour le composant utilitaire de base de données
Databricks
Composants Databricks
tDBFSConnection | Ce composant se connecte à un système DBFS (Databricks Filesystem) donné, pour que les autres composants DBFS puissent réutiliser la connexion créée et communiquer avec DBFS. |
tDBFSGet | Ce composant copie des fichiers d'un système DBFS (Databricks Filesystem) donné, les colle dans un répertoire personnalisé et, si nécessaire, les renomme. |
tDBFSPut | Ce composant se connecte à un système DBFS (Databricks Filesystem) donné, copie des fichiers depuis un répertoire personnalisé et, si nécessaire, renomme ces fichiers. |
Scénarios pour les composants Databricks
Base de données générique
Composants génériques de bases de données
tDBCDC | Ce composant extrait les modifications effectuées sur les données opérationnelles source et les rend disponibles au(x) système(s) cible(s) à l'aide des vues CDC de la base de données. |
tDBCDCOutput | Ce composant synchronise des modifications de données dans une base de données du type sélectionné, en mode CDC. |
tDBInvalidRows | Ce composant vérifie des lignes d'une base de données par rapport à des modèles de qualité de données (expressions régulières) ou des règles de qualité de données (règles métier). |
tDBValidRows | Ce composant vérifie des lignes de bases de données par rapport à des modèles de qualité de données (expressions régulières). |
tDBBulkExec | Ce composant offre un gain de performance lors de l'exécution d'opérations d'insertion dans une base de données. |
tDBClose | Ce composant ferme une connexion à une base de données connectée. |
tDBColumnList | Ce composant effectue une itération sur toutes les colonnes d'une table d'une base de données et liste le nom des colonnes. |
tDBCommit | Ce composant valide les données traitées à travers le Job dans la base de données connectée. |
tDBConnection | Ce composant ouvre une connexion à une base de données pouvant être réutilisée dans le ou les sous-Job(s) suivant(s). |
tDBInput | Ce composant extrait des données d'une base de données. |
tDBLastInsertId | Ce composant obtient la valeur de la clé primaire de l'enregistrement ayant été insérée le plus récemment dans une table d'une base de données par un utilisateur ou une utilisatrice. |
tDBOutput | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tDBOutputBulk | Ce composant écrit un fichier avec des colonnes, en se basant sur le séparateur défini et les standards du type de base de données sélectionné. |
tDBOutputBulkExec | Ce composant exécute l'action d'insertion dans une base de données. |
tDBRollback | Ce composant annule un commit dans une base de données connectée, afin d'éviter les commits involontaires de transactions. |
tDBRow | Ce composant exécute une requête SQL spécifiée sur une base de données. |
tDBSCD | Ce composant suit et reflète les modifications dans une base de données SCD spécifiée. |
tDBSCDELT | Ce composant suit et reflète des modifications dans une table SCD dédiée via des requêtes SQL. |
tDBSP | Ce composant appelle une procédure stockée de base de données. |
tDBTableList | Ce composant liste les noms des tables de bases de données spécifiées à l'aide d'une instruction SELECT basée sur une clause WHERE. |
tParseRecordSet | Ce composant analyse un ensemble d'enregistrements d'une table au lieu de les analyser individuellement. |
DB2
Composants DB2
tDB2BulkExec | Ce composant exécute une action Insert sur les données fournies et améliore les performances des opérations d'Insert dans une base de données DB2. |
tDB2Close | Ce composant ferme une connexion à la base de données DB2 connectée. |
tDB2Commit | Ce composant commite en une fois une transaction globale au lieu de commiter ligne par ligne ou lot par lot, vous permettant ainsi d'améliorer les performances. |
tDB2Connection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tDB2Input | Ce composant exécute une requête de base de données selon un ordre strict qui doit correspondre à celui défini dans le schéma. Puis, le composant tDB2Input est transmis au composant suivant via un lien Row > Main. |
tDB2Output | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tDB2Rollback | Ce composant évite le commit de transaction involontaire. |
tDB2Row | Ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler), selon la nature de la requête et de la base de données. Le SQLBuilder peut vous aider à rapidement et aisément écrire vos requêtes. |
tDB2SP | Ce composant appelle des procédures stockées de base de données. |
DBFS
Composants DBFS
tDBFSConnection | Ce composant se connecte à un système DBFS (Databricks Filesystem) donné, pour que les autres composants DBFS puissent réutiliser la connexion créée et communiquer avec DBFS. |
tDBFSGet | Ce composant copie des fichiers d'un système DBFS (Databricks Filesystem) donné, les colle dans un répertoire personnalisé et, si nécessaire, les renomme. |
tDBFSPut | Ce composant se connecte à un système DBFS (Databricks Filesystem) donné, copie des fichiers depuis un répertoire personnalisé et, si nécessaire, renomme ces fichiers. |
Définition de groupes de contextes
Scénarios pour les composants définissant des groupes de contexte (Context Groups)
Délimité
Composants délimités
tFileStreamInputDelimited | Ce composant lit de manière continue des données, ligne par ligne, afin de les diviser en champs et d'envoyer ces champs définis dans le schéma au composant suivant dans le Job, à l'aide d'un lien Row > Main. |
tFileInputDelimited | Ce composant lit un fichier délimité ligne par ligne, afin de le diviser en champs et d'envoyer ces champs au composant suivant, comme défini par le schéma. |
tFileOutputDelimited | Ce composant écrit en sortie les données d'entrée dans un fichier délimité en respectant le schéma défini. |
tPivotToColumnsDelimited | Ce composant permet d'ajuster la sélection de données à transmettre en sortie. |
Scénarios délimités
- Lire des données depuis un fichier délimité et afficher la sortie
- Lecture de données d'un fichier distant en mode stream
- Utilisation d'une colonne pivot pour agréger des données
- Utilisation d'un flux de sortie pour sauvegarder des données filtrées dans un fichier local
- Écriture de données dans un fichier délimité
Delta Lake
Composants Delta Lake
tDeltaLakeClose | Ce composant ferme une connexion active à DeltaLake afin de libérer les ressources occupées. |
tDeltaLakeConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tDeltaLakeInput | Extrait la dernière version ou un échantillon spécifié d'enregistrements de la couche Delta Lake de votre système Data Lake puis envoie les données au composant suivant pour traitement ultérieur. |
tDeltaLakeOutput | Écrit des enregistrements dans la couche Delta Lake de votre système Data Lake au format Parquet. |
tDeltaLakeRow | Ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler) en utilisant le SQLBuilder pour écrire rapidement et aisément vos requêtes. |
Scénario pour les composants Delta Lake
DotNET
Composants DotNET
tDotNETInstantiate | Ce composant invoque le constructeur d'un objet .NET pour un usage ultérieur. |
tDotNETRow | Ce composant facilite la transformation de données à l'aide de classes .NET built-in ou personnalisées. |
Scénarios pour les composants DotNET
Dropbox
Composants Dropbox
tDropboxConnection | Ce composant crée une connexion Dropbox vers un compte donné, que les autres composants Dropbox peuvent réutiliser. |
tDropboxDelete | Ce composant supprime un dossier ou un fichier donné de Dropbox. |
tDropboxGet | Ce composant télécharge un fichier sélectionné d'un compte Dropbox vers un répertoire local spécifié |
tDropboxList | Ce composant liste les fichiers stockés dans un répertoire spécifié dans Dropbox. |
tDropboxPut | Ce composant télécharge des données dans Dropbox à partir d'un fichier local ou d'un flux de données spécifié. |
Scénario pour les composants Dropbox
Schéma dynamique
Composant de schéma dynamique (Dynamic Schema)
tSetDynamicSchema | Ce composant configure un schéma dynamique pouvant être réutilisé par des composants du (des) sous-Job(s) suivant(s) afin de récupérer des données de colonnes inconnues. |
Scénarios pour le composant de schéma dynamique (Dynamic Schema)
ElasticSearch
Composants ElasticSearch
tElasticSearchConfiguration | Ce composant permet la réutilisation de la configuration de la connexion à ElasticSearch dans un même Job. |
tElasticSearchInput | Ce composant lit des documents depuis un système Elasticsearch donné à partir de la requête personnalisée. |
tElasticSearchLookupInput | Ce composant exécute une requête ElasticSearch avec un ordre strictement défini devant correspondre à la définition du schéma. |
tElasticSearchOutput | Ce composant écrit des jeux de données dans un système Elasticsearch donné. |
ELT Greenplum
Composants ELT Greenplum
tELTGreenplumInput | Ce composant ajoute autant de tables que nécessaires dans une instruction Insert qui peut être complexe. |
tELTGreenplumMap | Ce composant utilise les tables fournies en entrée pour alimenter les paramètres dans la commande mise en place. L'instruction peut inclure des jointures internes ou externes qui peuvent être implémentées entre des tables ou entre une table et ses alias. |
tELTGreenplumOutput | Exécute les requêtes SQL Insert, Update et Delete dans la base de données Greenplum. |
Scénarios pour les composants ELT Greenplum
ELT Hive
Composants ELT Hive
tELTHiveInput | Ce composant réplique le schéma de la table d'entrée Hive, qui sera utilisé par le composant tELTHiveMap suivant. |
tELTHiveMap | Ce composant construit graphiquement votre instruction SQL pour transformer les données. |
tELTHiveOutput | Ce composant s'utilise avec le tELTHiveMap afin d'écrire des données dans la table Hive. |
Scénarios pour les composants ELT Hive
ELT JDBC
Composants ELT JDBC
tELTInput | Ce composant ajoute autant de tables d'entrée que nécessaire pour exécuter une instruction SQL. |
tELTMap | Ce composant utilise les tables fournies en entrée pour alimenter les paramètres nécessaires à l'exécution de la commande SQL construite. L'instruction peut inclure des jointures internes ou externes qui peuvent être implémentées entre des tables ou entre une table et ses alias. |
tELTOutput | Ce composant effectue l'action sélectionnée sur la table et insère les données selon le schéma de sortie défini dans l'ELT Mapper. |
Scénarios pour les composants ELT JDBC
ELT MSSql
Composants ELT MSSql
tELTMSSqlInput | Ce composant ajoute autant de tables que nécessaires dans une instruction Insert qui peut être complexe. |
tELTMSSqlMap | Ce composant utilise les tables fournies en entrée pour alimenter les paramètres dans la commande mise en place. L'instruction peut inclure des jointures internes ou externes qui peuvent être implémentées entre des tables ou entre une table et ses alias. |
tELTMSSqlOutput | Exécute les instructions Insert, Delete et Update dans la base de données MSSql. |
Scénarios pour les composants ELT MSSql
ELT MySQL
Composants ELT MySQL
tELTMysqlInput | Ce composant ajoute autant de tables que nécessaires dans une instruction Insert qui peut être complexe. |
tELTMysqlMap | Ce composant utilise les tables fournies en entrée pour alimenter les paramètres dans la commande mise en place. L'instruction peut inclure des jointures internes ou externes qui peuvent être implémentées entre des tables ou entre une table et ses alias. |
tELTMysqlOutput | Le tELTMysqlOutput exécute les requêtes SQL Insert, Update et Delete dans la base de données Mysql. |
Scénarios pour les composants ELT MySQL
ELT Netezza
Composants ELT Netezza
tELTNetezzaInput | Ce composant ajoute autant de tables que nécessaire dans une commande Insert qui peut être complexe. |
tELTNetezzaMap | Ce composant utilise les tables fournies en entrée pour alimenter les paramètres nécessaires à l'exécution de la commande. L'instruction peut inclure des jointures internes ou externes qui peuvent être implémentées entre des tables ou entre une table et ses alias. |
tELTNetezzaOutput | Ce composant exécute les actions Insert, Update ou Delete sur les données dans la table Netezza spécifiée, via une instruction SQL générée par le composant tELTNetezzaMap. |
Scénarios pour les composants ELT Netezza
ELT Oracle
Composants ELT Oracle
tELTOracleInput | Ce composant fournit le schéma de la table Oracle à utiliser par le composant tELTOracleMap afin de générer l'instruction SQL SELECT. |
tELTOracleMap | Ce composant construit l'instruction SQL SELECT à l'aide des schémas des tables fournis par un ou plusieurs composant(s) tELTOracleInput. |
tELTOracleOutput | Ce composant effectue l'action Insert, Update, Delete ou Merge sur les données de la table Oracle spécifiée, via l’instruction SQL générée par le composant tELTOracleMap. |
Scénarios pour les composants ELT Oracle
- Agréger des données Snowflake à l'aide de variables de contexte comme noms de tables et de connexion
- Agrégation de colonnes d'une table et filtre
- Mapping de données à l'aide d'une jointure implicite simple
- Mapping de données à l'aide d'une sous-requête
- Mapper une date à l'aide d'une table Alias
- Mettre à jour les entrées d'une base de données Oracle
- Gérer des données à l'aide de la fonction Oracle MERGE
ELT PostgreSQL
Composants ELT PostgreSQL
tELTPostgresqlInput | Ce composant fournit le schéma de la table Postgresql à utiliser par le composant tELTPostgresqlMap afin de générer l'instruction SQL SELECT. |
tELTPostgresqlMap | Ce composant construit l'instruction SQL SELECT à l'aide des schémas de tables fournis par un ou plusieurs composant(s) tELTPostgresqlInput . |
tELTPostgresqlOutput | Ce composant effectue l'action Insert, Update ou Delete sur les données de la table Postgresql spécifiée, via l'instruction SQL générée par le composant tELTPostgresqlMap. |
Scénarios pour les composants ELT PostgreSQL
ELT Sybase
Composants ELT Sybase
tELTSybaseInput | Ce composant fournit le schéma de la table Sybase à utiliser par le composant tELTSybaseMap pour générer l'instruction SQL SELECT. |
tELTSybaseMap | Ce composant construit l'instruction SQL SELECT à l'aide des schémas de tables fournis par un ou plusieurs composant(s) tELTSybaseInput. |
tELTSybaseOutput | Ce composant effectue l'action Insert, Update ou Delete sur les données de la table Sybase spécifiée via l'instruction SQL générée par le composant tELTSybaseMap. |
Scénarios pour les composants ELT Sybase
ELT Teradata
Composants ELT Teradata
tELTTeradataInput | Ce composant fournit le schéma de la table Teradata à utiliser par le composant tELTTeradataMap afin de générer l'instruction SQL SELECT. |
tELTTeradataMap | Ce composant construit l'instruction SQL SELECT à l'aide des schémas de tables fournis par un ou plusieurs composant(s) tELTTeradataInput. |
tELTTeradataOutput | Ce composant effectue l'action Insert, Update ou Delete sur les données de la table Teradata spécifiée via l'instruction SQL générée par le composant tELTTeradataMap. |
Scénarios pour les composants ELT Teradata
ELT Vertica
Composants ELT Vertica
tELTVerticaInput | Ce composant fournit le schéma de la table Vertica à utiliser par le composant tELTVerticaMap afin de générer l'instruction SQL SELECT. |
tELTVerticaMap | Ce composant construit l'instruction SQL SELECT à l'aide des schémas de tables fournis par un ou plusieurs composant(s) tELTVerticaInput. |
tELTVerticaOutput | Ce composant effectue l'action Insert, Update ou Delete sur les données de la table Vertica spécifiée via l'instruction SQL générée par le composant tELTVerticaMap. |
Scénarios pour les composants ELT Vertica
ESB REST
Composants REST ESB
tRESTClient | Ce composant interagit avec des fournisseurs de services Web RESTful, en envoyant des requêtes HTTP et HTTPS, à l'aide de CXF (JAX-RS) et en obtenant les réponses correspondantes. |
tRESTRequest | Ce composant reçoit les requêtes GET/POST/PUT/PATCH/DELETE des clients, du côté serveur. |
tRESTResponse | Ce composant retourne un code de statut HTTP spécifique au client comme réponse à une requête HTTP et/ou HTTPS. |
Scénarios pour les composants ESB REST
- Construire un document JSON avec un tXMLMap pour appeler un service REST
- Obtention d'informations sur un utilisateur ou une utilisatrice en interagissant avec un service RESTful
- Utiliser un service REST acceptant des requêtes HTTP POST
- Utiliser un service REST pour accepter les requêtes HTTP POST et envoyer des réponses
- Utiliser un service REST acceptant des requêtes POST HTTP dans un formulaire HTML
- Mise à jour des informations des utilisateurs et des utilisatrices via une interaction avec un service RESTful
- Utiliser les paramètres URI Query pour explorer les données d'une base de données
- Utiliser un service REST pour accepter les requêtes HTTP GET et envoyer des réponses
- Utiliser des variables de contexte dans les URL d'endpoints REST dans Data Services
ESB SOAP
Composants SOAP ESB
tESBConsumer | Ce composant appelle la méthode définie du Service Web invoqué et retourne la classe, selon les paramètres spécifiés. |
tESBProviderFault | Ce composant retourne un message Fault provenant du Service Web à la fin du cycle du Job Talend dans le cas d'une communication requête-réponse. |
tESBProviderRequest | Expose un Job Talend comme un Service Web. |
tESBProviderResponse | Ce composant retourne un message de réponse à la fin de chaque cycle d'un Job Talend. |
Scénarios pour les composants ESB SOAP
- Effectuer une requête sur des noms d'aéroport à partir des codes pays
- Retourner une réponse Hello world
- Envoyer un message via un service sans attente de réponse
- Utilisation du composant tESBConsumer pour récupérer une adresse e-mail valide
- Utilisation du tESBConsumer avec des en-têtes SOAP personnalisés
Exasol
Composants Exasol
tEXABulkExec | Ce composant importe rapidement des données dans une table de base de données Exasol, à l'aide de la commande IMPORT fournie par la base de données Exasol. |
tEXAClose | Ce composant ferme une connexion active à une instruction de base de données Exasol pour libérer les ressources utilisées. |
tEXACommit | Ce composant valide les données traitées dans le Job dans la base de données Exasol. |
tEXAConnection | Ce composant ouvre une connexion à une instance de la base de données Exasol pouvant être réutilisée par d'autres composants Exasol. |
tEXAInput | Ce composant récupère des données d'une base de données Exasol, à l'aide d'une requête, en respectant un ordre défini correspondant à la définition du schéma, puis les passe au composant suivant. |
tEXAOutput | Ce composant écrit, met à jour, modifie ou supprime des données dans une base de données Exasol en exécutant l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tEXARollback | Ce composant annule un commit de transaction sur la base de données Exasol connectée. |
tEXARow | Ce composant exécute des requêtes SQL sur une base de données Exasol. |
Scénario Exasol
Excel
Composants Excel
tFileInputExcel | Ce composant lit un fichier Excel ligne par ligne pour le scinder en champs et envoie les champs comme défini dans le schéma au composant suivant. |
tFileOutputExcel | Ce composant écrit un fichier MS Excel avec des valeurs de données séparées, en fonction du schéma défini. |
Scénario Excel
EXist
Composants EXist
tEXistConnection (déprécié) | Ce composant ouvre une connexion à une base de données eXist afin d'effectuer une transaction. |
tEXistDelete (déprécié) | Ce composant supprime des ressources spécifiées d'une base de données eXist distante. |
tEXistGet (déprécié) | Ce composant récupère les ressources sélectionnées d'une base de données eXist distante et les met dans un répertoire local spécifié. |
tEXistList (déprécié) | Ce composant liste les ressources stockées dans une base de données eXist distante. |
tEXistPut (déprécié) | Ce composant charge des fichiers spécifiés d'un répertoire local défini dans une base de données eXist distante. |
tEXistXQuery (déprécié) | Ce composant interroge des fichiers XML situés dans des bases de données distantes à l'aide de fichiers locaux contenant des requêtes XPath et écrit les résultats en sortie dans un fichier XML stocké localement. |
tEXistXUpdate (déprécié) | Ce composant traite des enregistrements XML et met à jour les enregistrements existants sur le serveur de base de données. |
Scénario pour les composants EXist
Firebird
Composants Firebird
tFirebirdClose | Ce composant permet de fermer une connexion à la base de données Firebird. |
tFirebirdCommit | Ce composant commite une transaction globale au lieu de commiter chaque ligne ou chaque lot de ligne et permet un gain de performance. |
tFirebirdConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tFirebirdInput | Ce composant exécute une requête en base de données sur une base Firebird selon un ordre strict qui doit correspondre à celui défini dans le schéma. La liste des champs récupérée est ensuite transmise au composant suivant via une connexion de flux (Main row). |
tFirebirdOutput | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table d'une base de données Firebird, en fonction du flux entrant provenant du composant précédent. |
tFirebirdRollback | Ce composant annule la transaction commitée dans la base de données Firebird connectée. |
tFirebirdRow | Ce composant exécute la requête SQL déclarée sur la base de données Firebird spécifiée. |
Flume
Composants Flume
tFlumeInput | Ce composant agit comme une interface permettant d'intégrer Flume et les Jobs Spark Streaming développés dans le Studio afin de lire en continu des données d'un agent Flume. |
tFlumeOutput | Ce composant agit comme une interface permettant d'intégrer Flume et les Jobs Spark Streaming développés dans le Studio afin d'envoyer des données en continu à un agent Flume. |
FTP
Composants FTP
tFTPClose | Ce composant ferme une connexion active à un FTP afin de libérer les ressources occupées. |
tFTPConnection | Ce composant ouvre une connexion FTP afin d'effectuer des transferts de fichiers en une seule transaction. |
tFTPDelete | Ce composant supprime des fichiers ou dossiers d'un répertoire spécifié sur un serveur FTP. |
tFTPFileExist | Ce composant vérifie la présence d'un fichier ou d'un répertoire sur le serveur FTP. |
tFTPFileList | Ce composant liste tous les fichiers et dossiers directement dans un répertoire spécifié, en se basant sur un modèle de masque de fichier. |
tFTPFileProperties | Ce composant récupère les propriétés d'un fichier spécifié sur un serveur FTP. |
tFTPGet | Télécharge des fichiers dans un répertoire local depuis un répertoire FTP. |
tFTPPut | Charge des fichiers d'un répertoire local vers un répertoire FTP. |
tFTPRename | Ce composant renomme des fichiers dans un répertoire FTP. |
tFTPTruncate | Ce composant tronque des fichiers dans un répertoire FTP. |
Scénarios pour les composants FTP
FullRow
Composants FullRow
tFileStreamInputFullRow | Ce composant lit ligne par ligne les données d'un nouveau fichier et envoie des lignes entières en un seul champ au composant suivant dans le Job, à l'aide d'un lien Row > Main. |
tFileInputFullRow | Ce composant lit un fichier ligne par ligne et envoie les lignes de données complètes au composant suivant comme défini dans le schéma, via une connexion de type Row. |
Scénario pour les composants FullRow
Variable globale
Composants de variables globales
tGlobalVarLoad | Ce composant configure des variables à l'aide de données entrantes, afin de pouvoir réutiliser dynamiquement les données dans les autres sous-Jobs. |
tSetGlobalVar | Ce composant simplifie le processus de définition des variables globales. |
Scénarios pour les composants de variables globales
Google BigQuery
Composants Google BigQuery
tBigQueryConfiguration | Ce composant fournit la configuration de la connexion à Google BigQuery et Google Cloud Storage pour un Job Spark. |
tBigQueryBulkExec | Ce composant transfère des données dans Google BigQuery. |
tBigQueryInput | Ce composant effectue les requête supportées par Google BigQuery. |
tBigQueryOutput | Ce composant transfère les données fournies par le composant précédent dans Google BigQuery. |
tBigQueryOutputBulk | Ce composant crée un fichier .txt ou .csv pour des données volumineuses, afin que vous puissiez le traiter selon vos besoins, avant de le transférer dans Google BigQuery. |
tBigQuerySQLRow | Se connecte à Google BigQuery et effectue des requêtes afin de sélectionner des données depuis des tables ligne par ligne ou crée ou supprime des tables dans Google BigQuery. |
Scénarios pour les composants Google BigQuery
Google Dataproc
Composant Google Dataproc
tGoogleDataprocManage | Ce composant crée ou supprime un cluster Dataproc de la région Global dans Google Cloud Platform. |
Google Drive
Composants Google Drive
tGoogleDriveConnection | Ce composant ouvre une connexion à Google Drive pouvant être réutilisée par d'autres composants Google Drive. |
tGoogleDriveCopy | Ce composant crée une copie d'un fichier/dossier dans Google Drive. |
tGoogleDriveCreate | Ce composant crée un nouveau dossier dans Google Drive. |
tGoogleDriveDelete | Ce composant supprime un fichier ou un dossier dans Google Drive. |
tGoogleDriveGet | Ce composant récupère le contenu d'un fichier et télécharge le fichier dans un répertoire local. |
tGoogleDriveList | Liste tous les fichiers ou dossiers, ou les fichiers et les dossiers d'un dossier Google Drive spécifié, dans le domaine, y compris le disque partagé Shared Drive et le disque personnel My Drive, ainsi que tous les disques partagés. |
tGoogleDrivePut | Ce composant charge des données d'un flux de données ou d'un fichier local, dans Google Drive. |
Scénario pour les composants Google Drive
Google PubSub
Composants Google PubSub
tPubSubInput | Ce composant se connecte au service Google Cloud PubSub qui transmet les messages aux composants exécutant les transformations sur ces messages. |
tPubSubInputAvro | Ce composant se connecte à Google Cloud Pub/Sub pour recevoir les messages au format Avro pour les composants exécutant des transformations sur ces messages. |
tPubSubOutput | Ce composant reçoit des messages sérialisés en tableaux d'octets via le composant précédent et écrit ces messages dans un service PubSub donné. |
GPG
Composant GPG
tGPGDecrypt | Ce composant appelle la commande gpg -d afin de décrypter un fichier crypté GnuPG et sauvegarde le fichier décrypté dans le répertoire spécifié. |
Scénario pour le composant GPG
Greenplum
Composants Greenplum
tGreenplumBulkExec | Ce composant améliore les performances pendant les opérations d'Insert dans une base de données Greenplum. |
tGreenplumClose | Ce composant ferme une connexion à la base de données Greenplum. |
un tGreenplumCommit, | Ce composant commite une transaction globale en une fois au lieu de commiter chaque ligne ou chaque lot de lignes et permet donc un gain de performance. |
un tGreenplumConnection, | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tGreenplumGPLoad | Ce composant permet de charger en masse des données dans une table Greenplum soit à partir d'un fichier de données existant, soit à partir d'un flux de données en mode streaming, soit à partir d'un tube nommé. |
un tGreenplumInput, | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tGreenplumOutput | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tGreenplumOutputBulk | Prépare le fichier à utiliser comme paramètre dans la requête INSERT servant à alimenter une base de données Greenplum. |
tGreenplumOutputBulkExec | Ce composant est un composant dédié qui permet un gain de performance pendant les opérations d'Insert dans une base de données Greenplum. |
tGreenplumRollback | Ce composant évite le commit de transaction involontaire. |
tGreenplumRow | Selon la nature de la requête et de la base de données, ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
Groovy
Composants Groovy
tGroovy | Le composant tGroovy élargit la fonctionnalité si le Job utilise le langage Groovy, qui est une syntaxe Java simplifiée. |
tGroovyFile | Ce composant permet d'étendre les fonctionnalités des Jobs grâce au langage Groovy, qui est une syntaxe simplifiée du Java. |
Scénario pour les composants Groovy
GS
Composants GS
tGoogleCloudConfiguration | Ce composant fournit la configuration de la connexion à Google Cloud Platform pour un Job Spark. |
tGSConfiguration | Ce composant fournit la configuration de la connexion à Google Cloud Storage pour un Job Spark. |
tGSBucketCreate | Ce composant permet de créer un bucket que vous pouvez utiliser afin d'organiser des données et contrôler les accès aux données dans Google Cloud Storage. |
tGSBucketDelete | Ce composant supprime un bucket vide dans Google Cloud Storage afin de libérer des ressources occupées. |
tGSBucketExist | Ce composant vérifie l'existence d'un bucket dans Google Cloud Storage afin d'effectuer plus d'opérations. |
tGSBucketList | Ce composant récupère une liste des buckets de tous les projets ou d'un projet spécifique dans Google Cloud Storage. |
tGSClose | Ce composant ferme une connexion active sur Google Cloud Storage afin de libérer les ressources occupées. |
tGSConnection | Ce composant fournit les informations d'authentification nécessaires pour effectuer des requêtes sur le système Google Cloud Storage et permet de réutiliser la connexion créée pour Google Cloud Storage. |
tGSCopy | Ce composant copie ou déplace des objets au sein d'un bucket ou entre plusieurs buckets dans Google Cloud Storage. |
tGSDelete | Ce composant supprime les objets qui correspondent aux critères définis dans Google Cloud Storage afin de libérer des ressources occupées. |
tGSGet | Ce composant récupère les objets qui correspondent aux critères définis dans Google Cloud Storage et les envoie vers un dossier local. |
tGSList | Ce composant récupère, un à un, une liste d'objets depuis Google Cloud Storage. |
tGSPut | Ce composant met un fichier d'un dossier local dans Google Cloud Storage afin que vous puissiez les gérer avec Google Cloud Storage. |
Scénario GS
HBase
Composants HBase
tHBaseConfiguration | Ce composant permet la réutilisation de la configuration d'une connexion à HBase au sein d'un même Job. |
tHBaseLookupInput | Ce composant fournit des données de lookup au flux principal d'un Job de mise en flux. |
tHBaseClose | Ce composant ferme une connexion à HBase établie dans un Job. |
tHBaseConnection | Ce composant établit une connexion HBase à réutiliser dans d'autres composants HBase de votre Job. |
pour le tHBaseInput | Ce composant lit des données d'une base de données HBase et extrait les colonnes sélectionnées. |
pour le tHBaseOutput | Ce composant écrit des colonnes de données dans une base de données HBase. |
Scénario pour les composants HBase
HCatalog
Composants HCatalog
tHCatalogInput | Ce composant lit des données d'une base de données Hive spécifiée gérée par HCatalog et envoie les données au composant suivant. |
tHCatalogLoad | Ce composant lit des données directement de HDFS et écrit ces données dans une table établie gérée par HCatalog. |
tHCatalogOperation | Ce composant prépare la base de données/table/partition gérée par HCatalog à traiter. |
tHCatalogOutput | Ce composant reçoit des données du flux d'entrée et les écrit dans une table gérée par HCatalog. |
Scénario pour les composants HCatalog
HDFS
Composants HDFS
tHDFSConfiguration | Ce composant permet la réutilisation de la configuration de la connexion à HDFS au sein du même Job. |
tHDFSCompare | Ce composant compare deux fichiers dans HDFS et, selon le schéma en lecture seule, génère une ligne de flux présentant les informations de comparaison. |
tHDFSConnection | Ce composant se connecte à un HDFS donné afin que d'autres composants Hadoop puissent réutiliser la connexion créée pour communiquer avec HDFS. |
tHDFSCopy | Ce composant copie un fichier ou dossier source vers un répertoire cible de HDFS et supprime la source si nécessaire. |
tHDFSDelete | Ce composant supprime un fichier situé dans un système de fichiers distribué Hadoop (HDFS). |
tHDFSExist | Ce composant vérifie l'existence d'un fichier dans un répertoire donné dans HDFS. |
tHDFSGet | Ce composant copie des fichiers d'un système de fichiers distribué Hadoop (HDFS) et les colle dans un répertoire défini par l'utilisateur ou l'utilisatrice. |
tHDFSInput | Ce composant extrait les données d'un fichier HDFS afin que d'autres composants puissent les traiter. |
tHDFSList | Le tHDFSList récupère une liste de fichiers ou dossiers à partir d'un masque de fichier et effectue une boucle sur chaque unité. |
tHDFSOutput | Ce composant écrit les flux de données qu'il reçoit dans un système de fichiers distribués Hadoop donné (HDFS). |
tHDFSOutputRaw | Ce composant transmet des données de différents formats, comme des données hiérarchiques, dans une colonne, dans un système de fichiers HDFS donné. |
tHDFSProperties | Ce composant permet de créer un flux d'une ligne affichant les propriétés d'un fichier traité dans HDFS. |
tHDFSPut | Ce composant se connecte au système de fichiers distribués Hadoop pour charger de gros fichiers avec une performance optimisée. |
tHDFSRename | Ce composant renomme le(s) fichier(s) ou répertoire(s) sélectionné(s) dans HDFS. |
tHDFSRowCount | Ce composant lit un fichier dans HDFS ligne par ligne afin de déterminer le nombre de lignes qu'il contient. |
Scénarios pour les composants HDFS
Hive
Composants Hive
tHiveClose | Ce composant ferme une connexion à la base de données Hive. |
tHiveConfiguration | Ce composant permet de réutiliser la configuration d'une connexion à Hive au sein d'un même Job. |
tHiveConnection | Ce composant établit une connexion Hive à réutiliser dans d'autres composants Hive de votre Job. |
tHiveCreateTable | Ce composant crée des tables Hive convenant à un grand nombre de formats de données Hive. |
tHiveInput | Ce composant extrait des données de Hive et les envoie au composant qui suit. |
tHiveLoad | Ce composant écrit des données de différents formats dans une table Hive donnée ou pour exporter des données d'une table Hive vers un répertoire. |
tHiveOutput | Ce composant se connecte à une base de données Hive et écrit les données qu'il reçoit dans une table Hive ou dans un répertoire spécifié. |
tHiveRow | Selon la nature de la requête et de la base de données, ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
tHiveWarehouseConfiguration | Ce composant permet la réutilisation de la configuration de connexion Hive Warehouse Connector vers Hive dans le même Job. |
tHiveWarehouseInput | Ce composant extrait des données de Hive et envoie les données au composant suivant à l'aide de Hive Warehouse Connector. |
tHiveWarehouseOutput | Ce composant se connecte à une base de données Hive et écrit les données qu'il reçoit dans une table Hive ou dans un répertoire HDFS, à l'aide de Hive Warehouse Connector. |
Scénarios pour les composants Hive
HSQLDB
Composants HSQLDB
tHSQLDbInput | Ce composant exécute une requête de base de données dans un ordre strictement défini devant correspondre à la définition du schéma. Il passe ensuite la liste des champs au composant suivant à l'aide d'un lien Main row. |
tHSQLDbOutput | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tHSQLDbRow | Selon la nature de la requête et de la base de données, ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
HTTP
Composant HTTP
tHttpRequest | Envoie des requêtes HTTP au serveur et d'écrire les réponses localement. |
Scénarios pour le composant HTTP
Impala
Composants Impala
tImpalaClose | Ce composant ferme une connexion à une base de données Impala. |
tImpalaConnection | Ce composant établit une connexion à Impala à réutiliser dans les autres composants Impala de votre Job. |
tImpalaCreateTable | Ce composant crée des tables Impala correspondant à différents formats de données Impala. |
tImpalaInput | Exécute les requêtes SELECT pour extraire les données correspondantes et les envoyer au composant qui suit. |
tImpalaLoad | Ecrit des données de différents formats dans une table Impala donnée ou pour exporter des données d'une table Impala vers un répertoire. |
tImpalaOutput | Exécute l'action définie sur les données contenues dans la table, à partir du flux provenant du composant précédent dans le Job. |
tImpalaRow | Agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
Informix
Composants Informix
tInformixBulkExec | Exécute des opérations d'Insert dans une base de données Informix. |
tInformixClose | ferme une connexion à la base de données Informix. |
tInformixCommit | Commite en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes. |
tInformixConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tInformixInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tInformixOutput | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tInformixOutputBulk | Prépare le fichier à utiliser comme paramètre dans la requête INSERT servant à alimenter une base de données Informix. |
tInformixOutputBulkExec | Effectue des opérations d'Insert sur les données fournies dans une base de données Informix. |
tInformixRollback | Evite le commit de transaction involontaire en annulant la transaction dans une base de données connectée. |
tInformixRow | Agit sur la structure même de la base de données ou sur les données (mais sans les manipuler) grâce au SQLBuilder qui aide à écrire les requêtes. |
tInformixSP | Centralise et appelle des requêtes multiples ou complexes dans une base de données. |
Ingres
Composants Ingres
tIngresBulkExec (déprécié) | Ce composant insère des données en masse dans une table du SGBD Ingres afin d'optimiser les performances. |
tIngresClose (déprécié) | Ferme la connexion à une base de données Ingres connectée. |
tIngresCommit (déprécié) | Ce composant commite en une fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, ce qui permet un gain de performance. |
tIngresConnection (déprécié) | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tIngresInput (déprécié) | Lit une base de données Ingres et en extrait des champs à l'aide de requêtes. |
tIngresOutput (déprécié) | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tIngresOutputBulk (déprécié) | Ce composant prépare le fichier dont les données sont insérées en masse dans le SGBD Ingres afin d'optimiser les performances. |
tIngresOutputBulkExec (déprécié) | Ce composant insère des données en masse dans une table du SGBD Ingres afin d'optimiser les performances. |
tIngresRollback (déprécié) | Évite le commit de transaction involontaire en annulant la transaction dans une base de données connectée. |
tIngresRow (déprécié) | Ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler) en utilisant le SQLBuilder pour écrire rapidement et aisément vos requêtes. |
Scénario pour les composants Ingres
Interbase
Composants Interbase
tInterbaseClose (déprécié) | Ce composant ferme la connexion à une base de données Interbase connectée. |
tInterbaseCommit (déprécié) | Ce composant commite en une fois une transaction globale au lieu de commiter ligne par ligne ou lot par lot, vous permettant ainsi d'améliorer les performances. |
tInterbaseConnection (déprécié) | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tInterbaseInput (déprécié) | Ce composant lit une base de données Interbase et en extrait des champs à l'aide de requêtes. |
tInterbaseOutput (déprécié) | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tInterbaseRollback (déprécié) | Évite le commit de transaction involontaire en annulant la transaction dans une base de données Interbase connectée. |
tInterbaseRow (déprécié) | Agit sur la structure même de la base de données ou sur les données (mais sans les manipuler) en utilisant SQLBuilder écrire rapidement et aisément vos requêtes. |
Internet (Intégration)
Composant Internet (Intégration)
tFileFetch | Ce composant récupère un fichier via un protocole donné (HTTP, HTTPS, FTP ou SMB). |
Scénarios pour le composant Internet (Intégration)
Jasper
Composants Jasper
tJasperOutput | Ce composant crée un rapport dans des formats divers en utilisant l'outil iReport de Jaspersoft. |
tJasperOutputExec | Ce composant crée un rapport dans des formats divers en utilisant l'outil iReport de Jaspersoft et permet un gain de performance, puisqu'il est la combinaison d'un composant d'entrée et du composant de sortie tJasperOutput. |
Scénario pour les composants Jasper
Code Java personnalisé pour Map Reduce
Code Java personnalisé pour les composants Map Reduce
tJavaMR | Ce composant fournit un éditeur qui permet de saisir du code MapReduce personnalisé afin de l'intégrer dans un programme Talend. |
Scénario pour code Java personnalisé pour Map Reduce
Code Java personnalisé pour Storm
Code Java personnalisé pour les composants Storm
tJavaStorm (déprécié) | Fournit un éditeur de code Java qui permet de saisir le code Storm personnalisé à utiliser dans le Topology Storm que vous créez. |
Scénario pour code Java personnalisé pour Storm
Code Java personnalisé
Composants de code Java personnalisé
tJava | Ce composant étend les fonctionnalités d'un Job Talend grâce à des commandes Java personnalisées. |
tJavaFlex | Ce composant fournit un éditeur de code Java qui permet de saisir du code personnalisé afin de l'intégrer dans un programme Talend. |
tJavaRow | Fournit un éditeur de code qui vous permet de saisir le code Java qui va être appliqué pour chaque ligne du flux. |
Scénarios pour code Java personnalisé
- Utilisation du tJavaFlex pour afficher le contenu d'un fichier à partir d'un schéma dynamique
- Utilisation du tJavaRow pour gérer le contenu d'un fichier à partir d'un schéma dynamique
- Vérification du format d'une adresse e-mail
- Génération d'un flux de données
- Impression du contenu d'une variable
- Traitement de lignes de données avec le tJavaFlex
- Rediriger la sortie standard vers un fichier pour le Job complet
- Transformer des données ligne par ligne avec un tJavaRow
JavaDB
Composants JavaDB
tJavaDBInput | Ce composant lit une base de données et extrait des champs en fonction d'une requête. |
tJavaDBOutput | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tJavaDBRow | Agit sur la structure même de la base de données ou sur les données (mais sans les manipuler) en utilisant SQLBuilder écrire rapidement et aisément vos requêtes. |
JBoss ESB
Composants JBoss ESB
tJBossESBInput | Ce composant récupère un message d'un serveur JBossESB afin de le traiter comme un flux pouvant être utilisé dans un Job Talend. |
tJBossESBOutput | Ce composant transforme les données utilisées dans un Job Talend en un message JBossESB. |
JDBC
Composants JDBC
tJDBCConfiguration | Stocke les informations de connexion et d'authentification, afin que les autres composants JDBC puissent les réutiliser. |
tJDBCLookupInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tJDBCClose | Ferme une connexion JDBC active afin de libérer des ressources occupées. |
tJDBCColumnList | Fait une liste des libellés des colonnes d'une table JDBC donnée. |
tJDBCCommit | Ce composant commite en une fois une transaction globale au lieu de commiter ligne par ligne ou lot par lot, vous permettant ainsi d'améliorer les performances. |
tJDBCConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tJDBCInput | Ce composant lit toute base de données via une API JDBC et en extrait des champs à l'aide de requêtes. |
tJDBCOutput | Exécute l'action définie sur les données contenues dans la table, à partir du flux provenant du composant précédent dans le Job. |
tJDBCRollback | Evite le commit de transaction involontaire en annulant la transaction d'une base de données connectée. |
tJDBCRow | Ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler) en utilisant le SQLBuilder pour écrire rapidement et aisément vos requêtes. |
tJDBCSP | Centralise des requêtes multiples ou complexes dans une base de données afin de les appeler plus facilement. |
tJDBCTableList | Ce composant liste les noms des tables JDBC à l'aide d'une instruction SELECT basée sur une clause WHERE. |
JIRA
Composants Jira
tJIRAInput | Récupère depuis JIRA des informations relatives à des tickets grâce à une requête JQL ou des informations relatives à un projet, en se basant sur un ID de projet spécifié. |
tJIRAOutput | Insère, met à jour ou supprime des informations de projets ou de tickets dans JIRA. |
Scénarios pour les composants JIRA
JMS
JMS components
tJMSInput | Ce composant crée une interface entre une application Java et un système Middleware orienté Message. |
tJMSOutput | Ce composant crée une interface entre une application Java et un système Middleware orienté Message. |
Scénario pour les composants JMS
JSON
Composants JSON
tFileStreamInputJSON | Ce composant extrait des données JSON d'un fichier, transfère ces données dans un fichier ou une table d'une base de données, par exemple. |
tFileInputJSON | Ce composant extrait des données JSON d'un fichier et transfère les données à un fichier, une table de base de données, etc. |
tFileOutputJSON | Ce composant reçoit des données et les réécrit dans un bloc de données structurées JSON, dans un fichier de sortie. |
Scénarios pour les composants JSON
Kafka
Composants Kafka
tKafkaInputAvro | Ce composant transmet au composant suivant dans le Job des messages au format Avro à traiter. |
tKafkaCommit | Ce composant sauvegarde l'état actuel du tKafkaInput auquel il est connecté. |
tKafkaConnection | Ce composant ouvre une connexion Kafka réutilisable. |
tKafkaCreateTopic | Le tKafkaCreateTopic crée un sujet Kafka que les autres composant Kafka peuvent utiliser. |
tKafkaInput | Ce composant transmet des messages à traiter aux composants qui suivent dans le Job que vous créez. |
tKafkaOutput | Ce composant publie des messages dans un système Kafka. |
Scénarios pour les composants Kafka
Kerberos
Composant Kerberos
tSetKerberosConfiguration | Ce composant configure informations d'authentification via Kerberos. |
KeyStore
Composant Keystore
tSetKeystore | Ce composant définit le type des données d'authentification entre PKCS 12 et JKS. |
Scénario pour le composant Keystore
Kinesis
Composants Kinesis
tKinesisInput | Ce composant joue le rôle d'un consommateur de flux Amazon Kinesis afin d'effectuer un Pull sur les messages du flux Kinesis. |
tKinesisInputAvro | Ce composant joue le rôle d'un consommateur de flux Amazon Kinesis afin d'effectuer un Pull sur les messages du flux Kinesis. |
tKinesisOutput | Ce composant joue le rôle d'un producteur de données pour mettre les données dans un flux Amazon Kinesis pour une for real-time ingestion. |
Scénario pour les composants Kinesis
Kudu
Composants Kudu
tKuduConfiguration | Ce composant permet de réutiliser la configuration de la connexion à Cloudera Kudu au sein d'un même Job. |
tKuduInput | Ce composant récupère des données d'une table Cloudera Kudu et les envoie au composant suivant, pour transformation. |
tKuduOutput | Ce composant crée, met à jour ou supprime des données dans une table Cloudera Kudu. |
Scénario pour les composants Kudu
LDAP
Composants LDAP
tLDAPAttributesInput | Ce composant analyse chaque élément trouvé via une requête LDAP et liste une série d'attributs associés à l'objet. |
tLDAPClose | Ce composant ferme une connexion à un serveur d'un annuaire LDAP afin de libérer des ressources occupées. |
tLDAPConnection | Ce composant crée une connexion au serveur d'un annuaire LDAP. |
tLDAPInput | Ce composant exécute une requête LDAP basée sur un filtre prédéfini et correspondant au schéma défini. La liste des champs récupérée est ensuite transmise au composant suivant via une connexion de flux Row > Main. |
tLDAPOutput | Ce composant exécute une requête LDAP basée sur un filtre prédéfini et correspondant au schéma défini. La liste des champs récupérée est ensuite transmise au composant suivant via une connexion de flux Row > Main. |
tLDAPRenameEntry | Ce composant renomme une ou des entrée(s) dans un annuaire LDAP sélectionné. |
Scénarios pour les composants LDAP
LDIF
Composants LDIF
tFileInputLDIF | Ce composant lit un fichier LDIF ligne par ligne afin de le diviser en champs et envoie les champs comme défini, au composant suivant, via une connexion de type Row. |
tFileOutputLDIF | Ce composant écrit ou modifie un fichier LDIF avec des données séparées en différentes entrées selon le schéma défini, ou supprime le contenu d'un fichier LDIF. |
Scénario pour les composants LDIF
Import de bibliothèque
Composant d'import de bibliothèque
tLibraryLoad | Ce composant charge des librairies Java utilisables dans un Job. |
Scénario d'import de bibliothèque
Logs et erreurs (Logs and errors) (Intégration)
Composants de logs et erreurs (Logs and errors) (Intégration)
tAssert | Ce composant génère l'évaluation booléenne relative au statut d'exécution du Job et fournit les messages de statut du Job au tAssertCatcher. |
tAssertCatcher | Ce composant génère un flux de données consolidant les informations de statut d'une exécution de Job et transfère les données dans les fichiers de sortie définis. |
tChronometerStart | Ce composant fonctionne comme un chronomètre : le composant commence à calculer soit le temps de traitement d'un ou plusieurs sous-Jobs du Job principal, soit le temps de traitement d'une partie d'un sous-Job. |
tChronometerStop | Ce composant fonctionne comme un chronomètre : il arrête le calcul du temps de traitement soit d'un ou de plusieurs sous-Jobs dans le Job principal, soit d'une partie d'un sous-Job. tChronometerStop affiche le temps d'exécution total. |
tDie | Ce composant déclenche le composant tLogCatcher afin de collecter des données de log exhaustives avant de tuer le Job. |
tFlowMeter | Ce composant compte le nombre de lignes traitées dans le flux défini, afin de récupérer ce nombre dans le tFlowMeterCatcher à des fins de log. |
tFlowMeterCatcher | Ce composant fonctionne comme une fonction de log déclenchée par l'utilisation du composant tFlowMeter dans le Job. |
tLogCatcher | Ce composant opère comme une fonction de log déclenchée par un des trois éléments suivants : Java exception, tDie ou tWarn, pour collecter et transférer les données de log. |
tLogRow | Ce composant affiche les données ou les résultats dans la console de la vue Run afin de monitorer les données traitées. |
tStatCatcher | Ce composant regroupe les métadonnées du Job en cours d'exécution, ainsi que les métadonnées de chaque composant de ce Job. |
tWarn | Ce composant déclenche un avertissement souvent pris comme données de log exhaustives par le composant tLogCatcher. |
Scénarios pour les composants de logs et erreurs (Logs and errors) (Intégration)
- Mesure d'un flux d'un Job
- Capturer les messages déclenchés par un composant tWarn
- Capture du message déclenché par un composant tDie
- Affichage de statistiques d'exécution du Job
- Mesurer la durée de traitement d'un sous-Job ou d'une partie d'un sous-Job
- Configuration d'une condition assertive pour l'exécution d'un Job
- Obtention du statut des commandes d'un produit (quotidiennement) par rapport à un nombre fixe
Apprentissage automatique (Machine learning)
Composants d'apprentissage automatique (Machine Learning)
tALSModel | Ce composant génère une matrice produit-note utilisateur·rice associée, selon des données interactives utilisateur·rice-produit. |
tClassify | Ce composant se base sur le modèle de classification généré par un composant d'apprentissage de modèle et prédit à quelle classe appartient un élément. |
tClassifySVM | Ce composant se base sur le modèle de classification généré par le composant tSVMModel et prédit à quelle classe appartient un élément. |
tDecisionTreeModel | Ce composant analyse des vecteurs de caractéristiques habituellement préparés et fournis par le tModelEncoder afin de générer un modèle de classification utilisé par le tPredict pour classifier des éléments donnés. |
tGradientBoostedTreeModel | Ce composant analyse des vecteurs de caractéristiques habituellement préparés et fournis par le tModelEncoder afin de générer un modèle de classification utilisé par le tPredict pour classifier des éléments donnés. |
tKMeansModel | Ce composant analyse des ensembles de données entrants en appliquant l'algorithme K-Means. |
tKMeansStrModel | Ce composant analyse des ensembles de données entrants en quasi temps réel, en appliquant l'algorithme K-Means. |
tLinearRegressionModel | Ce composant construit un modèle de régression linéaire à l'aide d'un jeu de données d'apprentissage. |
tLogisticRegressionModel | Ce composant analyse des vecteurs de caractéristiques généralement pré-traités par le tModelEncoder afin de générer un modèle de classification utilisé par le tPredict pour classifier des éléments donnés. |
tMahoutClustering (déprécié) | Ce composant regroupe des données numériques n'ayant pas de libellé dans des clusters, ce qui permet de révéler des modèles ou d'identifier des éléments de données anormaux au sein des ensembles de données. |
tModelEncoder | Ce composant effectue des opérations de pré-traitement des données pour les transformer au format attendu par les composants d'apprentissage de modèles comme le tLogisticRegressionModel ou le tKMeansModel. |
tNaiveBayesModel | Ce composant génère un modèle de classification utilisé par le tPredict pour classifier des éléments donnés. |
tPredict | Ce composant prédit la situation d'un élément. |
tPredictCluster | Ce composant prédit le cluster d'un élément. |
tRandomForestModel | Ce composant analyse des vecteurs de caractéristiques. |
tRecommend | Ce composant recommande des produits aux utilisateurs et utilisatrices connu·e·s par ce modèle, selon le modèle de recommandation utilisateur·rice-produit généré par le tASLModel. |
tSVMModel | Ce composant génère un modèle de classification basé sur SVM qui peut être utilisé par le tPredict pour classifier des éléments donnés. |
Scénarios pour les composants d'apprentissage automatique (Machine Learning)
Composants d'e-mails
tFileInputMail | Ce composant lit les données clés standard d'un fichier e-mail MIME ou MSG défini. |
tSendMail | Ce composant indique aux destinataires un état particulier d'un Job ou de possibles erreurs. |
Scénarios relatifs aux e-mails
MapRDB
MapRDB components
tMapRDBConfiguration | Ce composant stocke les informations de connexion et d'authentification réutilisables par les autres composants MapRDB. |
tMapRDBLookupInput | Ce composant fournit des données de lookup au flux principal d'un Job de mise en flux. |
tMapRDBClose | Ce composant ferme une connexion à MapRDB que vous avez définie dans un même Job. |
tMapRDBConnection | Ce composant établit une connexion à MapRDB à réutiliser dans d'autres composants MapRDB au sein du Job. |
tMapRDBInput | Ce composant lit les données d'une base de données MapRDB avant d'extraire les colonnes sélectionnées. |
tMapRDBOutput | Ce composant écrit les colonnes de données dans une base de données MapRDB. |
tMapROjaiInput | Ce composant lit des documents d'une base de données MapR-DB afin de charger les données dans un Job donné. |
tMapROjaiOutput | Ce composant insère, met à jour ou supprime des documents dans une base de données MapR-DB utilisée en tant que base de données de documents, en se basant sur le flux entrant du composant précédent dans le Job. |
Scénario pour les composants MapRDB
MapRStreams
Composants MapRStreams
tMapRStreamsInputAvro | Ce composant transmet des messages au format Avro au Job exécutant des transformations sur ces messages. Ce composant supporte uniquement les versions 5.2 et suivantes de MapR. |
tMapRStreamsCommit | Ce composant se connecte à un tMapRStreamsInput donné pour effectuer un commit d'un offset consommateur. |
tMapRStreamsConnection | Ce composant ouvre une connexion réutilisable à un cluster MapR Streams donné, afin que les autres composants MapR Streams puissent réutiliser cette connexion. |
tMapRStreamsCreateStream | Ce composant crée un flux ou un topic MapR Streams que les autres composants MapR Streams peuvent utiliser. |
tMapRStreamsInput | Ce composant transmet des messages au Job exécutant des transformations sur ces messages. Ce composant supporte uniquement les versions 5.2 et suivantes de MapR. |
tMapRStreamsOutput | Ce composant publie des messages dans un système MapR Streams donné. Ce composant supporte uniquement les versions 5.2 et suivantes de MapR. |
Marketo
Composants Marketo
tMarketoBulkExec | Ce composant importe des prospects ou des objets personnalisés dans Marketo à partir d'un fichier local, en mode REST API. |
tMarketoCampaign | Ce composant récupère les modifications relatives aux enregistrements, activités et modifications de campagnes à partir de Marketo. |
tMarketoConnection | Ce composant ouvre une connexion à Marketo qui peut ensuite être réutilisée par d'autres composants Marketo. |
tMarketoInput | Ce composant récupère des enregistrements de prospects, l'historique des activités, les modifications de prospects et les données liées aux objets personnalisés de Marketo. |
tMarketoListOperation | Ce composant ajoute ou supprime un ou plusieurs prospect(s) dans une liste dans Marketo. Il vous permet également de vérifier l'existence d'un ou plusieurs prospect(s) dans cette liste. |
tMarketoOutput | Ce composant écrit des enregistrements de prospects ou des enregistrements d'objets personnalisés à partir du flux de données entrant dans Marketo. |
Scénarios pour les composants Marketo
MarkLogic
Composants MarkLogic
tMarkLogicBulkLoad | Ce composant importe des fichiers locaux sur un serveur d'une base de données MarkLogic en mode bulk, à l'aide de l'outil MarkLogic Content Pump (MLCP). |
tMarkLogicClose | Ce composant ferme une connexion active à une base de données MarkLogic afin de libérer des ressources occupées. |
tMarkLogicConnection | Ce composant ouvre une connexion à une base de données MarkLogic pouvant être réutilisée par d'autres composants MarkLogic. |
tMarkLogicInput | Ce composant recherche le contenu d'un document dans une base de données MarkLogic en se basant sur une requête. |
tMarkLogicOutput | Ce composant crée, met à jour ou supprime des contenus de documents dans une base de données MarkLogic. |
MaxDB
Composants MaxDB
tMaxDBInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tMaxDBOutput | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tMaxDBRow | Selon la nature de la requête et de la base de données, ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
MDM (Master Data Management)
Connexion et transaction MDM
Composants de connexion et transaction MDM
tMDMClose | Ce composant ferme un connexion ouverte au serveur MDM après l'exécution du traitement du sous-Job. |
tMDMCommit | Ce composant commite toutes les modifications apportées à une base de données dans le cadre d'une transaction dans MDM. |
tMDMConnection | Ce composant ouvre une connexion au serveur MDM afin d'en permettre la réutilisation dans le Job ou la transaction en cours. |
tMDMRollback | Ce composant annule les modifications effectuées dans la base de données et ne les commite pas définitivement, notamment pour éviter les commits partiels si une erreur survient. |
Traitement de données MDM
Composants de traitement de données MDM
tMDMBulkLoad | Ce composant utilise le mode bulk pour écrire en masse des données maître structurées XML dans le serveur MDM. |
tMDMDelete | Ce composant supprime des enregistrements de données maître d'entités spécifiques du hub MDM. |
tMDMInput | Ce composant lit les données dans un hub MDM et rend possible le traitement de ces données. |
tMDMOutput | Ce composant écrit ou supprime des données sur le serveur MDM. |
tMDMRestInput | Ce composant lit des données du hub MDM via l'API REST pour traitement. |
tMDMSP | Ce composant centralise des requêtes multiples ou complexes dans un hub MDM et appelle une procédure stockée. |
tMDMViewSearch | Ce composant récupère des enregistrements MDM d'un hub MDM en appliquant les filtres que vous avez créés dans une Vue spécifique et écrit les résultats dans une structure XML. |
Scénarios pour les composants de traitement de données MDM
- Supprimer des données maître d'un hub MDM
- Exécuter une procédure stockée à l'aide du tMDMSP
- Charger des enregistrements dans une entité métier
- Lecture de données d'un hub MDM via l'API REST
- Lire les données maître depuis un hub MDM
- Lire des données en préparation depuis MDM
- Supprimer partiellement des données maître du hub MDM
- Récupérer des enregistrements d'un hub MDM via une vue existante
- Écrire des données maître dans un hub MDM
- Écrire des données en préparation dans MDM
Traitement des événements MDM
Composants de traitement de événements MDM
tMDMReceive | Ce composant décode un paramètre de contexte comprenant des données MDM XML et les transforme en schéma plat. |
tMDMRouteRecord | Ce composant permet à l'Event Manager d'identifier les modifications apportées à vos données, pour que les actions corrélées puissent être déclenchées. |
tMDMTriggerInput | Ce composant lit un message XML (de type Document) envoyé par MDM et passe les informations au composant suivant. |
tMDMTriggerOutput | Ce composant reçoit un flux XML (de type Document) du composant précédent dans le Job. |
Scénarios pour les composants de traitement des événements MDM
MemSQL
Composants MemSQL
tMemSQLClose (déprécié) | Ce composant ferme une connexion commitée dans une base de données MemSQL. |
tMemSQLConnection (déprécié) | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tMemSQLInput (déprécié) | Ce composant exécute une requête de base de données selon un ordre strict qui doit correspondre à celui défini dans le schéma. |
tMemSQLOutput (déprécié) | Ce composant lit des données provenant du composant précédent dans le Job et exécute l'action définie sur une table d'une base de données MemSQL et/ou sur les données contenues dans la table. |
tMemSQLRow (déprécié) | Ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
Scénario MemSQL
Microsoft CRM
Composants Microsoft CRM
tMicrosoftCrmInput | Ce composant extrait les données d'une base de données Microsoft Dynamics CRM ou Microsoft Dynamics 365 CRM selon certaines conditions définies sur des colonnes spécifiques. |
tMicrosoftCrmOutput | Ce composant écrit des données dans une base de données Microsoft Dynamics CRM ou Microsoft Dynamics 365 CRM. |
Scénario Microsoft CRM
Microsoft MQ
Composants Microsoft MQ
tMicrosoftMQInput | Ce composant récupère le premier message d'une file d'attente de message Microsoft donnée (le composant supporte uniquement le type String). |
tMicrosoftMQOutput | Ce composant écrit une colonne définie d'un flux d'entrée de données dans une file d'attente de messages Microsoft (le composant supporte uniquement le type String). |
Scénario pour les composants Microsoft MQ
MOM
Composants MOM
tMomCommit | Ce composant commite des données sur le serveur MQ. |
tMomConnection | Ce composant ouvre une connexion vers un serveur MQ dans un but de communication. |
tMomInput | Ce composant récupère un message d'une file d'attente d'un système Middleware orienté Message (MOM) et le passe au composant suivant. |
tMomMessageIdList | Ce composant récupère la liste des ID des messages à partir de la file d'attente d'un système Middleware orienté Message et la passe au composant suivant. |
tMomOutput | Ce composant ajoute un message dans la file d'attente d'un système Middleware orienté message afin qu'il soit récupéré de manière asynchrone. |
tMomRollback | Ce composant annule la transaction commitée sur le serveur MQ. |
Scénarios MOM
Mondrian
Composant Mondrian
tMondrianInput (déprécié) | Ce composant exécute une requête d'expression multi-dimensionnelle (MDX) correspondant à la structure du groupe de données et au schéma défini. |
Scénario pour le composant Mondrian
MongoDB
Composants MongoDB
tMongoDBConfiguration | Ce composant stocke des informations de connexion et d'authentification pouvant être réutilisées par d'autres composants MongoDB. |
tMongoDBLookupInput | Ce composant exécute une requête de base de données dans un ordre strictement défini devant correspondre à celui du schéma défini. |
tMongoDBBulkLoad | Ce composant importe des fichiers de données dans différents formats (CSV, TSV ou JSON) dans la base de données MongoDB spécifiée, afin que les données puissent être traitées. |
tMongoDBClose | Ce composant ferme une connexion à la base de données MongoDB. |
tMongoDBConnection | Ce composant crée une connexion à une base de données MongoDB et permet de réutiliser cette connexion dans d'autres composants. |
tMongoDBGridFSDelete | Ce composant automatise la suppression de fichiers spécifiques dans le GridFS de MongoDB. |
tMongoDBGridFSGet | Ce composant se connecte à un système GridFS de MongoDB pour copier des fichiers depuis celui-ci. |
tMongoDBGridFSList | Ce composant récupère une liste de fichiers en fonction d'une requête. |
tMongoDBGridFSProperties | Ce composant récupère des informations concernant les propriétés de fichiers sélectionnés en fonction d'une requête. |
tMongoDBGridFSPut | Ce composant se connecte à un système GridFS de MongoDB pour y charger des fichiers. |
tMongoDBInput | Ce composant récupère des documents d'une collection, dans la base de données MongoDB et de les transférer au composant suivant, pour affichage ou stockage. |
tMongoDBOutput | Ce composant exécute une action définie sur une collection dans la base de données MongoDB. |
tMongoDBRow | Ce composant exécute les commandes et les fonctions de la base de données MongoDB. |
Scénarios pour les composants MongoDB
- Lire et écrire des données dans MongoDB à l'aide d'un Job Spark Streaming
- Écrire/lire des données de/dans MongoDB à l'aide d'un Job Spark Batch
- Créer une collection et y écrire des données
- Importer des données dans la base de données MongoDB
- Gestion de fichiers en utilisant le GridFS de MongoDB
- Récupérer des données d'une collection via des requêtes avancées
- Effectuer une opération d'upsert sur des enregistrements dans une collection
- Utiliser les fonctions MongoDB pour créer une collection et y écrire des données
MQTT
Composants MQTT
tMQTTInput | Ce composant joue le rôle d'un consommateur d'un sujet MQTT afin de mettre des messages en flux à partir de ce sujet. |
tMQTTOutput | Ce composant joue un rôle d'éditeur dans un sujet MQTT fin de mettre en flux les messages de ce sujet en temps réel. |
MS Delimited
Composants délimités MS
tFileInputMSDelimited | Ce composant lit les structures (schémas) de données d'un fichier délimité multi-structure et envoie les champs, comme défini dans les différents schémas aux composants suivants, à l'aide de liens Row. |
tFileOutputMSDelimited | Ce composant crée un fichier multi-structure complexe à l'aide de la structure des données (schémas) venant des différents flux d'entrée de type Row. |
Scénario pour les composants MS Delimited
MS Positional
Composants MS Positional
tFileInputMSPositional | Ce composant lit les structures de données (schémas) d'un fichier positionnel multi-structure et envoie les champs, comme défini dans les différents schémas, aux composants suivants, à l'aide de liens Row. |
tFileOutputMSPositional | Ce composant crée un fichier multi-structure complexe à l'aide de la structure des données (schémas) venant des différents flux d'entrée de type Row. |
Scénario pour les composants MS Positional
Connecteurs MS XML
Composants MS XML
tFileInputMSXML | Ce composant lit les structures de données (schémas) d'un fichier XML multi-structure et envoie les champs, comme défini dans les différents schémas, aux composant suivants, à l'aide de liens Row. |
tFileOutputMSXML | Ce composant crée un fichier XML multi-structure complexe à l'aide de la structure des données (schémas) venant des différents flux d'entrée de type Row. |
Scénario pour les composants MS XML
MSSql
Composants MSSql
tMSSqlBulkExec | Ce composant permet un gain de performance pendant les opérations d'Insert dans une base de données Microsoft SQL Server. |
tMSSqlClose | Ce composant ferme une connexion à la base de données MSSql. |
tMSSqlColumnList | Ce composant liste les noms des colonnes d'une table MS SQL donnée. |
tMSSqlCommit | Ce composant commite en une fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, ce qui permet un gain de performance. |
tMSSqlConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tMSSqlInput | Ce composant exécute une requête de base de données selon un ordre strict qui doit correspondre à celui défini dans le schéma. |
tMSSqlLastInsertId | Ce composant récupère les dernières clés primaires ajoutées par un utilisateur ou une utilisatrice à une table MSSql. |
tMSSqlOutput | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tMSSqlOutputBulk | Ce composant prépare le fichier à utiliser comme paramètre dans la requête INSERT servant à alimenter une base de données MSSQL. |
tMSSqlOutputBulkExec | Ce composant améliore les performances pendant les opérations d'Insert dans une base de données Microsoft SQL Server. |
tMSSqlRollback | Ce composant annule le commit de la transaction dans la base de données MS SQL connectée. |
tMSSqlRow | Agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
tMSSqlSP | Ce composant permet de centraliser des requêtes multiples ou complexes dans une base de données et de les appeler plus facilement. |
tMSSqlTableList | Ce composant liste les noms des tables MS SQL à l'aide d'une instruction SELECT se basant sur une clause WHERE. |
Scénarios pour les composants MSSql
MySQL
Composants MySQL
tMysqlConfiguration | Ce composant stocke des informations de connexion et d'authentification pouvant être réutilisées par d'autres composants MySQL. |
tMySQLInvalidRows | Ce composant vérifie les lignes d'une base de données par rapport à des modèles de qualité de données (expressions régulières) ou à des règles de qualité de données spécifiques (règles métier). |
tMysqlLookupInput | Ce composant lit une base de données MySQL et extrait des champs en se basant sur une requête. |
tMySQLValidRows | Ce composant vérifie les lignes d'une base de données par rapport à des modèles spécifiques de qualité de données (expressions régulières). |
tMysqlBulkExec | Ce composant améliore les performances pendant les opérations d'Insert dans une base de données MySQL ou Aurora. |
tMysqlClose | Ce composant ferme une connexion à la base de données Mysql connectée. |
tMysqlColumnList | Ce composant effectue une opération d'itération sur toutes les colonnes d'une table MySQL donnée et liste les noms des colonnes. |
tMysqlCommit | Ce composant commite en une fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, ce qui permet un gain de performance. |
tMysqlConnection | Ce composant ouvre une connexion à la base de données MySQL spécifiée afin de pouvoir la réutiliser dans le ou les sous-Job(s) suivant(s). |
tMysqlInput | Ce composant exécute une requête de base de données selon un ordre strict qui doit correspondre à celui défini dans le schéma. |
tMysqlLastInsertId | Ce composant récupère la valeur de la clé primaire du dernier enregistrement inséré dans une table MySQL par un utilisateur ou une utilisatrice. |
tMysqlOutput | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tMysqlOutputBulk | Ce composant écrit un fichier composé de colonnes et basé sur le séparateur défini et sur les standards MySQL et Aurora. |
tMysqlOutputBulkExec | Ce composant effectue une action d'Insert dans la base de données MySQL ou Aurora spécifiée. |
tMysqlRollback | Ce composant annule le commit de transaction dans une base de données MySQL connectée pour éviter le commit de transaction involontaire. |
tMysqlRow | Ce composant exécute la requête SQL sur la base de données MySQL spécifiée. |
tMysqlSP | Ce composant appelle une procédure stockée de base de données MySQL. |
tMysqlTableList | Ce composant liste les noms des tables MySQL d'un jeu de tables donné, à l'aide d'une instruction SELECT se basant sur une clause WHERE. |
Scénarios pour les composants MySQL
- Vérifier une table client par rapport une règle de qualité de données pour sélectionner les enregistrements clients
- Contrôler le langage de définition des données via un tMysqlOutput lors de la création d'une table
- Lire des adresses e-mail d'une table d'une base de données et récupérer des données spécifiques
- Mettre à jour une table de base de données à l'aide d'un tMysqlOutput dans un Job Big Data Streaming
- Écrire des colonnes dynamiques d'un fichier source vers une base de données
- Combiner deux flux pour une sortie sélective
- Récupérer les ID des dernières entrées ajoutées avec le tMysqlLastInsertId
- Insertion d'une colonne et modification de données en utilisant le tMysqlOutput
- Insertion de données en masse dans une base de données MySQL
- Insertion de données dans des tables parent/enfant
- Insertion de données transformées dans une base MySQL
- Opération d'itération sur des tables et suppression de son contenu grâce à un modèle SQL défini par l'utilisateur ou l'utilisatrice (SQL Template)
- Itération d'une table de base de données et création de la liste des noms des colonnes de la table
- Suppression et re-génération d'un index de table MySQL
- Récupération de données erronées à l'aide d'un lien Reject
- Partager une connexion de base de données entre un Job parent et un Job enfant
- Mises à jour sur des données via le tMysqlOutput
- Utilisation de l'instance PreparedStatement pour faire une requête sur des données
- Utilisation du tMysqlSP pour trouver le libellé State à l'aide d'une procédure stockée
- Écriture de colonnes d'une base de données MySQL dans un fichier de sortie en utilisant tMysqlInput
Tube nommé (NamedPipe)
Composants de tubes nommés (NamedPipe)
tNamedPipeClose | Ce composant ferme un tube nommé à la fin d'un processus. |
tNamedPipeOpen | Ce composant ouvre un tube nommé pour écrire des données à l'intérieur. |
tNamedPipeOutput | Ce composant écrit des données dans un tube nommé ouvert. |
Scénario pour les composants de tubes nommés (NamedPipe)
Natural Language Processing (Traitement automatique des langues)
Composants de traitement automatique du langage naturel (Natural Language Processing)
tCompareColumns | Ce composant compare deux colonnes afin de créer des caractéristiques utiles à la génération d'un modèle de classification. |
tNLPModel | Ce composant utilise des données d'entrée au format CoNLL et génère automatiquement des caractéristiques pour chaque terme individuel, avec pour objectif de créer un modèle destiné à être utilisé pour des tâches de classification comme la reconnaissance d'entités nommées. |
tNLPPredict | Ce composant utilise un modèle de classification généré par le tNLPModel afin de faire une prédiction et de libeller des données textuelles. |
tNLPPreprocessing | Ce composant prépare un échantillon de texte et le divise en tokens. Les tokens peuvent être des mots, des nombres ou des signes de ponctuation. |
Scénarios pour les composants de traitement automatique du langage naturel (Natural Language Processing)
Neo4j
Composants Neo4j
tNeo4jv4Close | Ce composant ferme une connexion à une base de données Neo4j version 4.x. |
tNeo4jv4Connection | Ce composant établit une connexion à une base de données Neo4j version 4.x pour usage ultérieur. |
tNeo4jv4Input | Ce composant lit des données d'une base de données Neo4j version 4.x et envoie des données dans le flux de sortie . |
tNeo4jv4Output | Ce composant reçoit des données du composant précédent et écrit ces données dans une base de données Neo4j version 4.x. |
tNeo4jv4Row | Ce composant exécute les requêtes Cypher sur la base de données Neo4j v4.x spécifiée. |
tNeo4jBatchOutput | Ce composant reçoit des données du composant précédent et écrit ces données dans une base de données Neo4j locale. |
tNeo4jBatchOutputRelationship | Ce composant reçoit des données du composant précédent et écrit en masse des relations dans une base de données Neo4j locale. |
tNeo4jBatchSchema | Ce composant définit le schéma d'une base de données Neo4j locale. |
tNeo4jClose | Ce composant ferme une connexion active à une base de données Neo4j en mode embarqué. |
tNeo4jConnection | Ce composant ouvre une connexion à une base de données Neo4j à réutiliser par d'autres composants Neo4j. |
tNeo4jImportTool | Ce composant utilise l'outil Neo4j Import Tool pour créer une base de données Neo4j et importer de grands volumes de données en masse depuis des fichiers CSV vers cette base de données. |
tNeo4jInput | Ce composant lit des données de Neo4j et les envoie dans un flux de sortie. |
tNeo4jOutput | Ce composant reçoit des données du composant précédent et les écrit dans Neo4J. |
tNeo4jOutputRelationship | Ce composant reçoit des données du composant précédent et écrit les relations dans Neo4j. |
tNeo4jRow | Ce composant exécute les requêtes Cypher sur la base de données Neo4j spécifiée. |
Scénarios pour les composants Neo4j
- Créer des nœuds avec un libellé à l'aide d'une requête Cypher
- Importer des données d'un fichier CSV dans Neo4j et créer des relations à l'aide d'une requête Cypher
- Import de données dans une base de données Neo4j à partir d'un fichier CSV à l'aide d'une requête Cypher
- Écrire dans Neo4j des informations relatives à des acteurs et films avec une relation hiérarchique Neo4j à l'aide de composants Batch Neo4j
- Écriture de données dans une base de données Neo4j et lecture de données spécifiques de cette base de données
- Écrire des informations concernant des familles dans Neo4j et créer des relations
- Écriture dans Neo4j des informations relatives à des acteurs et films avec une relation hiérarchique
Netezza
Composants Netezza
tNetezzaBulkExec | Ce composant améliore les performances lors d'opérations Insert dans une base de données Netezza. |
tNetezzaClose | Ce composant ferme une connexion à la base de données Netezza. |
tNetezzaCommit | Ce composant valide les données traitées à travers le Job dans la base de données Netezza connectée. |
tNetezzaConnection | Ce composant ouvre une connexion à une base de données pouvant être réutilisée dans le ou les sous-Job(s) suivant(s). |
tNetezzaInput | Ce composant lit une base de données Netezza et en extrait des champs à l'aide d'une requête. |
tNetezzaNzLoad | Ce composant insère des données dans la table d'une base de données Netezza via l'utilitaire nzload de Netezza. |
tNetezzaOutput | Ce composant écrit, met à jour, modifie ou supprime des entrées dans une base de données Netezza. |
tNetezzaRollback | Ce composant annule le commit de transaction dans la base de données Netezza connectée, afin d'éviter le commit de transaction involontaire. |
tNetezzaRow | Ce composant exécute des requêtes SQL déclarées sur la base de données Netezza spécifiée. |
Netsuite
Composants Netsuite
tNetSuiteV2019Connection | Crée une connexion à un serveur NetSuite SOAP en tirant parti des fonctionnalités de NetSuite v2019, pour que d'autres composants NetSuite V2019 dans le Job puissent réutiliser la connexion. |
tNetSuiteV2019Input | Ce composant invoque le service SOAP NetSuite et récupère les données selon les conditions spécifiées en tirant parti des fonctionnalités de NetSuite v2019. |
tNetSuiteV2019Output | Ce composant invoque le service SOAP Netsuite et insère, met à jour ou supprime des données sur le serveur SOAP NetSuite en tirant parti des fonctionnalités de NetSuite v2019. |
tNetsuiteConnection (déprécié) | Ce composant crée une connexion au serveur SOAP NetSuite, pour pouvoir la réutiliser dans les autres composants NetSuite du Job. |
tNetsuiteInput (déprécié) | Ce composant invoque le service SOAP NetSuite et récupère les données selon les conditions spécifiées. |
tNetsuiteOutput (déprécié) | Ce composant invoque le service SOAP Netsuite et insère, met à jour ou supprime des données sur le serveur SOAP NetSuite. |
Scénarios NetSuite
Openbravo ERP
Composants ERP Openbravo
tOpenbravoERPInput (déprécié) | Ce composant extrait des données d'une base OpenBravoERP selon certaines conditions définies dans des colonnes spécifiques. |
tOpenbravoERPOutput (déprécié) | Ce composant écrit des données dans une base de données OpenbravoERP. |
Oracle
Composants Oracle
tOracleConfiguration | Ce composant stocke les informations de connexion et d'authentification, afin que les autres composants Oracle puissent les réutiliser. |
tOracleInvalidRows | Ce composant vérifie les lignes d'une base de données par rapport à des modèles spécifiques de qualité de données (expressions régulières). |
tOracleLookupInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tOracleValidRows | Ce composant vérifie les lignes d'une base de données par rapport à des modèles spécifiques de qualité de données (expressions régulières). |
tOracleBulkExec | Ce composant améliore les performances au cours des opérations effectuées sur les données d'une base de données Oracle. |
tOracleClose | Ce composant ferme une connexion à la base de données Oracle connectée. |
tOracleCommit | Ce composant valide les données traitées dans un Job à partir d'une base de données connectée. |
tOracleConnection | Ce composant ouvre une connexion à la base de données Oracle spécifiée afin de pouvoir la réutiliser dans le ou les sous-Job(s) suivant(s). |
tOracleInput | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tOracleOutput | Ce composant écrit, met à jour, modifie ou supprime les données d'une base de données. |
tOracleOutputBulk | Ce composant écrit un fichier composé de colonnes et basé sur le séparateur défini et sur les standards Oracle. |
tOracleOutputBulkExec | Ce composant effectue une action d'Insert dans la base de données Oracle spécifiée. |
tOracleRollback | Ce composant annule le commit de transaction dans une base de données Oracle connectée pour éviter un commit involontaire de transaction. |
tOracleRow | Ce composant exécute la requête SQL saisie sur la base de données Oracle spécifiée. |
tOracleSP | Ce composant appelle une procédure stockée de base de données Oracle. |
tOracleTableList | Ce composant liste les noms des tables Oracle à l'aide d'une instruction SELECT se basant sur une clause WHERE. |
Scénarios pour les composants Oracle
ORC
Composants ORC
tFileInputORC | Ce composant extrait des enregistrements d'un fichier au format ORC et envoie les données au composant suivant, pour traitement. |
tFileOutputORC | Ce composant reçoit des enregistrements du composant de traitement précédent et écrit les enregistrements dans des fichiers au format ORC. |
Orchestration (Intégration)
Composants d'orchestration (Intégration)
tCollector | Ce composant peuple des processus d'exécutions parallèles avec des process générés par le tPartitioner. |
tDepartitioner | Ce composant rassemble les sorties des processus d'exécutions parallèles afin que le tRecollector capture ces sorties. |
tParallelize | Ce composant gère des systèmes de Job complexes. Il exécute plusieurs sous-Jobs simultanément et synchronise l'exécution d'un sous-Job avec celle d'autres sous-Jobs du même Job principal. |
tPartitioner | Ce composant partitionne les données d'entrée avant que le tCollector les transfère aux processus d'exécutions parallèles. |
tRecollector | Ce composant permet la sortie des résultats d'exécution parallèle, selon le tDepartitioner. |
tFlowToIterate | Ce composant lit des données ligne par ligne et stocke les entrées des données dans des variables globales itératives. |
tForeach | Ce composant crée une boucle sur une liste pour un lien Iterate. |
tInfiniteLoop | Exécute automatiquement une tâche ou un Job dans une boucle, à l'infini. |
tIterateToFlow | Transforme des données non traitables en flux traitable. |
tLoop | Ce composant exécute automatiquement une tâche ou un Job dans une boucle. |
tPostjob | Ce composant déclenche une action requise après l'exécution d'un Job. |
tPrejob | Ce composant déclenche une action requise pour l'exécution d'un Job. |
tReplicate | Ce composant duplique le schéma entrant en deux flux identiques. |
tRunJob | Ce composant gère des systèmes de Job complexes devant être exécuter l'un après l'autre. |
tSleep | Ce composant identifie les goulots d'étranglement éventuels à l'aide d'une pause lors de l'exécution du Job à des fins de test ou de monitoring. |
tUnite | Ce composant centralise des données provenant de sources diverses et hétérogènes. |
tWaitForFile | Ce composant fait une boucle sur un répertoire donné et déclenche le composant suivant lorsque la condition définie est rencontrée. |
tWaitForSocket | Ce composant déclenche un Job en fonction d'une condition définie. |
tWaitForSqlData | Ce composant effectue une boucle sur une connexion donnée à la recherche d'un ajout ou d'une suppression de lignes, puis déclenche un sous-Job lorsque la condition relative à des données SQL est rencontrée. |
Scénarios pour les composants d'orchestration (Intégration)
- Paralléliser/synchroniser l'exécution des sous-Jobs
- Paralléliser et trier des données clients volumineuses
- Appel d'un Job et passe du paramètre nécessaire au Job appelé
- Exécuter plusieurs fois un Job à l'aide d'une boucle
- Gestion de fichiers avant et après l'exécution d'un Job
- Boucle sur une liste et récupération des valeurs
- Itérer sur des fichiers et fusionner le contenu
- Passer une valeur d'un Job parent à un Job enfant
- Propagation de données de sortie en mémoire tampon du Job enfant au Job parent
- Réplication d'un flux et tri de deux flux identiques
- Exécution dynamique d'une liste de Jobs enfants
- Transformation d'une liste de fichiers en flux de données
- Transformation d'un flux de données en liste
- Attente de la création d'un fichier et poursuite de l'itération après le déclenchement d'un message
- Attente de la création d'un fichier et arrêt de l'itération après le déclenchement d'un message
- Attente de l'ajout de lignes dans une table
Palo
Composants Palo
tPaloCheckElements (déprécié) | Ce composant vérifie l'existence d'éléments du flux de données d'entrée dans un cube donné. |
tPaloClose (déprécié) | Ce composant ferme une connexion active au serveur Palo. |
tPaloConnection (déprécié) | Ce composant ouvre une connexion à un serveur Palo et permet à d'autres composants Palo de partager cette connexion durant le processus complet. |
tPaloCube (déprécié) | Ce composant effectue des opérations sur un cube Palo donné. |
tPaloCubeList (déprécié) | Ce composant récupère les informations d'une liste de cubes dans la base de données Palo déterminée. |
tPaloDatabase (déprécié) | Ce composant gère les bases de données dans un serveur Palo. |
tPaloDatabaseList (déprécié) | Ce composant liste les noms des bases de données, leur type, leur statut et leur ID ainsi que le nombre de cubes, le nombre de dimensions des bases de données d'un serveur Palo donné. |
tPaloDimension (déprécié) | Ce composant gère les dimensions Palo, ainsi que les éléments dans une base de données. |
tPaloDimensionList (déprécié) | Ce composant récupère les informations d'une liste de dimensions de la base de données Palo déterminée. |
tPaloInputMulti (déprécié) | Ce composant récupère les valeurs stockées ou calculées ainsi que les enregistrements à l'extérieur d'un cube. |
tPaloOutput (déprécié) | Ce composant prend le flux d'entrée et l'écrit dans un Cube Palo donné. |
tPaloOutputMulti (déprécié) | Ce composant prend le flux d'entrée et l'écrit dans un Cube Palo donné. |
tPaloRule (déprécié) | Ce composant gère des règles dans un cube Palo donné. |
tPaloRuleList (déprécié) | Ce composant liste toutes les règles, les formules, les commentaires, les statuts d'activation, les ID externes d'un cube donné. |
Scénarios pour les composants Palo
- Création d'un cube dans une base de données existante
- Création d'une base de données
- Création d'une dimension avec des éléments
- Création d'une règle dans un cube donné
- Refus d'un flux de données d'entrée lorsque les éléments à écrire n'existent pas dans un cube donné
- Récupération d'informations détaillées d'un cube d'une base de données déterminée
- Récupération d'informations détaillées concernant les bases de données d'un serveur Palo donné
- Récupération d'informations détaillées concernant les dimensions d'une base de données déterminée
- Récupération d'informations détaillées concernant des règles d'un cube donné
- Récupération d'éléments de dimensions dans un cube donné
- Écriture de données dans un cube donné
ParAccel
Composants ParAccel
tParAccelBulkExec (déprécié) | Ce composant améliore les performances pendant le chargement de données dans une base de données ParAccel. |
tParAccelClose (déprécié) | Ce composant ferme une connexion. |
tParAccelCommit (déprécié) | Commite en une seule fois une transaction globale, en utilisant une connexion unique, au lieu de commiter chaque ligne ou chaque lot de lignes et améliore ainsi les performances. |
tParAccelConnection (déprécié) | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tParAccelInput (déprécié) | Ce composant lit une base de données et en extrait des champs à l'aide de requêtes. |
tParAccelOutput (déprécié) | Exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tParAccelOutputBulk (déprécié) | Ce composant prépare le fichier à utiliser comme paramètre dans la requête INSERT servant à alimenter une base de données ParAccel. |
tParAccelOutputBulkExec (déprécié) | Ce composant améliore les performances pendant le chargement de données dans une base de données ParAccel. |
tParAccelRollback (déprécié) | Ce composant évite le commit de transaction involontaire. |
tParAccelRow (déprécié) | Selon la nature de la requête et de la base de données, ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). Le SQLBuilder peut vous aider à rapidement et aisément écrire vos requêtes. |
Parquet
Composants Parquet
tFileInputParquet | Ce composant extrait des enregistrements d'un fichier au format Parquet et envoie les données au composant suivant, pour traitement. |
tFileOutputParquet | Ce composant reçoit des enregistrements du composant de traitement précédent et écrit les enregistrements dans des fichiers au format Parquet. |
tFileStreamInputParquet | Ce composant extrait des enregistrements d'un fichier au format Parquet pour traitement de ces enregistrements par d'autres composants. |
Petals
Composants Petals
tPetalsInput (déprécié) | Ce composant passe des données Petals à un Job Talend. |
tPetalsOutput (déprécié) | Ce composant passe des données d'un Job Talend à l'ESB Petals. |
POP
Composant POP
tPOP | Ce composant récupère un ou plusieurs e-mails à partir d'un protocole POP3 ou IMAP. |
Scénario pour le composant POP
Positionnel
Composants positionnels (Positional)
tFileStreamInputPositional | Ce composant écoute, dans un répertoire donné, les nouveaux fichiers, lit les données de ces fichiers ligne par ligne, une fois les fichiers créés puis extrait des champs selon un modèle spécifique. |
tFileInputPositional | Ce composant lit un fichier positionnel ligne par ligne afin de séparer les champs en se basant sur un modèle donné. |
tFileOutputPositional | Ce composant écrit un fichier ligne par ligne, en se basant sur la longueur et le format des champ ou colonnes d'une ligne. |
Scénarios pour les composants positionnels (Positional)
PostgresPlus
Composants PostgresPlus
tPostgresPlusBulkExec | Ce composant améliore les performances pendant les opérations d'Insert dans une base de données DB2. |
tPostgresPlusClose | Ce composant permet de fermer une connexion à la base de données PostgresPlus. |
tPostgresPlusCommit | Ce composant utilise une connexion unique pour commiter en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes. |
tPostgresPlusConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tPostgresPlusInput | Ce composant exécute une requête de base de données selon un ordre strict qui doit correspondre à celui défini dans le schéma. La liste des champs récupérée est ensuite transmise au composant suivant via une connexion de flux (Main row). |
tPostgresPlusOutput | Ce composant exécute l'action définie sur la table et/ou sur les données contenues dans la table, à partir du flux entrant du composant précédent dans le Job. |
tPostgresPlusOutputBulk | Prépare le fichier à utiliser comme paramètre dans la requête INSERT servant à alimenter une base de données Postgresql. |
tPostgresPlusOutputBulkExec | Ce composant améliore les performances pendant les opérations d'Insert dans une base de données PostgresPlus. |
tPostgresPlusRollback | Ce composant évite le commit de transaction involontaire. |
tPostgresPlusRow | Selon la nature de la requête et de la base de données, ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). Le SQLBuilder peut vous aider à rapidement et aisément écrire vos requêtes. |
PostgreSQL
Composants PostgreSQL
tPostgresqlInvalidRows | Ce composant extrait des lignes d'une base de données qui ne correspondent pas à un modèle donné de qualité de données. |
tPostgresqlValidRows | Ce composant extrait des lignes d'une base de données qui correspondent à un modèle donné de qualité de données. |
tPostgresqlBulkExec | Ce composant améliore les performances lors du traitement des données de la base de données Postgresql. |
tPostgresqlClose | Ce composant ferme une connexion à la base de données Postgresql. |
tPostgresqlCommit | Ce composant utilise une connexion unique pour commiter en une seule fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes. |
tPostgresqlConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tPostgresqlInput | Ce composant exécute une requête de base de données selon un ordre strict qui doit correspondre à celui défini dans le schéma. La liste des champs récupérée est ensuite transmise au composant suivant via une connexion de flux (Main row). |
tPostgresqlOutput | Ce composant exécute l'action définie sur la table et/ou sur les données contenues dans la table, à partir du flux entrant du composant précédent dans le Job. |
tPostgresqlOutputBulk | Prépare le fichier à utiliser comme paramètres dans la requête INSERT servant à alimenter une base de données Postgresql. |
tPostgresqlOutputBulkExec | Ce composant améliore les performances pendant les opérations d'Insert dans une base de données Postgresql. |
tPostgresqlRollback | Ce composant évite le commit de transaction involontaire. |
tPostgresqlRow | Selon la nature de la requête et de la base de données, ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). Le SQLBuilder peut vous aider à rapidement et aisément écrire vos requêtes. |
Traitement (Processing) (Intégration)
Composants de traitement (Processing) (Intégration)
tCacheIn | Ce composant offre un accès rapide aux données persistantes. |
tCacheOut | Ce composant fait persister les RDD des données d'entrée dans le cache selon le niveau de stockage spécifique défini, afin d'offrir un accès ultérieur rapide à ces ensembles de données. |
tExtractDynamicFields | Ce composant parse une colonne de type Dynamic afin de créer des colonnes standards en sortie. |
tExtractEDIField | Ce composant lit les données structurées EDI d'un fichier de message EDIFACT, génère un fichier XML selon la famille et le type EDIFACT et extrait des données en analysant le XML généré via des requêtes XPath définies manuellement ou provenant de l'assistant du Repository, puis envoie les données au composant suivant via une connexion Row. |
tExtractRegexFields | Ce composant extrait des données et génère des colonnes multiples à partir d'une chaîne de caractères formatée, à l'aide de correspondances regex. |
tSample | Ce composant retourne un sous-ensemble d'exemple des données traitées. |
tSqlRow | Ce composant effectue des requêtes SQL sur des jeux de données d'entrée. |
tTop | Ce composant trie des données et écrit en sortie plusieurs des premières lignes de ces données. |
tTopBy | Ce composant regroupe et trie les données, puis écrit en sortie plusieurs lignes de données à partir de la première dans chaque groupe. |
tWindow | Ce composant applique une fenêtre Spark sur les RDD entrants et envoie les nouveaux RDD construits sur les fenêtres au composant suivant. |
tWriteAvroFields | Ce composant transforme les données entrantes en fichiers Avro. |
tWriteDelimitedFields | Ce composant convertit des enregistrements en tableaux d'octets. |
tWriteDynamicFields | Ce composant crée un schéma dynamique à partir des colonnes d'entrée du composant. |
tWritePositionalFields | Ce composant convertit des enregistrements en tableaux d'octets. |
tWriteXMLFields | Ce composant convertit des enregistrements en tableaux d'octets. |
tAggregateRow | Ce composant reçoit un flux de données et fait une agrégation basée sur une ou plusieurs colonnes. |
tAggregateSortedRow | Ce composant agrège les données d'entrée triées pour la colonne de sortie, en se basant sur un ensemble d'opérations. Pour une meilleure agrégation des données, chaque colonne de sortie est configurée avec plusieurs lignes requises, les opérations à effectuer et la colonne d'entrée de laquelle proviennent les données. |
tConvertType | Ce composant convertit automatiquement un type Java Talend en un autre type, ce qui permet d'éviter les erreurs de compilation. |
tDenormalize | Ce composant dénormalise un flux entrant en fonction d'une colonne. |
tDenormalizeSortedRow | Ce composant permet de synthétiser les lignes d'entrée triées afin de faire des économies de mémoire. |
tExternalSortRow | Ce composant trie les données d'entrée en se basant sur une ou plusieurs colonne(s), par type et ordre de tri, à l'aide d'une application externe de tri. |
tExtractDelimitedFields | Ce composant génère des colonnes multiples à partir d'une colonne String délimitée |
tExtractJSONFields | Ce composant extrait les données souhaitées des champs JSON en se basant sur la requête JSONPath ou XPath. |
tExtractPositionalFields | Ce composant extrait des données et génère de multiples colonnes à partir d'une chaîne de caractères formatée, à l'aide de champs positionnels. |
tExtractXMLField | Ce composant lit les données XML structurées contenues dans un champ XML et envoie les données comme défini dans le schéma au composant suivant. |
tFilterColumns | Ce composant homogénéise des schémas, en organisant les colonnes ou en supprimant ou en ajoutant des colonnes. |
tFilterRow | Ce composant filtre des lignes d'entrée en définissant une ou plusieurs condition(s) sur les colonnes sélectionnées. |
tJoin | Ce composant effectue des jointures Inner Join et Outer Join entre le flux de données principal et le flux de référence (Lookup). |
tNormalize | Ce composant normalise un flux entrant en fonction du standard SQL pour améliorer la qualité des données et faciliter leur mise à jour. |
tPartition | Ce composant vous permet de définir visuellement comment partitionner un jeu de données d'entrée. |
tReplace | Ce composant nettoie tous les fichiers avant traitement. |
tReplicate | Ce composant duplique le schéma entrant en deux flux identiques. |
tSampleRow | Ce composant sélectionne des lignes en fonction d'une liste de lignes simples et/ou de groupes de lignes. |
pour le tSortRow | Ce composant établit des métriques et des tables de classification. |
tSplitRow | Ce composant divise une ligne d'entrée en plusieurs lignes de sortie. |
tUniqRow | Ce composant assure une qualité de données des flux d'entrée et de sortie du Job. |
tUnite | Ce composant centralise des données provenant de sources diverses et hétérogènes. |
tWriteJSONField | Ce composant transforme les données entrantes en champs JSON et les transfère dans un fichier, une table de base de données. |
Scénarios pour les composants de traitement (Processing) (Intégration)
- Agrégation de valeurs à partir d'un schéma dynamique
- Conversion de types Java à l'aide de composants Map/Reduce
- Créer une colonne dynamique et en extraire son contenu
- Dédoublonnage d'entrées en se basant sur le schéma dynamique
- Dédoublonnage d'entrées en utilisant des composants Map/Reduce
- Extraction de données d'un message EDIFACT
- Extraction de noms, des domaines et domaines de premier niveau à partir d'adresses e-mail
- Extraction du contenu d'une colonne dynamique via un tJavaRow
- Mise en correspondance de données d'entrée par rapport à un fichier de référence basé sur une colonne dynamique
- Normalisation de données à l'aide de composants Map/Reduce
- Analyse de téléchargement à l'aide d'un Job Spark Batch
- Remplacement de valeurs et filtrage de colonnes à l'aide de composants Map/Reduce
- Tri de données basées sur un schéma dynamique
- Agréger des valeurs et trier des données
- Nettoyer et filtrer un fichier CSV
- Collecter des données de votre réseau social favori
- Conversion de types de données Java
- Dédoublonnage de données
- Dénormalisation de plusieurs colonnes
- Dénormalisation d'une colonne
- Correspondance exacte entre deux colonnes et écriture des données rejetées
- Extraction de données XML d'un champ d'une table de base de données
- Extraction d'une colonne String délimitée d'une table d'une base de données
- Extraction de données valides et de données erronées à partir d'un champ XML dans fichier délimité
- Filtrer une liste de noms via différentes opérations logiques
- Filtre d'une liste de noms à l'aide de conditions simples
- Filtre de lignes et de groupes de lignes
- Itérer sur des fichiers et fusionner le contenu
- Normalisation de données
- Regroupement de lignes triées
- Réplication d'un flux et tri de deux flux identiques
- Récupération de messages d'erreur lors de l'extraction de données de champs JSON
- Tri et agrégation de données d'entrée
- Tri de données
- Séparation d'une ligne en deux lignes
- Écriture de données plates dans des champs JSON
Propriétés
Composants de propriétés
tFileInputProperties | Ce composant lit un fichier texte ligne par ligne, sépare les champs en se basant sur le modèle clé=valeur. |
tFileOutputProperties | Ce composant écrit un fichier de configuration de type .ini ou .properties contenant des données texte organisées sur le modèle clé=valeur. |
Scénario pour les composants de Propriétés (Properties)
Proxy
Composant de proxy
tSetProxy | Ce composant configure les informations de configuration de votre proxy. |
RabbitMQ
Composants RabbitMQ
tRabbitMQClose | Ce composant ferme une connexion à une file de messages. |
tRabbitMQConnection | Ce composant établit une connexion à une file de messages pour usage ultérieur. |
tRabbitMQInput | Ce composant lit des messages dans une file de messages et les passe dans le flux de sortie. |
tRabbitMQOutput | Ce composant reçoit des données du composant précédent en tant que messages et ajoute les messages aux files d'attente, de la manière spécifiée. |
Vue brute
Composants de fichier brut
un tFileInputRaw, | Ce composant lit toutes les données d'un fichier brut et les envoie dans une colonne de sortie pour traitement par un autre composant. |
tFileOutputRaw | Ce composant fournit des données provenant d'un autre composant en une seule colonne de sortie. |
Regex
Composants Regex
tFileStreamInputRegex | Ce composant écoute, dans un répertoire donné, les nouveaux fichiers, lit leurs données ligne par ligne une fois créés, afin de diviser les données en champs à l'aide d'expressions régulières. |
tFileInputRegex | Ce composant lit un fichier ligne par ligne afin de le diviser en champs à l'aide d'expressions régulières et d'envoyer les champs définis dans le schéma au composant suivant. |
Scénario pour les composants Regex
REST
Composant REST
tREST | Ce composant sert de client d'un service Web REST. |
Scénario pour le composant REST
Riak
Composants Riak
tRiakBucketList (déprécié) | Ce composant récupère une liste de buckets d'un cluster Riak et fait une boucle dessus. |
tRiakClose (déprécié) | Ce composant ferme une connexion active à un cluster Riak afin de libérer les ressources occupées. |
tRiakConnection (déprécié) | Ce composant ouvre et réutilise la connexion au cluster Riak créée. |
tRiakInput (déprécié) | Ce composant extrait les données souhaitées d'un bucket d'un nœud Riak afin de les stocker ou d'y apporter des changements. |
tRiakKeyList (déprécié) | Ce composant récupère une liste de clés dans un bucket Riak et fait une boucle dessus afin de procéder à des analyses et à des développements. |
tRiakOutput (déprécié) | Ce composant reçoit des données du composant précédent, écrit ou efface des données dans un bucket d'un cluster Riak. |
Scénario pour les composants Riak
Route
Composants de Route
tRouteFault | Ce composant envoie des messages d'un Job d'intégration de données à une Route de médiation et marque les messages comme Fault (en erreur). |
tRouteInput | Ce composant échange des messages entre un Job d'intégration de données et une Route de médiation. |
tRouteOutput | Ce composant envoie des messages d'un Job d'intégration de données à une Route de médiation. |
Scénarios pour les composants de Route
RSS
Composants RSS
tRSSInput | Ce composant lit des flux RSS en utilisant des URL. |
tRSSOutput | Ce composant crée et écrit des fichiers XML contenant des flux RSS ou Atom. |
Scénarios pour les composants RSS
Salesforce
Composants Salesforce
tSalesforceBulkExec | Ce composant charge en masse des données dans un fichier donné dans un objet Salesforce. |
tSalesforceConnection | Ce composant ouvre une connexion à Salesforce. |
tSalesforceEinsteinBulkExec | Ce composant charge des données dans Salesforce Analytics Cloud à partir d'un fichier local. |
tSalesforceEinsteinOutputBulkExec | Ce composant améliore les performances durant les opérations de données sur Salesforce Analytics Cloud. |
tSalesforceGetDeleted | Ce composant récupère les données supprimées d'un objet Salesforce sur une période spécifiée. |
tSalesforceGetServerTimestamp | Ce composant récupère la date actuelle sous forme de timestamp du serveur Salesforce. |
tSalesforceGetUpdated | Ce composant récupère les données mises à jour d'un objet Salesforce sur une période spécifiée. |
tSalesforceInput | Ce composant récupère les données d'un objet Salesforce à l'aide d'une requête. |
tSalesforceOutput | Ce composant insère, met à jour, effectue un upsert ou supprime des données dans un objet Salesforce. |
tSalesforceOutputBulk | Ce composant génère le fichier à traiter par le composant tSalesForceBulkExec pour traitement de masse. |
tSalesforceOutputBulkExec | Ce composant charge en masse des données dans un fichier donné dans un objet Salesforce. |
Scénarios pour les composants Salesforce
SAP
Composants SAP
tELTSAPInput | Ce composant fournit le schéma de la table SAP qui sera utilisé par le composant tELTSAPMap afin de générer l'instruction SQL SELECT. |
tELTSAPMap | Ce composant construit l'instruction SQL SELECT à l'aide des schémas des tables fournis par un ou plusieurs composant(s) tELTSAPInput. |
tSAPADSOInput | Récupère des données d'un ADSO actif (Advanced Data Store Object) d'un système SAP BW dans une base de données SAP HANA. |
tSAPBapi | Ce composant extrait des données d'un serveur SAP ou charge des données sur un serveur SAP à l'aide de différents paramètres d'entrée/de sortie ou en utilisant le paramètre du type Document. |
tSAPBWInput | Ce composant exécute une requête SQL dans un ordre strictement défini devant correspondre à la définition de votre schéma. |
tSAPCommit | Ce composant commite en une seule fois une transaction globale, à l'aide d'une connexion unique, au lieu de commiter chaque ligne ou chaque lot de lignes. |
tSAPConnection | Ce composant commite les données d'un Job entier en une seule transaction vers un système SAP. |
tSAPDataSourceOutput | Ce composant écrit des objets Data Source dans un système Data Source SAP BW. |
tSAPDataSourceReceiver | Ce composant récupère des requêtes de données stockées dans Talend SAP RFC Server et relatives à un système Data Source spécifique. |
tSAPDSOInput | Ce composant récupère les données d'un objet Data Store depuis un système SAP BW. |
tSAPDSOOutput | Ce composant crée ou met à jour les données d'un objet Data Store dans une table SAP BW. |
tSAPHanaBulkExec | Ce composant améliore les performances des opérations Insert sur une base de données SAP HANA. |
tSAPHanaInvalidRows | Ce composant vérifie des lignes d'une base de données SAP Hana par rapport à des modèles de qualité de données (expressions régulières) ou des règles de qualité de données (règles métier). |
tSAPHanaUnload | Transfère des données en masse depuis la base de données SAP HANA vers un système tiers. |
tSAPHanaValidRows | Ce composant vérifie des lignes d'une base de données SAP Hana par rapport à des modèles de qualité de données (expressions régulières) ou des règles de qualité de données (règles métier). |
tSAPIDocInput (déprécié) | Ce composant extrait un jeu de données IDoc utilisé pour des transactions asynchrones entre un système SAP et une autre application. |
tSAPIDocOutput | Ce composant charge un jeu de données IDoc au format XML dans un système SAP. |
tSAPIDocReceiver | Ce composant extrait des données de documents SAP IDoc stockés sur le serveur SAP. |
tSAPInfoCubeInput | Ce composant récupère les données d'un objet InfoCube depuis un système SAP BW. |
tSAPInfoObjectInput | Ce composant récupère les données d'un objet InfoObject depuis un système SAP BW. |
tSAPInfoObjectOutput | Ce composant écrit les données d'un objet InfoObject dans un système SAP BW. |
tSAPODPInput | Ce composant extrait les données maître de la partie ERP de SAP (application commerciale SAP, SAP HANA, SAP R/3 et S/4HANA) via ODP (Operational Data Provisioning). |
tSAPRollback | Ce composant annule le commit de transaction dans le système SAP connecté. |
tSAPTableInput | Ce composant lit des données d'une table SAP sur un serveur SAP. |
tSAPHanaClose | Ce composant ferme une connexion à la base de données SAP HANA. |
tSAPHanaCommit | Ce composant commite en une fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, ce qui permet un gain de performance. |
tSAPHanaConnection | Ce composant établit une connexion à SAP HANA à réutiliser dans d'autres composants SAP HANA au sein du Job. |
tSAPHanaInput | Ce composant exécute une requête en base de données selon un ordre strict qui doit correspondre à celui défini dans le schéma. |
tSAPHanaOutput | Ce composant exécute l'action définie sur la table et/ou sur les données d'une table, en fonction du flux entrant provenant du composant précédent. |
tSAPHanaRollback | Ce composant évite le commit de transaction involontaire. |
tSAPHanaRow | Ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler). |
Scénarios pour les composants SAP
- Se connecter à un système SAP R/3 afin d'observer la création de fichiers IDoc (déprécié)
- Consommer des objets Data Source en utilisant le transport SSL
- Consommer des fichiers IDoc afin de les traiter dans le tHMap
- Exporter des données à l'aide du tSAPHanaUnload
- Extraire des données à l'aide du tSAPInfoCubeInput
- Lecture de données d'une base de données SAP BW
- Récupérer des données ADSO de SAP BW
- Récupérer des données de SAP via ODP
- Récupérer des données d'un système SAP en appelant une fonction BAPI à l'aide de paramètres de type Document
- Récupérer des données d'un système SAP en appelant une fonction BAPI utilisant différents paramètres d'entrée/de sortie
- Agrégation et filtrage de données dans plusieurs tables SAP
SCD
Composants SCD
tDB2SCD | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table SCD dédiée. |
tGreenplumSCD | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table SCD dédiée. |
tInformixSCD | Reflète et traque les modifications d'une table Informix SCD dédiée. |
tIngresCDC (déprécié) | Reflète et traque les modifications d'une table Ingres SCD dédiée. |
tMSSqlSCD | Ce composant reflète et traque les modifications d'une table SCD dédiée sur un serveur Microsoft SQL ou dans une base de données Azure SQL. |
tMysqlSCD | Ce composant reflète et traque les modifications d'une table SCD MySQL dédiée. |
tNetezzaSCD | Ce composant reflète et traque les modifications d'une table SCD Netezza dédiée. |
tOracleSCD | Ce composant reflète et traque les modifications d'une table SCD Oracle dédiée. |
tParAccelSCD (déprécié) | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table SCD dédiée. |
tPostgresPlusSCD | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table SCD dédiée. |
tPostgresqlSCD | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table SCD dédiée. |
tSybaseSCD | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table SCD dédiée. |
tTeradataSCD | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table SCD dédiée. |
tVerticaSCD | Ce composant traque et reflète les modifications d'une table Vertica SCD dédiée. |
Scénario pour les composants SCD
SCDELT
Composants SCDELT
tDB2SCDELT | Ce composant répond à des besoins en transformation Slowly Changing Dimension, via des requêtes SQL (mode de traitement côté serveur) et enregistre les modifications dans une table de base de données SCD dédiée. |
tJDBCSCDELT | Suit les modifications de données dans une table de base de données source, à l'aide d'une méthode Slowly Changing Dimensions (SCD) de Type 1 et/ou de Type 2 et écrit les données actuelles et historiques dans une table de dimension SCD spécifiée. |
tMysqlSCDELT | Ce composant reflète et traque les modifications d'une table MySQL SCD dédiée. |
tOracleSCDELT | Ce composant reflète et traque les modifications d'une table Oracle SCD dédiée. |
tPostgresPlusSCDELT | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table PostgresPlus SCD dédiée. |
tPostgresqlSCDELT | Ce composant répond à des besoins en transformation Slowly Changing Dimension, via des requêtes SQL (mode de traitement côté serveur) et enregistre les modifications dans une table de base de données SCD dédiée. |
tSybaseSCDELT | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table Sybase SCD dédiée. |
tTeradataSCDELT | Ce composant répond à des besoins en transformation Slowly Changing Dimension, en lisant régulièrement une source de données et en répertoriant les modifications dans une table Teradata SCD dédiée. |
Scénarios pour les composants SCDELT
SCP
Composants SCP
tSCPClose | Ce composant permet de fermer une connexion au protocole SCP. |
tSCPConnection | Ce composant ouvre une connexion SCP afin d'effectuer des transferts de fichiers en une seule transaction. |
tSCPDelete | Ce composant supprime un fichier d'un serveur SCP donné. |
tSCPFileExists | Ce composant vérifie la présence d'un fichier sur le serveur SCP spécifié. |
tSCPFileList | Ce composant liste les fichiers d'un serveur SCP spécifié. |
tSCPGet | Ce composant permet de copier de fichiers du serveur SCP spécifié. |
tSCPPut | Ce composant copie les fichiers dans un serveur SCP défini. |
tSCPRename | Ce composant renomme un ou des fichier(s) sur le serveur SCP sélectionné. |
tSCPTruncate | Ce composant supprime les données d'un ou plusieurs fichier(s) d'un serveur SCP via une connexion SCP. |
Scénario pour les composants SCP
ServiceNow
Composants ServiceNow
tServiceNowConnection | Ce composant ouvre une connexion à une instance de ServiceNow pouvant être réutilisée par d'autres composants ServiceNow. |
tServiceNowInput | Ce composant accède à ServiceNow et en récupère des données. |
tServiceNowOutput | Ce composant effectue une action définie sur les données de ServiceNow. |
SingleStore
Composants SingleStore
tSingleStoreBulkExec | Charge des données depuis un fichier dans une table d'une base de données connectée via une API JDBC. |
tSingleStoreClose | Ce composant ferme une connexion SingleStore active afin de libérer les ressources occupées. |
tSingleStoreCommit | Ce composant commite en une fois une transaction globale au lieu de commiter ligne par ligne ou lot par lot, vous permettant ainsi d'améliorer les performances. |
tSingleStoreConnection | Ce composant ouvre une connexion à la base de données spécifiée afin de pouvoir la réutiliser dans le(s) sous-Job(s) suivant(s). |
tSingleStoreInput | Ce composant lit toute base de données via une API JDBC et en extrait des champs à l'aide de requêtes. |
tSingleStoreOutput | Exécute l'action définie sur les données contenues dans la table, à partir du flux provenant du composant précédent dans le Job. |
tSingleStoreOutputBulk | Ce composant prépare le fichier de masse à utiliser en tant que paramètre pour alimenter la base de données connectée. |
tSingleStoreOutputBulkExec | Ce composant offre de meilleures performances lors du chargements de données depuis un fichier dans une table d'une base de données connectée via une API JDBC. |
tSingleStoreRollback | Evite le commit de transaction involontaire en annulant la transaction d'une base de données connectée. |
tSingleStoreRow | Ce composant agit sur la structure même de la base de données ou sur les données (mais sans les manipuler) en utilisant le SQLBuilder pour écrire rapidement et aisément vos requêtes. |
tSingleStoreSP | Centralise des requêtes multiples ou complexes dans une base de données afin de les appeler plus facilement. |
Snowflake
Composants Snowflake
tSnowflakeConfiguration | Ce composant stocke les informations de connexion et d'authentification, afin que les autres composants Snowflake dans le framework Apache Spark Batch puissent les réutiliser. |
tSnowflakeBulkExec | Charge des données depuis des fichiers dans un dossier dans une table Snowflake. Le dossier peut être dans une étape interne à Snowflake, dans un bucket Amazon Simple Storage Service (Amazon S3) ou dans un conteneur Azure. |
tSnowflakeClose | Ce composant ferme une connexion active à Snowflake afin de libérer les ressources occupées. |
tSnowflakeCommit | Ce composant améliore les performances. |
tSnowflakeConnection | Ce composant ouvre une connexion à Snowflake, pouvant être réutilisée par d'autres composants Snowflake. |
tSnowflakeInput | Ce composant lit des données d'une table Snowflake dans le flux de données de votre Job selon une requête SQL. |
tSnowflakeOutput | Ce composant utilise les données entrantes du composant précédent pour insérer (insert), mettre à jour (update), mettre à jour et insérer (upsert) ou supprimer (delete) des données dans une table Snowflake. |
tSnowflakeOutputBulk | Écrit les données entrantes dans des fichiers générés dans un dossier. Le dossier peut être dans une étape interne à Snowflake, dans un bucket Amazon Simple Storage Service (Amazon S3) ou dans un conteneur Azure. |
tSnowflakeOutputBulkExec | Écrit les données entrantes dans des fichiers générés dans un dossier et charge les données dans une table de base de données Snowflake. Le dossier peut être dans une étape interne à Snowflake, dans un bucket Amazon Simple Storage Service (Amazon S3) ou dans un conteneur Azure. |
tSnowflakeRollback | Ce composant annule le commit de transaction dans une base de données Snowflake pour éviter le commit d'une transaction involontaire. |
tSnowflakeRow | Ce composant exécute la commande SQL définie sur une base de données Snowflake spécifiée. |
Scénarios Snowflake
- Agréger des données Snowflake à l'aide de variables de contexte comme noms de tables et de connexion
- Charger des données avec la commande COPY
- Charger des données dans une table Snowflake à l'aide d'un chemin d'accès Stage personnalisé
- Effectuer une requête sur des données dans un fichier Cloud via une table Snowflake externe et une table Snowflake externe
- Écriture et lecture de données dans une table Snowflake
SOAP
Composant SOAP
tSOAP | Ce composant appelle une méthode via un service Web afin de récupérer les valeurs des paramètres définies dans l'éditeur du composant. |
Scénarios pour le composant SOAP
Socket
Composants Socket
tSocketInput | Ce composant ouvre le port de socket et écoute les données entrantes. |
tSocketOutput | Ce composant envoie les données du flux d'entrée vers le port d'écoute du socket. |
Scénario pour les composants Socket
Splunk
Composant Splunk
tSplunkEventCollector | Ce composant envoie des données relatives aux événements à Splunk via son collecteur d'événements HTTP. |
SQLite
Composants SQLite
tSQLiteClose | Ce composant ferme une connexion à la base de données DB2 connectée. |
tSQLiteCommit | Ce composant commite en une fois une transaction globale au lieu de commiter chaque ligne ou chaque lot de lignes, ce qui permet un gain de performance. |
tSQLiteConnection | Ce composant ouvre une connexion vers une base de données afin d'effectuer une transaction. |
tSQLiteInput | Ce composant exécute une requête en base de données selon un ordre strict qui doit correspondre à celui défini dans le schéma. La liste des champs récupérée est ensuite transmise au composant suivant via une connexion de flux (Main row). |
tSQLiteOutput | Ce composant exécute l'action définie sur la table et/ou sur les données contenues dans la table, à partir du flux entrant du composant précédent dans le Job. |
tSQLiteRollback | Ce composant annule la transaction commitée dans la base de données SQLite connectée. |
tSQLiteRow | Ce composant exécute une requête définie dans une base de données spécifiée et utilise les paramètres de la colonne. |
Scénarios pour les composants SQLite
SQLTemplate
Composants SQLTemplate
tSQLTemplate | Ce composant exécute simplement des actions sur une base de données ou des modèles d'instructions SQL personnalisés, par exemple pour supprimer ou créer une table. |
tSQLTemplateAggregate | Ce composant fournit un ensemble de matrices basées sur des valeurs ou sur des calculs. |
tSQLTemplateCommit | Ce composant commite en une seule fois une transaction globale, en utilisant une connexion unique, au lieu de commiter chaque ligne ou chaque lot de lignes. Ce composant permet un gain de performance. |
tSQLTemplateFilterColumns | Ce composant homogénéise des schémas en réorganisant ou en supprimant des colonnes ou en ajoutant des colonnes. |
tSQLTemplateFilterRows | Configure des filtres de lignes sur n'importe quelle donnée source grâce à une commande WHERE. |
tSQLTemplateMerge | Ce composant fusionne des données directement dans une table d'une base de données du SGBD. |
tSQLTemplateRollback | Ce composant annule la transaction commitée dans la base de données SQLTemplate connectée. |
Scénarios pour les composants SQLTemplate
Sqoop
Composants Sqoop
tSqoopExport | Ce composant définit les arguments requis par Sqoop pour transférer des données dans un SGBDR. |
tSqoopImport | Ce composant définit les arguments requis par Sqoop pour écrire les données qui vous intéressent dans HDFS. |
tSqoopImportAllTables | Ce composant définit les arguments requis par Sqoop pour écrire toutes les tables d'une base de données dans HDFS. |
tSqoopMerge | Ce composant effectue un import incrémental mettant à jour un ancien jeu de données avec des enregistrements plus récents. Le type des fichiers des deux ensembles de données doit être le même. |