Propriétés du tFilterColumns pour Storm (déprécié) - 7.3

Traitement (Processing) (Intégration)

Version
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Processing (Intégration)
Gouvernance de données > Systèmes tiers > Composants Processing (Intégration)
Qualité et préparation de données > Systèmes tiers > Composants Processing (Intégration)
Last publication date
2024-03-05

Ces propriétés sont utilisées pour configurer le tFilterColumns s'exécutant dans le framework de Jobs Storm.

Le composant tFilterColumns Storm appartient à la famille Processus en cours.

Ce composant est disponible dans Talend Real Time Big Data Platform et dans Talend Data Fabric.

Le framework Storm est déprécié à partir de la version 7.1 du Talend et les suivantes. Utilisez des Jobs Talend pour Apache Spark Streaming pour accomplir vos tâches associées à Streaming.

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Cliquez sur Sync columns pour récupérer le schéma du composant précédent.

Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers sources ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant la définition des schémas dynamiques, consultez le Guide d'utilisation du Studio Talend.

Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.

 

Built-in : le schéma est créé et conservé localement pour ce composant seulement.

 

Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Utilisation

Règle d'utilisation

Si vous avez souscrit à l'une des solutions Big Data de Talend, vous pouvez également utiliser ce composant en tant que composant Storm. Dans un Job Storm Talend , il est utilisé comme étape intermédiaire. Les autres composants utilisés avec celui-ci doivent également être des composants Storm. Ils génèrent nativement du code Storm pouvant être exécuté directement dans un système Storm.

La version de Storm ne supporte pas l'utilisation des variables globales.

Vous devez utiliser l'onglet Storm Configuration dans la vue Run pour définir la connexion à un système Storm donné pour le Job complet.

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Pour plus d'informations concernant les Jobs Talend Storm, consultez les sections décrivant comment créer et configurer un Job Talend Storm, dans le Guide de prise en main de Talend Big Data .

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.