Paramètres spécifiques aux composants - 6.5

Guide de référence des scripts de Jobs Talend

EnrichVersion
6.5
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
EnrichPlatform
Studio Talend
Talend CommandLine
task
Création et développement > Création de Jobs

Le tableau suivant présente les fonctions et paramètres des scripts de Jobs que vous pouvez définir dans la fonction setSettings {} du composant.

Fonction/paramètre Description Obligatoire ?

USE_EXISTING_CONNECTION

Configurez ce paramètre à true et spécifiez le nom du composant de connexion associé, à l'aide du paramètre CONNECTION, afin de réutiliser les informations de la connexion précédemment définie.

Non

DISTRIBUTION

Spécifiez une distribution de cluster. Les valeurs acceptables sont :

  • APACHE
  • CLOUDERA
  • HORTONWORKDS
  • MAPR
  • PIVOTAL_HD
  • Personnalisé

Si vous ne renseignez pas ce paramètre, la distribution par défaut du cluster est Amazon EMR.

Non

HBASE_VERSION

Spécifiez la version de la distribution Hadoop que vous utilisez. Les valeurs acceptables sont les suivantes  :

  • Pour Amazon EMR :

    • EMR_5_5_0
    • EMR_5_0_0
    • EMR_4_6_0
  • Pour Apache :

    • APACHE_1_0_0
  • Pour Cloudera :

    • Cloudera_CDH5_10
    • Cloudera_CDH5_8
    • Cloudera_CDH5_7
    • Cloudera_CDH5_6
    • Cloudera_CDH5_5
  • Pour HortonWorks :

    • HDP_2_6
    • HDP_2_5
    • HDP_2_4
  • Pour MapR :

    • MAPR520
    • MAPR510
    • MAPR500
  • Pour Pivotal HD :

    • PIVOTAL_HD_2_0
    • PIVOTAL_HD_1_0_1

La valeur par défaut est EMR_5_5_0.

Non

HADOOP_CUSTOM_VERSION

Si vous utilisez un cluster personnalisé, utilisez ce paramètre afin de spécifier la version Hadoop du cluster personnalisé, HADOOP_1 (par défaut) ou HADOOP_2.

Non

ZOOKEEPER_QUORUM

Saisissez le nom ou l'URL du service Zookeeper utilisé pour coordonner la transaction entre votre Studio et votre base de données.

Notez que, lorsque vous configurez Zookeeper, il est possible que vous deviez définir explicitement le chemin vers le nœud znode racine contenant tous les nœuds znodes créés et utilisés par votre base de données, à l'aide des paramètres SET_ZNODE_PARENT et ZNODE_PARENT.

Oui

ZOOKEEPER_CLIENT_PORT

Saisissez le numéro du port d'écoute client du service Zookeeper utilisé.

Oui

SET_ZNODE_PARENT

Si besoin, configurez ce paramètre à true et spécifiez le chemin vers le nœud znode racine, à l'aide du paramètre ZNODE_PARENT.

Non

USE_KRB

Si la base de données à utiliser s'exécute avec la sécurité Kerberos, configurez ce paramètre à true et spécifiez les noms de Principaux, à l'aide des paramètres HBASE_MASTER_PRINCIPAL et HBASE_REGIONSERVER_PRINCIPA.

Non

USE_KEYTAB

Si vous devez utiliser un fichier Keytab Kerberos afin de vous connecter, configurez ce paramètre à true et spécifiez le Principal à l'aide du paramètre PRINCIPAL et le chemin d'accès au fichier Keytab à l'aide du paramètre KEYTAB_PATH.

Non

USE_MAPRTICKET

Si ce cluster est un cluster MapR de version 4.0.1 ou supérieure, vous devez configurer l'authentification par ticket MapR en définissant à true la valeur de ce paramètre et en fournissant les informations nécessaires, à l'aide des paramètres MAPRTICKET_CLUSTER, MAPRTICKET_DURATION, USERNAME et MAPRTICKET_PASSWORD. Pour plus d'informations, consultez Connexion sécurisée à MapR.

Non

TABLE

Saisissez le nom de la table de laquelle extraire les colonnes.

Oui

SET_TABLE_NS_MAPPING

Si nécessaire, configurez ce paramètre à true et utilisez TABLE_NS_MAPPING pour fournir la chaîne de caractères à utiliser pour construire le mapping entre une table Apache HBase et une table MapR.

Non

DEFINE_ROW_SELECTION

Configurez ce paramètre à true et utilisez les paramètres START_ROW et END_ROW afin de fournir les Row Keys correspondants, pour spécifier la plage de lignes que vous souhaitez extraire par le composant.

Non

IS_BY_FILTER

Configurez ce paramètre à true pour utiliser des filtres et effectuer une sélection de données granulaire de votre base de données. Utilisez le paramètre LOGICAL_OP afin de définir la relation logique entre les filtres. Les valeurs acceptées sont :

  • MUST_PASS_ONE: au moins une des conditions de filtre doit être remplie.
  • MUST_PASS_ALL : toutes les conditions de filtre définies doivent être satisfaites.

Non

FILTER {}

Utilisez cette fonction et un ou plusieurs jeu(x) des paramètres suivants afin de définir un ou plusieurs filtre(s) :

  • FILTER_TYPE : saisissez le type de filtre à utiliser. Les valeurs acceptées sont :
    • SingleColumnValueFilter
    • FamilyFilter
    • QualifierFilter
    • ColumnPrefixFilter
    • MultipleColumnPrefixFilter
    • ColumnRangeFilter
    • RowFilter
    • ValueFilter
  • FILTER_COLUMN : saisissez le nom de la colonne (qualifier) sur laquelle vous devez appliquer le filtre actif.
  • FILTER_FAMILY : saisissez la famille de colonne sur laquelle vous devez appliquer le filtre actif.
  • FILTER_OPERATOR : saisissez l'opération à utiliser pour le filtre actif. Les valeurs acceptées sont :
    • NO_OP (par défaut)
    • EQUAL
    • NOT_EQUAL
    • GREATER
    • GREATER_OR_EQUAL
    • LESS
    • LESS_OR_EQUAL
  • FILTER_VALUE : saisissez la valeur sur laquelle utiliser l'opérateur spécifié.
  • FILTER_COMPARATOR_TYPE : spécifiez le type de comparateur à combiner au filtre que vous utilisez. Les valeurs acceptées sont :
    • BinaryComparator
    • RegexStringComparator
    • SubstringComparator

Non

SET_MAPR_HOME_DIR

Si les fichiers de configuration du composant MapR a été déplacé vers un autre emplacement du cluster, c'est-à-dire, si le répertoire Home MapR a été modifié, configurez ce paramètre à true et utilisez le paramètre MAPR_HOME_DIR afin de fournir le nouveau répertoire Home.

Non

SET_HADOOP_LOGIN

Si le module de connexion à utiliser dans le fichier mapr.login.conf a été modifié, configurez ce paramètre à true et utilisez le paramètre HADOOP_LOGIN pour fournir le module à appeler depuis le fichier mapr.login.conf.

Non

TSTATCATCHER_STATS

Configurez ce paramètre à true pour rassembler les métadonnées de traitement au niveau du Job ainsi qu'un niveau des composants.

Par défaut, ce paramètre est configuré à false.

Non

LABEL

Utilisez ce paramètre pour spécifier un libellé textuel pour le composant.

Non