Paramètres spécifiques aux composants - 6.5

Guide de référence des scripts de Jobs Talend

EnrichVersion
6.5
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
EnrichPlatform
Studio Talend
Talend CommandLine
task
Création et développement > Création de Jobs

Le tableau suivant présente les fonctions et paramètres des scripts de Jobs que vous pouvez définir dans la fonction setSettings {} du composant.

Fonction/paramètre Description Obligatoire ?

USE_EXISTING_CONNECTION

Configurez ce paramètre à true et spécifiez le nom du composant de connexion associé, à l'aide du paramètre CONNECTION, afin de réutiliser les informations de la connexion précédemment définie.

Non

DISTRIBUTION

Spécifiez une distribution de cluster. Les valeurs acceptables sont :

  • APACHE
  • CLOUDERA
  • HORTONWORKDS
  • MAPR
  • PIVOTAL_HD
  • Personnalisé

Si vous ne renseignez pas ce paramètre, la distribution par défaut du cluster est Amazon EMR.

Non

HBASE_VERSION

Spécifiez la version de la distribution Hadoop que vous utilisez. Les valeurs acceptables sont les suivantes  :

  • Pour Amazon EMR :

    • EMR_5_5_0
    • EMR_5_0_0
    • EMR_4_6_0
  • Pour Apache :

    • APACHE_1_0_0
  • Pour Cloudera :

    • Cloudera_CDH5_10
    • Cloudera_CDH5_8
    • Cloudera_CDH5_7
    • Cloudera_CDH5_6
    • Cloudera_CDH5_5
  • Pour HortonWorks :

    • HDP_2_6
    • HDP_2_5
    • HDP_2_4
  • Pour MapR :

    • MAPR520
    • MAPR510
    • MAPR500
  • Pour Pivotal HD :

    • PIVOTAL_HD_2_0
    • PIVOTAL_HD_1_0_1

La valeur par défaut est EMR_5_5_0.

Non

HADOOP_CUSTOM_VERSION

Si vous utilisez un cluster personnalisé, utilisez ce paramètre afin de spécifier la version Hadoop du cluster personnalisé, HADOOP_1 (par défaut) ou HADOOP_2.

Non

ZOOKEEPER_QUORUM

Saisissez le nom ou l'URL du service Zookeeper utilisé pour coordonner la transaction entre votre Studio et votre base de données.

Notez que, lorsque vous configurez Zookeeper, il est possible que vous deviez définir explicitement le chemin vers le nœud znode racine contenant tous les nœuds znodes créés et utilisés par votre base de données, à l'aide des paramètres SET_ZNODE_PARENT et ZNODE_PARENT.

Oui

ZOOKEEPER_CLIENT_PORT

Saisissez le numéro du port d'écoute client du service Zookeeper utilisé.

Oui

SET_ZNODE_PARENT

Si besoin, configurez ce paramètre à true et spécifiez le chemin vers le nœud znode racine, à l'aide du paramètre ZNODE_PARENT.

Non

USE_KRB

Si la base de données à utiliser s'exécute avec la sécurité Kerberos, configurez ce paramètre à true et spécifiez les noms de Principaux, à l'aide des paramètres HBASE_MASTER_PRINCIPAL et HBASE_REGIONSERVER_PRINCIPA.

Non

USE_KEYTAB

Si vous devez utiliser un fichier Keytab Kerberos afin de vous connecter, configurez ce paramètre à true et spécifiez le Principal à l'aide du paramètre PRINCIPAL et le chemin d'accès au fichier Keytab à l'aide du paramètre KEYTAB_PATH.

Non

USE_MAPRTICKET

Si ce cluster est un cluster MapR de version 4.0.1 ou supérieure, vous devez configurer l'authentification par ticket MapR en définissant à true la valeur de ce paramètre et en fournissant les informations nécessaires, à l'aide des paramètres MAPRTICKET_CLUSTER, MAPRTICKET_DURATION, USERNAME et MAPRTICKET_PASSWORD. Pour plus d'informations, consultez Connexion sécurisée à MapR.

Non

TABLE

Saisissez le nom de la table HBase dans laquelle écrire les données.

Oui

SET_TABLE_NS_MAPPING

Si nécessaire, configurez ce paramètre à true et utilisez TABLE_NS_MAPPING pour fournir la chaîne de caractères à utiliser pour construire le mapping entre une table Apache HBase et une table MapR.

Non

TABLE_ACTION

Saisissez l'action à effectuer sur la table spécifiée. Les valeurs acceptées sont :

  • NONE (par défaut)
  • CREATE
  • DROP_CREATE
  • CREATE_IF_NOT_EXISTS
  • DROP_IF_EXISTS_AND_CREATE

Non

FAMILIES {}

Ajoutez dans cette fonction les paramètres suivants afin de mapper les colonnes de la table à utiliser aux colonnes du schéma définies dans le flux de données à traiter.

  • SCHEMA_COLUMN : saisissez le nom de la colonne du schéma à mapper.
  • FAMILY_COLUMN : saisissez la famille de la colonne à laquelle mapper la colonne du schéma.

Pour plus d'informations concernant les familles de colonnes, consultez la documentation Apache Column families (en anglais).

Oui

DIE_ON_ERROR

Configurez ce paramètre à true afin d'arrêter l'exécution du Job lorsqu'une erreur survient.

Par défaut, ce paramètre est configuré à false.

Non

USE_BATCH_MODE

Configurez ce paramètre à true pour activer le mode par lots pour le traitement des données et utilisez BATCH_SIZE afin de spécifier le nombre d'enregistrements à traiter dans chaque lot.

Non

HBASE_PARAMETERS {}

Si vous devez utiliser une configuration personnalisée pour votre base de données, ajoutez dans cette fonction un ou plusieurs jeu(x) des paramètres suivants, afin de spécifier la ou les propriété(s) à personnaliser. Lors de l'exécution, la ou les propriété(s) personnalisée(s) vont écraser les propriétés utilisées par le Studio Talend.

  • PROPERTY : saisissez le nom de la propriété.
  • VALUE : saisissez la nouvelle valeur de la propriété.

Non

FAMILY_PARAMETERS {}

Saisissez les noms et, si nécessaire, les options personnalisées relatives aux performances de la famille de colonnes (ou des familles de colonnes) à créer, en utilisant un ou plusieurs jeu(x) des paramètres suivants. Ces options sont toutes des attributs définis par le modèle de données HBase. Pour plus d'informations, consultez la documentation Apache HBase (en anglais).

  • FAMILY_NAME
  • FAMILY_INMEMORY
  • FAMILY_BLOCKCACHEENABLED
  • FAMILY_BLOOMFILTERTYPE
  • FAMILY_BLOCKSIZE
  • FAMILY_COMPACTIONCOMPRESSIONTYPE
  • FAMILY_COMPRESSIONTYPE
  • FAMILY_MAXVERSIONS
  • FAMILY_SCOPE
  • FAMILY_TIMETOLIVE

Oui

SET_MAPR_HOME_DIR

Si les fichiers de configuration du composant MapR a été déplacé vers un autre emplacement du cluster, c'est-à-dire, si le répertoire Home MapR a été modifié, configurez ce paramètre à true et utilisez le paramètre MAPR_HOME_DIR afin de fournir le nouveau répertoire Home.

Non

SET_HADOOP_LOGIN

Si le module de connexion à utiliser dans le fichier mapr.login.conf a été modifié, configurez ce paramètre à true et utilisez le paramètre HADOOP_LOGIN pour fournir le module à appeler depuis le fichier mapr.login.conf.

Non

TSTATCATCHER_STATS

Configurez ce paramètre à true pour rassembler les métadonnées de traitement au niveau du Job ainsi qu'un niveau des composants.

Par défaut, ce paramètre est configuré à false.

Non

LABEL

Utilisez ce paramètre pour spécifier un libellé textuel pour le composant.

Non