Le tableau suivant présente les fonctions et paramètres des scripts de Jobs que vous pouvez définir dans la fonction setSettings {} du composant.
| Fonction/paramètre | Description | Obligatoire ? |
|---|---|---|
|
USE_EXISTING_CONNECTION |
Configurez ce paramètre à true et spécifiez le nom du composant de connexion associé, à l'aide du paramètre CONNECTION, afin de réutiliser les informations de la connexion précédemment définie. |
Non |
|
DISTRIBUTION |
Spécifiez une distribution de cluster. Les valeurs acceptables sont :
Si vous ne renseignez pas ce paramètre, la distribution par défaut du cluster est Amazon EMR. |
Non |
|
HBASE_VERSION |
Spécifiez la version de la distribution Hadoop que vous utilisez. Les valeurs acceptables sont les suivantes :
La valeur par défaut est EMR_5_5_0. |
Non |
|
HADOOP_CUSTOM_VERSION |
Si vous utilisez un cluster personnalisé, utilisez ce paramètre afin de spécifier la version Hadoop du cluster personnalisé, HADOOP_1 (par défaut) ou HADOOP_2. |
Non |
|
ZOOKEEPER_QUORUM |
Saisissez le nom ou l'URL du service Zookeeper utilisé pour coordonner la transaction entre votre Studio et votre base de données. Notez que, lorsque vous configurez Zookeeper, il est possible que vous deviez définir explicitement le chemin vers le nœud znode racine contenant tous les nœuds znodes créés et utilisés par votre base de données, à l'aide des paramètres SET_ZNODE_PARENT et ZNODE_PARENT. |
Oui |
|
ZOOKEEPER_CLIENT_PORT |
Saisissez le numéro du port d'écoute client du service Zookeeper utilisé. |
Oui |
|
SET_ZNODE_PARENT |
Si besoin, configurez ce paramètre à true et spécifiez le chemin vers le nœud znode racine, à l'aide du paramètre ZNODE_PARENT. |
Non |
|
USE_KRB |
Si la base de données à utiliser s'exécute avec la sécurité Kerberos, configurez ce paramètre à true et spécifiez les noms de Principaux, à l'aide des paramètres HBASE_MASTER_PRINCIPAL et HBASE_REGIONSERVER_PRINCIPA. |
Non |
|
USE_KEYTAB |
Si vous devez utiliser un fichier Keytab Kerberos afin de vous connecter, configurez ce paramètre à true et spécifiez le Principal à l'aide du paramètre PRINCIPAL et le chemin d'accès au fichier Keytab à l'aide du paramètre KEYTAB_PATH. |
Non |
|
USE_MAPRTICKET |
Si ce cluster est un cluster MapR de version 4.0.1 ou supérieure, vous devez configurer l'authentification par ticket MapR en définissant à true la valeur de ce paramètre et en fournissant les informations nécessaires, à l'aide des paramètres MAPRTICKET_CLUSTER, MAPRTICKET_DURATION, USERNAME et MAPRTICKET_PASSWORD. Pour plus d'informations, consultez la section concernant la connexion à un cluster MapR sécurisé dans MapR. |
Non |
|
TABLE |
Saisissez le nom de la table HBase dans laquelle écrire les données. |
Oui |
|
SET_TABLE_NS_MAPPING |
Si nécessaire, configurez ce paramètre à true et utilisez TABLE_NS_MAPPING pour fournir la chaîne de caractères à utiliser pour construire le mapping entre une table Apache HBase et une table MapR. |
Non |
|
TABLE_ACTION |
Saisissez l'action à effectuer sur la table spécifiée. Les valeurs acceptées sont :
|
Non |
|
FAMILIES {} |
Ajoutez dans cette fonction les paramètres suivants afin de mapper les colonnes de la table à utiliser aux colonnes du schéma définies dans le flux de données à traiter.
Pour plus d'informations concernant les familles de colonnes, consultez la documentation Apache Column families (en anglais). |
Oui |
|
DIE_ON_ERROR |
Configurez ce paramètre à true afin d'arrêter l'exécution du Job lorsqu'une erreur survient. Par défaut, ce paramètre est configuré à false. |
Non |
|
USE_BATCH_MODE |
Configurez ce paramètre à true pour activer le mode par lots pour le traitement des données et utilisez BATCH_SIZE afin de spécifier le nombre d'enregistrements à traiter dans chaque lot. |
Non |
|
HBASE_PARAMETERS {} |
Si vous devez utiliser une configuration personnalisée pour votre base de données, ajoutez dans cette fonction un ou plusieurs jeu(x) des paramètres suivants, afin de spécifier la ou les propriété(s) à personnaliser. Lors de l'exécution, la ou les propriété(s) personnalisée(s) vont écraser les propriétés utilisées par le Studio Talend.
|
Non |
|
FAMILY_PARAMETERS {} |
Saisissez les noms et, si nécessaire, les options personnalisées relatives aux performances de la famille de colonnes (ou des familles de colonnes) à créer, en utilisant un ou plusieurs jeu(x) des paramètres suivants. Ces options sont des attributs définis par le modèle de données HBase. Pour plus d'informations concernant ces options, consultez la documentation de Apache HBase.
|
Oui |
|
SET_MAPR_HOME_DIR |
Si l'emplacement des fichiers de configuration MapR a été déplacé vers un autre emplacement du cluster, c'est-à-dire, si le répertoire Home MapR a été modifié, configurez ce paramètre à true et utilisez le paramètre MAPR_HOME_DIR afin de fournir le nouveau répertoire Home. |
Non |
|
SET_HADOOP_LOGIN |
Si le module de connexion à utiliser dans le fichier mapr.login.conf a été modifié, configurez ce paramètre à true et utilisez le paramètre HADOOP_LOGIN pour fournir le module à appeler depuis le fichier mapr.login.conf. |
Non |
|
TSTATCATCHER_STATS |
Configurez ce paramètre à true pour rassembler les métadonnées de traitement au niveau du Job ainsi qu'un niveau des composants. Par défaut, ce paramètre est configuré à false. |
Non |
|
LABEL |
Utilisez ce paramètre pour spécifier un libellé textuel pour le composant. |
Non |