Paramètres spécifiques aux composants

Guide de référence des scripts de Jobs Talend

author
Talend Documentation Team
EnrichVersion
6.5
EnrichProdName
Talend Real-Time Big Data Platform
Talend Data Integration
Talend Data Fabric
Talend Big Data
Talend Big Data Platform
Talend ESB
Talend Data Services Platform
Talend Data Management Platform
Talend MDM Platform
task
Création et développement > Création de Jobs
EnrichPlatform
Talend CommandLine
Studio Talend

Le tableau suivant présente les fonctions et paramètres des scripts de Jobs que vous pouvez définir dans la fonction setSettings {} du composant.

Fonction/paramètre Description Obligatoire ?

OUTPUT_TYPE

Spécifiez le type de données à envoyer au composant suivant.

  • STRING (par défaut)
  • BYTES

Généralement, il est recommandé de donner une valeur STRING à ce paramètre, car le tKafkaInput peut automatiquement traduire les messages Kafka byte[] en chaînes de caractères à traiter dans le Job. Cependant, si le format des messages Kafka n'est pas connu du tKafkaInput, comme Protobuf, vous pouvez utiliser le type BYTES et utiliser un composant de la famille Custom code, comme un tJavaRow, afin de désérialiser les messages en chaînes de caractères, pour que les autres composants du même Job puissent traiter ces messages.

Non

USE_EXISTING_CONNECTION

Configurez ce paramètre à true et spécifiez le nom du composant de connexion associé, à l'aide du paramètre CONNECTION, afin de réutiliser les informations de la connexion précédemment définie.

Non

KAFKA_VERSION

Spécifiez la version du cluster Kafka à utiliser. Les valeurs acceptées sont :

  • KAFKA_0_10_0_1
  • KAFKA_0_9_0_1
  • KAFKA_0_8_2_0

Oui

ZOOKEEPER_CONNECT

Specify the address of the Zookeeper service of the Kafka cluster to be used, in the form of "\"zk1:port1,zk2:port2,...\"". This parameter works only when the Kafka cluster version is Kafka 0.8.2.0.

Oui

BROKER_LIST

Spécifiez les adresses des nœuds de brokers du cluster Kafka à utiliser, au format "\"host1:port1,host2:port2,...\"".

Ce paramètre fonctionne lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.

Oui

KAFKA_TOPIC

Spécifiez le nom du topic duquel ce composant reçoit le flux des messages.

Oui

GROUP_ID

Spécifiez le nom du groupe de consommateurs auquel vous souhaitez que le consommateur courant appartienne.

Ce groupe de consommateurs sera créé lors de l'exécution s'il n'existe pas à ce moment.

Oui

RESET_OFFSET

Configurez ce paramètre à true afin de vider les offsets sauvegardés pour le groupe de consommateurs à utiliser, pour que ce groupe de consommateurs soit géré comme un nouveau groupe n'ayant consommé aucun message.

Par défaut, ce paramètre est configuré à false.

Non

AUTO_OFFSET_RESET

Spécifiez le point de départ duquel les messages d'un topic sont consommés. Les valeurs acceptées sont :

  • SMALLEST
  • LARGEST (par défaut)

Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.8.2.0.

Non

AUTO_OFFSET_RESET_NEW

Sélectionnez le point de départ duquel les messages d'un topic sont consommés. Les valeurs acceptées sont :

  • EARLIEST
  • LATEST (par défaut)

Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.

Non

KAFKA_OFFSET_STORAGE

Spécifiez le système dans lequel commiter les offsets des messages consommés. Les valeurs acceptées sont :

  • ZOOKEEPER (par défaut)
  • KAFKA

Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.8.2.0.

Non

KAFKA_DUAL_COMMIT_CHECK

Configurez ce paramètre à true afin de commiter les messages dans Zookeeper et Kafka ; configurez-le à false pour commiter les messages uniquement dans Kafka.

Par défaut, ce paramètre est configuré à true.

Ce paramètre fonctionne uniquement lorsque le système de stockages des offsets est Kafka.

Non

AUTO_COMMIT_OFFSET

Configurez ce paramètre à true et utilisez le paramètre KAFKA_COMMIT_INTERVAL afin de spécifier un intervalle de temps à la fin duquel le tKafkaInput va sauvegarder automatiquement l'état de consommation.

Par défaut, ce paramètre est configuré à true et l'intervalle de temps par défaut est de 5 000 millisecondes.

Notez que les offsets sont commités seulement à la fin de chaque intervalle de temps. Si votre Job s'arrête au milieu d'un intervalle, l'état de la consommation du message durant cet intervalle n'est pas commité.

Non

USE_BATCH_MAX_DURATION

Configurez ce paramètre à true et utilisez le paramètre BATCH_MAX_DURATION afin de spécifier la durée (en millisecondes) à la fin de laquelle le composant tKafkaInput arrête son exécution.

Par défaut, ce paramètre est configuré à false et la durée par défaut est de 600 000 millisecondes.

Non

USE_BATCH_MAX_SIZE

Configurez ce paramètre à true et utilisez le paramètre BATCH_MAX_SIZE afin de spécifier le nombre maximal de messages que doit recevoir le tKafkaInput avant qu'il arrête de s'exécuter.

Par défaut, ce paramètre est configuré à false et le nombre maximal de messages reçus est 5 000.

Non

USE_BATCH_MESSAGE_TIMEOUT

Configurez ce paramètre à true et utilisez le paramètres BATCH_MESSAGE_TIMEOUT afin de spécifier le temps (en millisecondes) durant lequel le tKafkaInput doit attendre un nouveau message, avant d'arrêter son exécution.

Par défaut, ce paramètre est configuré à false et le délai avant suspension par défaut est de 10 000 millisecondes.

Non

USE_HTTPS

Configurez ce paramètre à true pour activer le chiffrement SSL ou TLS de la connexion et utilisez le paramètre HTTPS_SETTING afin de spécifier quel composant tSetKeystore vous utilisez pour les informations de chiffrement.

Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.

Non

USE_KRB

Si le cluster Kafka à utiliser utilise la sécurité Kerberos, configurez ce paramètre à true et utilisez les paramètres suivants afin de définir les informations relatives à la sécurité :

  • JAAS_CONF : spécifiez le chemin d'accès au fichier de configuration JAAS à utiliser dans le Job pour vous authentifier à Kafka en tant que client.

  • KRB_SERVICE_NAME : spécifiez la partie primaire du Principal Kerberos définie pour les brokers lors de la création du cluster de brokers.

    Par exemple, pour le Principal kafka/kafka1.hostname.com@EXAMPLE.COM, la valeur de ce paramètre est kafka.

  • SET_KINIT_PATH : Kerberos utilise un chemin par défaut vers son exécutable Kinit. Si vous avez modifié ce chemin, configurez ce paramètre à true et utilisez le paramètre KINIT_PATH afin de spécifier le chemin d'accès personnalisé.

  • SET_KRB5_CONF : Kerberos utilise un chemin par défaut vers son fichier de configuration, krb5.conf (ou krb5.ini sous Windows) pour Kerberos 5, par exemple. Si vous avez modifié ce chemin, configurez ce paramètre à true et utilisez KRB5_CONF afin de spécifier le chemin d'accès personnalisé au fichier de configuration Kerberos.

Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.

Non

KAFKA_CONSUMER_ PROPERTIES {}

Si vous devez utiliser une configuration client Kafka personnalisée, ajoutez dans cette fonction un ou plusieurs jeu(x) des paramètres suivants afin de spécifier la (les) propriété(s) à personnaliser. Lors de l'exécution, la ou les propriété(s) personnalisée(s) écrase(nt) les propriétés correspondantes utilisées par le Studio.

  • PROPERTY : saisissez le nom de la propriété.
  • VALUE : saisissez la nouvelle valeur de la propriété.

Non

KAFKA_CONSUMER_TIMEOUT

Spécifiez la durée, en millisecondes, à la fin de laquelle vous souhaitez qu'une erreur liée à la suspension soit retournée si aucun message n'est disponible à la consommation.

La valeur par défaut est -1, ce qui signifie qu'il n'y a pas de suspension définie.

Non

SAVE_OFFSET

Configurez ce paramètre à true pour écrire en sortie les offsets des messages consommés dans le composant suivant.

Lorsque vous cochez cette case, une colonne en lecture seule, nommée offset est ajoutée au schéma.

Non

CUSTOM_ENCODING

Si vous rencontrez des erreurs d'encodage lors du traitement des données stockées, configurez ce paramètre à true et utilisez les paramètres suivants pour spécifier l'encodage correct :

  • ENCODING
  • ENCODING:ENCODING_TYPE

Non

TSTATCATCHER_STATS

Configurez ce paramètre à true pour rassembler les métadonnées de traitement au niveau du Job ainsi qu'un niveau des composants.

Par défaut, ce paramètre est configuré à false.

Non

LABEL

Utilisez ce paramètre pour spécifier un libellé textuel pour le composant.

Non