Propriétés du tKafkaOutput Standard

Ces propriétés sont utilisées pour configurer le tKafkaOutput s'exécutant dans le framework de Jobs Standard.

Le composant tKafkaOutput Standard appartient à la famille Internet.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data et dans Talend Data Fabric.

Basic settings

Input type	Dans la liste déroulante, sélectionnez le type de messages que Kafka doit lire : byte[] : le composant reçoit des messages sérialisés en tableaux d'octets. ProducerRecord : le composant reçoit des messages sérialisés en paires de clé/valeur. La clé et la valeur du message peuvent être sérialisés comme Avro. Cette propriété est disponible depuis la version 2.2.1 de Kafka.
Schema et Edit schema	Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé `line` lors du nommage des champs. Le schéma de ce composant est en lecture seule. Il stocke le corps du message envoyé du producteur du message.
Use an existing connection	Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.
Version	Sélectionnez la version du cluster Kafka à utiliser. Si vous avez installé la mise à jour mensuelle 8.0.1-R2024-02 du Studio Talend ou une plus récente fournie par Talend, les versions antérieures ou égales à Kafka 2.4.x sont dépréciées.
Broker list	Saisissez les adresses des nœuds du broker du cluster Kafka à utiliser. L'adresse doit se présenter sous la forme suivante : hostname:port. Ces informations contiennent le nom et le port du nœud hébergeant dans le cluster Kafka. Si vous devez spécifier plusieurs adresses, séparez-les à l'aide d'une virgule (,).
Topic name	Saisissez le nom du topic dans lequel vous souhaitez publier des messages. Ce topic doit déjà exister. Cette propriété est disponible uniquement lorsque vous sélectionnez Byte[] dans la liste Input Type.
Compress the data	Cochez la case Compress the data afin de compresser les données de sortie.
Use SSL/TLS	Cochez cette case pour activer la connexion chiffrée SSL ou TLS. Cette case est disponible depuis Kafka 0.9.0.1.
Set keystore	Cochez cette case pour activer la connexion chiffrée SSL ou TLS via un composant tSetKeystore. Utilisez le composant tSetKeystore dans le même Job afin de spécifier les informations de chiffrement. Cette case est disponible uniquement lorsque vous cochez la case Use SSL/TLS. Note InformationsRemarque : Cette option est disponible si vous avez installé la mise à jour mensuelle 8.0.1-R2022-05 du Studio Talend ou une plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.
Use Kerberos authentication	Si le cluster Kafka à utiliser est sécurisé par Kerberos, cochez cette case pour afficher les paramètres associés à définir : JAAS configuration path : saisissez le chemin d'accès ou parcourez votre système jusqu'au fichier de configuration JAAS à utiliser par le Job pour authentification en tant que client à Kafka. Le fichier JAAS décrit comment les clients, les Jobs Kafka en termes Talend peuvent se connecter aux nœuds du broker Kafka, en utilisant soit le mode kinit, soit le mode keytab. Le fichier JAAS doit être stocké sur la machine où sont exécutés les Jobs. Talend , Kerberos et Kafka ne fournissent pas ce fichier JAAS. Vous devez le créer en suivant les explications dans Configuring Kafka client (en anglais), selon la stratégie de sécurité de votre entreprise. Kafka brokers principal name : saisissez le membre primaire du Principal Kerberos défini pour les brokers lorsque vous avez créé le cluster de brokers. Par exemple, dans ce Principal kafka/kafka1.hostname.com@EXAMPLE.COM, le membre primaire à utiliser pour renseigner ce champ est kafka. Set kinit command path : Kerberos utilise un chemin par défaut pour son exécutable kinit. Si vous avez modifié ce chemin, cochez cette case et saisissez votre chemin d'accès personnalisé. Si vous laissez cette case décochée, le chemin par défaut est utilisé. Set Kerberos configuration path : Kerberos utilise un chemin par défaut vers son fichier de configuration, le fichier krb5.conf (ou krb5.ini sous Windows) pour Kerberos 5 par exemple. Si vous avez modifié ce chemin, cochez cette case et saisissez le chemin d'accès personnalisé au fichier de configuration Kerberos. Si vous laissez cette case décochée, une stratégie donnée est appliquée par Kerberos pour tenter de trouver les informations de configuration nécessaires. Pour plus d'informations concernant cette stratégie, consultez la section Locating the krb5.conf Configuration File dans Kerberos requirements (en anglais). Pour plus d'informations concernant la manière dont est sécurisé un cluster Kafka via Kerberos, consultez Authenticating using SASL (en anglais). Cette case est disponible depuis Kafka 0.9.0.1.

Advanced settings

Kafka properties	Ajoutez dans cette table les nouvelles propriétés producteur Kafka à personnaliser. Pour plus d'informations concernant les nouvelles propriétés de production pouvant être définies dans cette table, consultez la section décrivant la nouvelle configuration de production dans la documentation officielle de Kafka (en anglais).
Set Headers	Cochez cette case pour ajouter des en-têtes aux messages à envoyer. Cette fonctionnalité est disponible à partir de Kafka 1.1.0.
Use schema registry	Cochez cette case pour utiliser Confluent Schema Registry et afficher les paramètres associés à définir URL : saisissez l'URL de l'instance de Schema Registry. Basic authentication : cochez cette case et saisissez vos identifiants dans les champs Username et Password. Set schema registry keystore : cochez cette case pour activer la connexion chiffrée SSL ou TLS. Utilisez le composant tSetKeystore dans le même Job afin de spécifier les informations de chiffrement. Cette case n'est pas disponible lorsque vous avez déjà configuré un tSetKeystore dans la vue Basic settings du composant, car la configuration du SSL Kafka est réutilisée pour le registre du schéma. Key deserializer et Value deserializer : sélectionnez le format de schéma à utiliser pour la clé et la valeur, dans la liste déroulante. Le sérialiseur Custom par défaut est org.apache.kafka.common.serialization.ByteArraySerializer. Pour plus d'informations concernant Schema Registry, consultez la documentation Confluent (en anglais). Cette option est disponible uniquement lorsque vous sélectionnez ProducerRecord dans la liste déroulante Input Type de la vue Basic settings. Note InformationsRemarque : Cette option est disponible si vous avez installé la mise à jour mensuelle 8.0.1-R2022-01 du Studio Talend ou une plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.
tStatCatcher Statistics	Cochez cette case pour collecter les métadonnées de traitement au niveau du Job ainsi qu'au niveau de chaque composant.

Variables globales

ERROR_MESSAGE	Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement lorsque la case Die on error est cochée.
NB_LINE	Nombre de lignes traitées. Cette variable est une variable After et retourne un entier.
NB_ERRORS	Nombre de lignes traitées avec erreurs. Cette variable est une variable After et retourne un entier.
NB_SUCCESS	Nombre de lignes correctement traitées. Cette variable est une variable After et retourne un entier.

Utilisation

Règle d'utilisation	Ce composant est un composant de fin. Il nécessite un composant tJavaRow ou un tJava pour transformer les données entrantes en tableaux d'octets sérialisés. L'exemple suivant vous montre comment construire une instruction pour effectuer cette transformation : `output_row.serializedValue = input_row.users.getBytes();` Dans ce code, la variable output_row représente le schéma des données à écrire en sortie dans le tKafkaOutput et output_row.serializedValue la colonne en lecture seule de ce schéma. La variable input_row représente le schéma des données entrantes et input_row.users la colonne d'entrée nommée users à transformer en tableau d'octets via la méthode getBytes().

Règle d'utilisation

Ce composant est un composant de fin. Il nécessite un composant tJavaRow ou un tJava pour transformer les données entrantes en tableaux d'octets sérialisés.

L'exemple suivant vous montre comment construire une instruction pour effectuer cette transformation :

output_row.serializedValue = input_row.users.getBytes();

Dans ce code, la variable output_row représente le schéma des données à écrire en sortie dans le tKafkaOutput et output_row.serializedValue la colonne en lecture seule de ce schéma. La variable input_row représente le schéma des données entrantes et input_row.users la colonne d'entrée nommée users à transformer en tableau d'octets via la méthode getBytes().

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici