Propriétés du cKafka Standard - 7.0

Kafka - Mediation

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Data Fabric
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Messaging (Médiation) > Composants Kafka (Médiation)
Gouvernance de données > Systèmes tiers > Composants Messaging (Médiation) > Composants Kafka (Médiation)
Qualité et préparation de données > Systèmes tiers > Composants Messaging (Médiation) > Composants Kafka (Médiation)
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le cKafka s'exécutant dans le framework de Jobs Standard.

Le composant cKafka Standard appartient à la famille Connectivity.

Basic settings

Broker List

Spécifiez la liste des brokers de messages Kafka, sous la forme suivante hostname1:port1,hostname2:port2,hostname3:port3.

Client Id

Spécifiez une chaîne de caractères d'ID du client à passer au serveur lors de requêtes.

Topic

Saisissez un nom pour le topic du message dans le broker de messages.

GroupId

Saisissez l'ID du groupe de clusters Kafka Connect.

Les options suivantes sont seulement disponibles lorsque le cKafka est utilisé en tant que producteur :

 

Partitioner

Saisissez le partitionneur qui détermine comment les données sont distribuées dans le cluster Kafka.

Serializer Class

Saisissez le nom de la classe du sérialiseur à utiliser.

Key Serializer Class

Saisissez le nom de la classe du sérialiseur de clé à utiliser.

Send Buffer (bytes)

Taille de la mémoire tampon d'envoi TCP à utiliser pour envoyer des données.

Request Required Acks

Spécifiez si le producteur attend une confirmation de la réception du message de la part du broker en saisissant :

  • 0, qui signifie que le producteur n'attend jamais la confirmation du broker

  • 1, qui signifie que le producteur reçoit une confirmation après que le Replica du leader ait reçu les données

  • -1, qui signifie que le producteur reçoit une confirmation après que tous les Replicas synchronisés aient reçu les données

Request Timeout (ms)

Spécifiez la durée maximale en millisecondes pendant laquelle le client attend la réponse d'une requête. Si la réponse n'est pas reçue avant la fin du délai de suspension, le client devra renvoyer la requête si nécessaire ou faire échouer la requête si le nombre de tentatives est épuisé.

Compression Codec

Sélectionnez le type de compression : NONE, GZIP, SNAPPY ou LZ4.

Buffer Memory Size

Spécifiez les octets totaux de mémoire que le producteur peut utiliser pour mettre en mémoire tampon les enregistrements attendant d'être envoyés au serveur. Si les enregistrements sont envoyés plus rapidement qu'ils ne peuvent être livrés au serveur, le producteur attend durant la période spécifiée dans le champ Max Block (ms), après quoi il retourne une exception.

Retries

Spécifiez une valeur supérieure à 0 pour que le client envoie à nouveau tout enregistrement dont l'envoi a échoué, avec une erreur potentiellement passagère.

Retry Backoff (ms)

Spécifiez la durée d'attente avant une nouvelle tentative d'une requête échouée, dans une partition de topic donnée. Cela évite la création d'une boucle d'échec de la requête.

Batch Size

Le producteur tente de grouper par lots des enregistrements en de moins nombreuses requêtes lorsque de multiples enregistrements sont envoyés à la même partition. Cela améliore les performances du côté serveur et du côté client. Spécifiez la taille par défaut des lots, en octets, dans ce champ.

Connection Idle Max (ms)

Spécifiez la période, en millisecondes, après laquelle fermer les connexions inactives.

Linger (ms)

Spécifiez, en millisecondes, la période de temps durant laquelle le producteur doit attendre pour grouper les enregistrements qui arrivent en une requête de lot, afin de réduire le nombre de requêtes. Notez que, si le producteur a reçu le nombre d’enregistrements spécifié dans le champ Batch Size il envoie immédiatement les enregistrements, quelle que soit la valeur spécifiée dans ce paramètre.

Max Block (ms)

Spécifiez la période de temps maximale durant laquelle le producteur doit attendre car la mémoire tampon est pleine ou car les métadonnées sont indisponibles.

Max Request Size

Spécifiez la taille maximale d'une requête, en octets. Ce paramètre limite le nombre de lots d'enregistrements que le producteur envoie en une seule requête, afin d'éviter l'envoi de requêtes très volumineuses.

Receive Buffer (bytes)

Spécifiez la mémoire tampon de réception TCP à utiliser lors de la lecture de données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.

Max in Flight Request

Spécifiez le nombre maximal de requêtes sans accus de réception que le client va envoyer en une seule connexion avant de bloquer. Notez que, si la valeur de ce paramètre est supérieure à 1 et que des envois échouent, les messages risquent d'être réordonnés, à cause des nouvelles tentatives, si elles sont autorisées.

Metadata Max Age (ms)

Spécifiez la durée en millisecondes après laquelle un rafraîchissement des métadonnées aura lieu, même s'il n'y a aucun changement de leadership de partition pour découvrir de nouveaux brokers ou de nouvelles partitions.

Reconnect Backoff (ms)

Spécifiez la durée en millisecondes à attendre avant de tenter une reconnexion à un hôte donné. Cela évite les tentatives de connexion à un hôte en boucle.

Les options suivantes sont seulement disponibles lorsque le cKafka est utilisé en tant que consommateur :

 

Send Buffer (bytes)

Spécifiez la mémoire tampon d'envoi TCP à utiliser lors de l'envoi des données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.

Retry Backoff (ms)

Spécifiez la durée d'attente avant une nouvelle tentative d'une requête échouée, dans une partition de topic donnée. Cela évite la création d'une boucle d'échec de la requête.

Connection Idle Max (ms)

Spécifiez la période, en millisecondes, après laquelle fermer les connexions inactives.

Receive Buffer (bytes)

Spécifiez la mémoire tampon de réception TCP à utiliser lors de la lecture des données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.

Metadata Max Age (ms)

Spécifiez la durée en millisecondes après laquelle un rafraîchissement des métadonnées aura lieu, même s'il n'y a aucun changement de leadership de partition pour découvrir de nouveaux brokers ou de nouvelles partitions.

Reconnect Backoff (ms)

Spécifiez la durée en millisecondes à attendre avant de tenter une reconnexion à un hôte donné. Cela évite les tentatives de connexion à un hôte en boucle.

Barrier Await Timeout (ms)

Spécifiez la durée en millisecondes pendant laquelle la tâche de consommateur de lots attend si l'échange de messages excède la taille des lots. La valeur par défaut est 10000.

Auto Commit Enable

Cochez cette case pour commiter périodiquement l'offset de messages, en tâche de fond. Spécifiez la fréquence en millisecondes dans le champ Auto Commit Interval (ms) à laquelle les offsets consommateurs sont commités dans Kafka.

Fetch Min (bytes)

Spécifiez la quantité minimale de données en octets que le serveur doit retourner pour une requête de récupération. S'il n'y a pas assez de données disponibles, la requête attendra que la quantité de données nécessaire soit disponible avant de répondre à la requête. La valeur par défaut est 1 octet, ce qui signifie que les requêtes récupérées obtiennent une réponse dès qu'un seul octet de données est disponible ou si la requête de récupération est suspendue lors de l'attente des données. Paramétrer une valeur supérieure à 1 permet au serveur d'attendre l'accumulation de plus gros volumes de données, ce qui améliore légèrement le débit du serveur, au prix d'une latence légèrement plus élevée.

Fetch Wait Max (ms)

Spécifiez la durée maximale en millisecondes pendant laquelle le serveur sera bloqué avant de répondre à la requête de récupération s'il n'y a pas assez de données immédiatement disponibles pour correspondre à la valeur du champ Fetch Min (bytes).

Auto Offset Reset

Sélectionnez la procédure à exécuter lorsqu'il n'y a pas d'offset initial dans Kafka ou si l'offset courant n'existe plus sur le serveur :

  • EARLIEST : réinitialiser automatiquement l'offset au plus ancien ;

  • LATEST : réinitialiser automatiquement l'offset au plus récent ;

  • NONE : retourner une exception au consommateur si aucun offset précédent n'est trouvé pour le groupe de consommateurs.

Heartbeat Interval (ms)

Spécifiez le temps attendu, en millisecondes, entre les signaux envoyés au coordinateur de consommateurs lors de l'utilisation de la gestion de groupes Kafka. Les signaux sont utilisés pour assurer que la session du consommateur reste active, ainsi que pour faciliter la redistribution lorsque de nouveaux consommateurs joignent ou quittent le groupe. Cette valeur doit être paramétrée pour être inférieure à la valeur de Session Timeout (ms), mais ne doit généralement pas dépasser 1/3 de cette valeur. Elle peut être configurée à une valeur encore plus basse, afin de contrôler le temps attendu pur les redistributions normales.

Maximum Partition Fetch (bytes)

Spécifiez en octets la quantité maximale de données par partition à retourner par le serveur. Si le premier message de la première partition non vide de la récupération dépasse cette limite, le message sera tout de même retourné pour assurer que le consommateur avance.

Session Timeout (ms)

Spécifiez le délai avant suspension, en millisecondes, utilisé pour détecter les échecs des consommateurs lors de l'utilisation de la gestion de groupes Kafka. Le consommateur envoie un signal périodique pour indiquer sa vivacité au broker. Si aucun signal n'est reçu par le broker avant l'expiration de la suspension de cette session, le broker va supprimer ce consommateur du groupe et initialiser une redistribution.

Partition Assignor

Spécifiez le nom de la classe de la stratégie d'assignation de partitions que le client utilise pour distribuer la propriété des partitions parmi les instances consommatrices, lorsque la gestion de groupes est utilisée.

Request Timeout (ms)

Spécifiez, en millisecondes, la période de temps maximale durant laquelle le client attend la réponse d'une requête. Si la réponse n'est pas reçue avant la fin de la période, le client renvoie la requête, si nécessaire, ou met en échec la requête, si toutes les tentatives sont épuisées.

Advanced settings

Kafka Properties

Définissez les arguments facultatifs dans la table correspondante. Cliquez sur le bouton [+] autant de fois que nécessaire pour ajouter des arguments à la table. Cliquez ensuite sur le champ de la valeur correspondante et saisissez une valeur. Consultez le site http://kafka.apache.org/documentation.html (en anglais) pour connaître les options disponibles.

SSL Key Password

Cliquez sur le bouton [...] et saisissez le mot de passe de la clé privée dans le fichier KeyStore, entre guillemets doubles.

SSL Keystore Location

Saisissez l'emplacement du fichier KeyStore.

SSL Keystore Password

Cliquez sur le bouton [...] et saisissez le mot de passe du fichier KeyStore, entre guillemets doubles. Cela est nécessaire uniquement si l'option SSL Keystore Location est configurée.

SSL Truststore Location

Saisissez l'emplacement du fichier TrustStore.

SSL Truststore Password

Cliquez sur le bouton [...] et saisissez le mot de passe, entre guillemets doubles, pour le fichier TrustStore.

SSL Cipher Suits

Saisissez la liste des suites cryptographiques. C'est une combinaison nommée d'authentification, chiffrement, MAC et algorithme d'échange de clés utilisée pour négocier les paramètres de sécurité pour une connexion réseau utilisant un protocole TLS ou SSL. Par défaut, toutes les suites cryptographiques sont supportées.

SSL Endpoint Algorithm

Saisissez l'algorithme d'identification de l'endpoint pour valider le nom d'hôte du serveur à l'aide du certificat du serveur.

Kerberos Service Name

Saisissez le nom du Principal Kerberos que Kafka utilise pour s'exécuter.

Security Protocol

Sélectionnez le protocole à utiliser pour communiquer avec les brokers : Plaintext, SSL, SASL over Plaintext ou SASL over SSL.

Utilisation

Règle d'utilisation

Le cKafka est utilisé comme composant de départ, de milieu ou de fin dans une Route.

Limitation

n/a