Propriétés du cKafka Standard - Cloud - 8.0

Broker list

Spécifiez la liste des brokers de messages Kafka, sous la forme suivante hostname1:port1,hostname2:port2,hostname3:port3.

Client Id

Spécifiez une chaîne de caractères d'ID du client à passer au serveur lors de requêtes.

Topic

Saisissez un nom pour le topic du message dans le broker de messages.

GroupId

Saisissez l'ID du groupe de clusters Kafka Connect.

Les options suivantes sont seulement disponibles lorsque le cKafka est utilisé en tant que producteur :

Partitioner

Saisissez le partitionneur qui détermine comment les données sont distribuées dans le cluster Kafka.

Serializer Class

Saisissez le nom de la classe du sérialiseur à utiliser.

Key Serializer Class

Saisissez le nom de la classe du sérialiseur de clé à utiliser.

Send Buffer (bytes)

Taille de la mémoire tampon d'envoi TCP à utiliser pour envoyer des données.

Request Required Acks

Spécifiez si le producteur attend une confirmation de la réception du message de la part du broker en saisissant :

• 0, qui signifie que le producteur n'attend jamais la confirmation du broker

• 1, qui signifie que le producteur reçoit une confirmation après que le Replica du leader a reçu les données

• -1 ou all, qui signifie que le producteur reçoit une confirmation après que tous les Replicas synchronisés ont reçu les données.

Request Timeout (ms)

Spécifiez, en millisecondes, la période de temps maximale durant laquelle le client attend la réponse d'une requête. Si la réponse n'est pas reçue avant la fin du délai de suspension, le client devra renvoyer la requête si nécessaire ou faire échouer la requête si le nombre de tentatives est épuisé.

Compression Codec

Sélectionnez le type de compression : NONE, GZIP, SNAPPY ou LZ4.

Buffer Memory Size

Spécifiez les octets totaux de mémoire que le producteur peut utiliser pour mettre en mémoire tampon les enregistrements attendant d'être envoyés au serveur. Si les enregistrements sont envoyés plus rapidement qu'ils ne peuvent être livrés au serveur, le producteur attend durant la période spécifiée dans le champ Max Block (ms), après quoi il retourne une exception.

Retries

Spécifiez une valeur supérieure à 0 pour que le client envoie à nouveau tout enregistrement dont l'envoi a échoué, avec une erreur potentiellement passagère.

Retry Backoff (ms)

Spécifiez la durée d'attente avant une nouvelle tentative d'une requête échouée, dans une partition de topic donnée. Cela évite la création d'une boucle d'échec de la requête.

Batch Size

Le producteur tente de grouper par lots des enregistrements en de moins nombreuses requêtes lorsque de multiples enregistrements sont envoyés à la même partition. Cela améliore les performances du côté serveur et du côté client. Spécifiez la taille par défaut des lots, en octets, dans ce champ.

Connection Idle Max (ms)

Spécifiez la période, en millisecondes, après laquelle fermer les connexions inactives.

Linger (ms)

Spécifiez, en millisecondes, la période de temps durant laquelle le producteur doit attendre pour grouper les enregistrements qui arrivent en une requête de lot, afin de réduire le nombre de requêtes. Notez que, si le producteur a reçu le nombre d’enregistrements spécifié dans le champ Batch Size, il envoie immédiatement les enregistrements, quelle que soit la valeur spécifiée dans ce paramètre.

Max Block (ms)

Spécifiez la période de temps maximale durant laquelle le producteur doit attendre, car la mémoire tampon est pleine ou parce que les métadonnées sont indisponibles.

Max Request Size

Spécifiez la taille maximale d'une requête, en octets. Ce paramètre limite le nombre de lots d'enregistrements que le producteur envoie en une seule requête, afin d'éviter l'envoi de requêtes très volumineuses.

Receive Buffer (bytes)

Spécifiez la mémoire tampon de réception TCP à utiliser lors de la lecture des données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.

Max in Flight Request

Spécifiez le nombre maximal de requêtes sans accusé de réception que le client va envoyer en une seule connexion avant de bloquer. Notez que, si la valeur de ce paramètre est supérieure à 1 et que des envois échouent, les messages risquent d'être réordonnés, à cause des nouvelles tentatives, si elles sont autorisées.

Metadata Max Age (ms)

Spécifiez la durée en millisecondes après laquelle un rafraîchissement des métadonnées aura lieu, même s'il n'y a aucun changement de leadership de partition pour découvrir de nouveaux brokers ou de nouvelles partitions.

Reconnect Backoff (ms)

Spécifiez la durée en millisecondes à attendre avant de tenter une reconnexion à un hôte donné. Cela évite les tentatives de connexion à un hôte en boucle.

Pour plus d'informations concernant Schema Registry, consultez la documentation Confluent (en anglais).

Cette option est disponible si vous avez installé la mise à jour mensuelle 8.0.1-R2023-10 du Studio Talend ou une plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Les options suivantes sont seulement disponibles lorsque le cKafka est utilisé en tant que consommateur :

Send Buffer (bytes)

Spécifiez la mémoire tampon d'envoi TCP à utiliser lors de l'envoi des données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.

Retry Backoff (ms)

Spécifiez la durée d'attente avant une nouvelle tentative d'une requête échouée, dans une partition de topic donnée. Cela évite la création d'une boucle d'échec de la requête.

Connection Idle Max (ms)

Spécifiez la période, en millisecondes, après laquelle fermer les connexions inactives.

Receive Buffer (bytes)

Spécifiez la mémoire tampon de réception TCP à utiliser lors de la lecture des données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.

Metadata Max Age (ms)

Spécifiez la durée en millisecondes après laquelle un rafraîchissement des métadonnées aura lieu, même s'il n'y a aucun changement de leadership de partition pour découvrir de nouveaux brokers ou de nouvelles partitions.

Reconnect Backoff (ms)

Spécifiez la durée en millisecondes à attendre avant de tenter une reconnexion à un hôte donné. Cela évite les tentatives de connexion à un hôte en boucle.

Auto Commit Enable

Cochez cette case pour commiter périodiquement l'offset de messages, en tâche de fond. Spécifiez la fréquence en millisecondes dans le champ Auto Commit Interval (ms) à laquelle les offsets consommateurs sont commités dans Kafka.

Fetch Min (bytes)

Spécifiez la quantité minimale de données en octets que le serveur doit retourner pour une requête de récupération. S'il n'y a pas assez de données disponibles, la requête attendra que la quantité de données nécessaire soit disponible avant de répondre à la requête. La valeur par défaut est 1 octet, ce qui signifie que les requêtes récupérées obtiennent une réponse dès qu'un seul octet de données est disponible ou si la requête de récupération est suspendue lors de l'attente des données. Paramétrer une valeur supérieure à 1 permet au serveur d'attendre l'accumulation de plus gros volumes de données, ce qui améliore légèrement le débit du serveur, au prix d'une latence légèrement plus élevée.

Spécifiez la durée maximale en millisecondes pendant laquelle le serveur sera bloqué avant de répondre à la requête de récupération s'il n'y a pas assez de données immédiatement disponibles pour correspondre à la valeur du champ Fetch Min (bytes).

Auto Offset Reset

Sélectionnez la procédure à exécuter lorsqu'il n'y a pas d'offset initial dans Kafka ou si l'offset courant n'existe plus sur le serveur :

• EARLIEST : réinitialiser automatiquement l'offset au plus ancien ;

• LATEST : réinitialiser automatiquement l'offset au plus récent ;

• NONE : retourner une exception au consommateur si aucun offset précédent n'est trouvé pour le groupe de consommateurs.

Heartbeat Interval (ms)

Spécifiez le temps attendu, en millisecondes, entre les signaux envoyés au coordinateur de consommateurs lors de l'utilisation de la gestion de groupes Kafka. Les signaux sont utilisés pour assurer que la session du consommateur reste active, ainsi que pour faciliter la redistribution lorsque de nouveaux consommateurs joignent ou quittent le groupe. Cette valeur doit être paramétrée pour être inférieure à la valeur de Session Timeout (ms), mais ne doit généralement pas dépasser 1/3 de cette valeur. Elle peut être configurée à une valeur encore plus basse, afin de contrôler le temps attendu pour les redistributions normales.

Maximum Partition Fetch (bytes)

Spécifiez en octets la quantité maximale de données par partition à retourner par le serveur. Si le premier message de la première partition non vide de la récupération dépasse cette limite, le message sera tout de même retourné pour assurer la progression du consommateur.

Session Timeout (ms)

Spécifiez le délai avant expiration, en millisecondes, utilisé pour détecter les échecs des consommateurs lors de l'utilisation de la gestion de groupes Kafka. Le consommateur envoie un signal périodique pour indiquer sa vivacité au broker. Si aucun signal n'est reçu par le broker avant l'expiration de la suspension de cette session, le broker va supprimer ce consommateur du groupe et initialiser une redistribution.

Partition Assignor

Spécifiez le nom de la classe de la stratégie d'attribution de partitions que le client utilise pour distribuer la propriété des partitions parmi les instances consommatrices, lorsque la gestion de groupes est utilisée.

Request Timeout (ms)

Spécifiez, en millisecondes, la période de temps maximale durant laquelle le client attend la réponse d'une requête. Si la réponse n'est pas reçue avant la fin du délai de suspension, le client devra renvoyer la requête si nécessaire ou faire échouer la requête si le nombre de tentatives est épuisé.

Pour plus d'informations concernant Schema Registry, consultez la documentation Confluent (en anglais).

Cette option est disponible si vous avez installé la mise à jour mensuelle 8.0.1-R2023-10 du Studio Talend ou une plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Configurez les arguments facultatifs dans la table correspondante. Cliquez sur le bouton [+] autant de fois que nécessaire afin d'ajouter les arguments au tableau. Cliquez sur le champ de la valeur correspondante et saisissez une valeur. Consultez le site http://kafka.apache.org/documentation.html (en anglais) pour connaître les options disponibles.

SSL Key Password

Cliquez sur le bouton [...] et saisissez le mot de passe de la clé privée dans le fichier KeyStore, entre guillemets doubles.

SSL Keystore Location

Saisissez l'emplacement du fichier KeyStore.

SSL Keystore Password

Cliquez sur le bouton [...] et saisissez le mot de passe du fichier KeyStore, entre guillemets doubles. Cela est nécessaire uniquement si l'option SSL Keystore Location est configurée.

SSL Truststore Location

Saisissez l'emplacement du fichier TrustStore.

SSL Truststore Password

Cliquez sur le bouton [...] et saisissez le mot de passe, entre guillemets doubles, pour le fichier TrustStore.

SSL Cipher Suits

Saisissez la liste des suites cryptographiques. C'est une combinaison nommée d'authentification, chiffrement, MAC et algorithme d'échange de clés, utilisée pour négocier les paramètres de sécurité pour une connexion réseau utilisant un protocole TLS ou SSL. Par défaut, toutes les suites cryptographiques sont supportées.

SSL Endpoint Algorithm

Saisissez l'algorithme d'identification de l'endpoint pour valider le nom d'hôte du serveur à l'aide du certificat du serveur.

Kerberos Service Name

Saisissez le nom du Principal Kerberos que Kafka utilise pour s'exécuter.

Security Protocol

Sélectionnez le protocole à utiliser pour communiquer avec les brokers : Plaintext, SSL, SASL over Plaintext ou SASL over SSL.

Règle d'utilisation

Limitation

n/a