Paramètres généraux - 7.3

Guide d'utilisation de Talend Change Data Capture

Version
7.3
Language
Français
Product
Talend Change Data Capture
Module
Talend Change Data Capture
Content
Création et développement > Systèmes tiers > Composants Database (Intégration) > Change Data Capture
Gouvernance de données > Systèmes tiers > Composants Database (Intégration) > Change Data Capture
Qualité et préparation de données > Systèmes tiers > Composants Database (Intégration) > Change Data Capture
Last publication date
2023-08-08

Les tableaux suivants listent les paramètres configurables dans les propriétés de la distribution, sauf mention contraire. Ils peuvent être ajoutés dans la chaîne de caractères de connexion ou dans le fichier séparé de configuration du connecteur Kafka.

Pour plus d'informations, consultez https://docs.confluent.io/platform/current/clients/librdkafka/html/md_CONFIGURATION.html.

Les tableaux sont divisés en grandes catégories :

Pour assurer la livraison des données

Paramètre Description

bootstrap.servers (paramètre dans le Manager : broker)

Indique le nombre d'accusés de réception que le broker principal doit recevoir des brokers ISR (réplicas synchrones) avant de répondre à la requête :

Par défaut, la valeur du paramètre est all (tous) (le processus attend que toute les réplicas synchrones aient reçu les données).

Acks (paramètre dans le Manager : topic.acks ou topic.request.required.acks)

Indique le nombre d'accusés de réception que le broker principal doit recevoir des brokers ISR (réplicas synchrones) avant de répondre à la requête :

Par défaut, la valeur du paramètre est all (tous) (le processus attend que toute les réplicas synchrones aient reçu les données).

En cas de problème de connexion au cluster Kafka

Paramètre Description

Retries (Tentatives) (paramètre dans le Manager : retries (tentatives) ou message.send.max.retries)

Indique le nombre de nouvelles tentatives d'envoi d'un message en échec.

Remarque : Les nouvelles tentatives peuvent altérer l'ordre, sauf si le paramètre enable.idempotence est configuré à true.

Par défaut, le paramètre est configuré à 1000000.

retry.backoff.ms (paramètre dans le Manager : retry.backoff.ms)

Indique le temps d'attente initial avant de se reconnecter à un broker, une fois que la connexion est fermée.

Par défaut, le paramètre est configuré à 100.

Pour préserver l'ordre des messages

Paramètre Description
max.in.flight.requests.per.connection (paramètre dans le Manager : max.in.flight.requests.per.connection ou max.in.flight) Indique le nombre maximal de requêtes en cours par connexion au broker.

Par défaut, le paramètre est configuré à 1000000.

Pour des exécutions performantes

Paramètre Description

batch.size

Indique la taille maximale (en octets) de tous les messages regroupés en un lot (batched) dans un MessageSet.
Remarque : Ce paramètre n'est pas configurable dans les propriétés de la distribution, mais d'autres paramètres sont disponibles et peuvent s'avérer équivalents :
  • queue.buffering.max.messages : nombre maximal de messages autorisés dans la file de production. Cette file est partagée par tous les topics et toutes les partitions.
  • queue.buffering.max.messages : somme totale maximale de la taille des messages autorisés dans la file de production. Cette file est partagée par tous les topics et toutes les partitions. La priorité de cette propriété est supérieure à celle de la propriété queue.buffering.max.messages.
  • message.max.bytes : taille maximale des messages des requêtes de protocole Kafka.
  • message.copy.max.bytes : taille maximale des messages à copier dans le buffer. Les messages dont la taille dépasse cette limite seront passés par référence (zero-copy) aux dépens des plus grands iovecs.

linger.ms (paramètre dans le Manager : linger.ms ou queue.buffering.max.ms)

Indique l'alias pour queue.buffering.max.ms : délai en millisecondes à attendre pour que les messages dans la file de production s'accumulent avant de construire les lots de messages (MessageSets) à transmettre aux brokers.

Par défaut, le paramètre est configuré à 1000000.
buffer.memory Indique les octets totaux de mémoire que le producteur peut utiliser pour mettre en mémoire tampon (buffer) les enregistrements attendant d'être envoyés au serveur.
Remarque : Ce paramètre n'est pas configurable dans les propriétés de la distribution, mais d'autres paramètres sont disponibles et peuvent s'avérer équivalents : Consultez batch.size.

Authentification et sécurité de la couche de transport

Paramètre Description

security.protocol

Protocole utilisé pour communiquer avec les brokers.

Valeurs possibles : sasl_ssl , ssl, sasl_plaintext

Exemple : security.protocol=sasl_ssl

sasl.username Identifiant SASL à utiliser avec les mécanismes PLAIN et SASL-SCRAM.
sasl.password Mot de passe SASL à utiliser avec les mécanismes PLAIN et SASL-SCRAM.
sasl.mechanisms Mécanisme SASL à utiliser pour l'authentification.

Valeurs possibles : GSSAPI, PLAIN, SCRAM-SHA-256, SCRAM-SHA-512, OAUTHBEARER.

Exemple : sasl.mechanisms=SCRAM-SHA-256

ssl.ca.location Chemin d'accès vers le certificat d'Autorité de Certification pour vérifier la clé du broker.

Exemple : ssl.ca.location=%P%ca-cert.cert %P% sera remplacé par le chemin DestinationPath\Data.

Paramètres de Talend Change Data Capture

Paramètre Description

config | cfg | cf

Chemin d'accès au fichier de configuration.

Les paramètres peuvent être placés dans un fichier de configuration.

Exemple : config=%P%producer.config %P% correspond au chemin de données de Talend Change Data Capture : DestinationPath\Data.

tkey | tk Type de sérialisation de la clé. La clé est utilisée en interne par le connecteur Kafka de Talend Change Data Capture.

Pour plus d'informations, consultez Chaîne de caractères de connexion : détails concernant la configuration de la clé Kafka.

codepage | cp Fichier de conversion utilisé par la cible lorsque la source se trouve sur une machine AS/400 IBMi.
tr Permet de récupérer les métriques d'un topic pour chaque partition dans un fichier de log. Ce fichier est stocké dans le dossier .\DestinationPath\Data\Kafka\ et nommé REE_SSSMMM_statKfk.log.

Les métriques sont sauvegardées uniquement lorsque la distribution est arrêtée.

mode | md Permet d'activer ou désactiver le script de modèle.

0= Script de modèle désactivé

1= Script de modèle activé

0 = valeur par défaut