Accéder au contenu principal Passer au contenu complémentaire

Configurer le connecteur Amazon Kinesis

La configuration de la cible Amazon Kinesis est effectuée à la fois lors de la distribution d'une table cible et après la distribution.

Avant de commencer

Assurez-vous de connaître le chemin du répertoire de destination où les fichiers de Talend Change Data Capture sont installés. Ce chemin est nommé <DestinationPath> dans les étapes suivantes.

Procédure

  1. Préparez votre distribution : ouvrez le Manager et suivez cette procédure jusqu'à l'étape 7 : Préparer la réplication.
  2. Cliquez sur Distribute (Distribuer) pour ouvrir l'onglet Property (Propriété).
  3. Dans la liste Database type (Type de base de données), sélectionnnez Kinesis.
  4. Renseignez les paramètres obligatoires : region (région), accesskey (clé d'accès) et secretkey (clé secrète) de votre compte AWS.
    Pour plus d'informations, consultez Récupération de vos clés d'accès AWS.
    Note InformationsRemarque : La clé secrète secretkey est chiffrée uniquement lorsqu'elle est entourée des caractères { }.
  5. Cliquez sur OK. Dans le champ connection string (chaîne de caractères de connexion), vous pouvez voir les résultats des paramètres précédemment saisis.
    Exemple de chaîne de caractères de connexion finale :
    region=eu-west-3;accesskey=BLIA6LOAH4P;secretkey={171459653AC006671D3FA2FA61334C};retry=12;traceretry=1;traceresult=1
  6. Pour ajouter des paramètres facultatifs à cette chaîne de caractères de connexion, suivez le tableau ci-dessous :
    Paramètre Description
    mode Configure le comportement du connecteur envoyant les données à Amazon Kinesis :
    • mode = 0 ou mode single (seul) : chaque enregistrement est envoyé comme une unité et le connecteur attend une réponse après chaque envoi.
    • mode = 1 ou mode packet (paquet) : les enregistrements sont envoyés par paquets (de 500 enregistrements maximum) et le connecteur attend une réponse pour le paquet entier. Ce mode est sélectionné par défaut.
    • mode=2 ou packet threaded (threads de paquets) : les enregistrements sont envoyés par paquets (de 500 enregistrement miximum) et distribués sur les threads complets. Le connecteur attend une réponse pour chaque paquet.

    La valeur par défaut est 1.

    queue (file d'attente) Configure la taille de la file d'attente utilisée lorsque mode = 2.

    La file d'attente est utilisée pour répartir les paquets entre les threads.

    Saisissez une valeur numérique. La valeur par défaut est 50.

    row (ligne) Configure le nombre maximal d'enregistrements dans un paquet (avec un maximum de 500 enregistrements).

    Cette option accélère l'envoi des données vers la cible Amazon Kinesis.

    La valeur par défaut est 50.

    retry (réessayer) Configure le nombre maximal de tentatives dans la fonction PutRecords vers Amazon Kinesis. Lorsque le maximum est atteint, la distribution s'arrête avec une erreur, dans le cas où le taux est dépassé (Rate exceeded).
    • retry (réessayer) = -1 signifie qu'aucune tentative n'est effectuée et la distribution s'arrête avec une erreur si le taux est dépassé (Rate exceeded).
    • retry (réessayer) = 0 signifie que le nombre de tentatives est limité à 1 000.
    • l'option retry (réessayer) n'est pas disponible lorsque mode = 0

    La valeur par défaut est 100 et il n'est pas recommandé de dépasser 1000.

    Cette option accélère l'envoi des données vers la cible Amazon Kinesis.

    thread

    Configurez le nombre de threads utilisés lorsque mode = 2.

    La valeur par défaut est 2.

    Cette option accélère l'envoi des données vers la cible Amazon Kinesis.
    trace Cette option est utilisée pour tracer des événements spécifiques dans le fichier de log (DDMSGQ.dmm) :
    • trace1 pour obtenir des traces lorsque :
      • putRecordsRequestEntryList atteint 500 enregistrements,
      • putRecordsRequestEntryList atteint la taille maximale de 5 Mo.
    • trace2 pour obtenir les traces pour BeginAction, CommitAction, ClearCache.
    • trace3 pour obtenir les traces pour CreateCache, ClearCache, AddCache, UpdateCache, FindCache.

    La valeur par défaut est 0.

    traceretry Cette option est utilisée pour tracer des nouvelles tentatives vers Amazon Kinesis dans le fichier de log (DDMSGQ.dmm) :
    • traceretry = 0 signifie qu'il n'y a pas de trace.
    • traceretry = 2 signifie que la trace est activée.

    La valeur par défaut est 0.

    traceresult Cette option set utilisée pour obtenir des métriques concernant les nouvelles tentatives et la distribution de shards pour chaque flux dans un fichier de log. Ce fichier se trouve dans le dossier .\<DestinationPath>\Data\Kinesis\ et se nomm REE_SSSMMM_statKDS.log.
    Note InformationsRemarque : Les métriques sont sauvegardées uniquement lorsque la distribution est arrêtée.

    traceresult = 1 signifie que le paramètre est activé.

    La valeur par défaut est 0.

    traceskip Cette option est utilisée pour tracer, dans le fichier de log (DDMSGQ.dmm), les enregistrements ignorés après redémarrage d'une distribution précédemment en erreur.

    traceskip = 1 signifie que le paramètre est activé.

    La valeur par défaut est 0.

    verbose Cette option est utilisée pour configurer la verbosité de la distribution.

    verbose = 1 signifie que le paramètre est activé.

    La valeur par défaut est 0.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !