Propriétés du tMapRStreamsCreateStream Standard - 7.1

MapRStreams

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Messaging (Intégration) > Composants MapRStreams
Gouvernance de données > Systèmes tiers > Composants Messaging (Intégration) > Composants MapRStreams
Qualité et préparation de données > Systèmes tiers > Composants Messaging (Intégration) > Composants MapRStreams
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tMapRStreamsCreateStream s'exécutant dans le framework de Jobs Standard.

Le composant tMapRStreamsCreateStream Standard appartient à la famille Internet.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data et dans Talend Data Fabric.

Basic settings

Property type

Peut être Built-In ou Repository.

Built-In : aucune propriété n'est stockée de manière centrale.

Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Les propriétés sont stockées centralement sous le nœud Hadoop Cluster de la vue Repository.

tMapRStreamsConnection

Sélectionnez le composant tMapRStreamsConnection afin de réutiliser les informations de connexion précédemment définies. Ce paramètre est obligatoire pour que ce composant se connecter à MapR Streams.

Action

Sélectionnez comment un flux ou un topic est créé. Les paramètres associés à chaque action sont affichés uniquement lorsque l'action en question est sélectionnée.

  • Create stream : crée un flux. Si ce flux existe déjà, le Job complet est arrêté.

  • Create stream if not exists : crée un flux lorsque le flux n'existe pas. Si ce flux existe déjà, le Job ignore la création pour passer à l'étape suivante.

  • Alter stream : modifie la configuration d'un flux.

  • Create topic : crée un topic. Si le sujet existe déjà, le Job entier est arrêté.

    Notez que le flux auquel le topic appartient doit déjà exister.

  • Create topic if not exists : crée un topic lorsque ce dernier n'existe pas. Si le sujet existe, le Job ignore la création et passe à l'étape suivante.

    Notez que le flux auquel le topic appartient doit déjà exister.

  • Alter topic : modifie la configuration d'un topic.

Stream path

Saisissez le chemin d'accès au flux à créer ou mettre à jour dans MapR-FS.

Stream permissions

Accordez les autorisations à un compte utilisateur sur le flux à créer ou mettre à jour. Ces autorisations concernent :
  • Adminperm

  • Consumeperm

  • Copyperm

  • Produceperm

  • Topicperm

La syntaxe que vous devez utiliser est u:username_or_userid_of_the_account, entre guillemets doubles.

Lorsque vous avez sélectionné Alter stream dans la liste Action, une liste de cases s'affiche dans la zone Stream permissions, afin que vous puissiez cocher la case correspondant à chaque autorisation à modifier et que vous accordiez cette autorisation à un utilisateur(trice) différent(e).

Pour plus d'informations concernant ces autorisations, consultez la documentation de MapR à l'adresse suivante MapR Streams Security (en anglais).

Stream settings

Définissez la configuration du flux à créer ou mettre à jour. Les paramètres à configurer sont les suivants :
  • Automatic topic creation : cochez la case Enable automatic topic creation pour permettre à un topic d'être automatiquement créé lorsqu'un producteur crée le premier message pour celui-ci et que ce topic n'existe pas déjà.

    Pour plus d'informations concernant cette création automatique, consultez la documentation de MapR à l'adresse Topic Creation (en anglais).

  • Default number of partitions : ce paramètre définit le nombre de partitions créées dans chaque nouveau topic dans un flux.

    Pour plus d'informations concernant le nombre par défaut de partitions, consultez la documentation de MapR à l'adresse suivante Default Partitions (en anglais).

  • Message time to live : ce paramètre définit la durée (en secondes) de la persistance des messages dans un flux.

    Pour plus d'informations concernant la durée de persistance des messages, consultez la documentation de MapR à l'adresse Time-to-live for Messages (en anglais).

  • Compression : type des algorithmes de compression que MapR fournit pour compresser les fichiers stockés dans le cluster MapR.

    Pour plus d'informations concernant la compression dans MapR, consultez la documentation de MapR à l'adresse Compression (en anglais).

Lorsque vous avez sélectionné l'option Alter stream dans la liste Action, une liste de cases s'affiche dans la zone Stream settings, afin que vous puissiez cocher la case correspondant à chaque paramètre à modifier, puis mettre à jour ce dernier.

Topic name

Saisissez le nom du topic à créer.

Ce champ s'affiche lorsque vous avez sélectionné l'une des actions relatives aux topics dans la liste Action.

Number of partitions ou Set number of partitions

Saisissez le nombre de partitions à créer pour le topic.

Ce champ s'affiche lorsque vous avez sélectionné l'une des actions relatives aux topics dans la liste Action.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job au niveau du Job ainsi qu'au niveau de chaque composant.

Utilisation

Règle d'utilisation

Ce composant est généralement utilisé pour créer ou mettre à jour un topic ou un flux à utiliser par d'autres composants MapR Streams.

Limitation

Du fait d'une incompatibilité de licence, un ou plusieurs Jar requis pour utiliser ce composant ne sont pas fournis. Vous pouvez installer les Jar manquants pour ce composant en cliquant sur le bouton Install dans l'onglet Component. Vous pouvez également trouver les Jar manquants et les ajouter dans l'onglet Modules de la perspective Integration de votre Studio. Pour plus d'informations, consultez la page Installation de modules externes.