Propriétés du tCassandraConfiguration dans des Jobs Spark Batch - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Famille du composant

Big Data / Cassandra

 

Basic settings

Host

Saisissez l'URL du serveur Cassandra auquel vous souhaitez que le Job se connecte.

 

Port

Saisissez le numéro du port d'écoute auquel le serveur Cassandra doit se connecter.

Required Authentication

Username

Renseignez ce champ avec l'identifiant d'authentification à Cassandra.

 

Password

Renseignez ce champ avec le mot de passe d'authentification à Cassandra.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

 

Configuration

Ajoutez les propriétés Spark relatives à Cassandra dans cette table et donnez-leur les valeurs souhaitées afin d'écraser les valeurs par défaut lors de l'exécution.

  • Par exemple, si vous devez définir le niveau de cohérence de Cassandra en lecture, sélectionnez la propriété input_consistency_level dans la colonne Property name et saisissez la valeur numérique du niveau souhaité dans la colonne Value.

La liste suivante présente les valeurs numériques que vous pouvez saisir ainsi que le niveau de cohérence auquel elles correspondent :

  • 0 : ANY,

  • 1 : ONE,

  • 2 : TWO,

  • 3 : THREE,

  • 4 : QUORUM,

  • 5 : ALL,

  • 6 : LOCAL_QUORUM,

  • 7 : EACH_QUORUM,

  • 8 : SERIAL,

  • 9 : LOCAL_SERIAL,

  • 10 : LOCAL_ONE

Pour plus d'informations concernant chaque niveau de cohérence, consultez la documentation Datastax pour Cassandra.

Pour plus d'informations concernant toutes les propriétés listées dans cette table et leurs valeurs par défaut, consultez https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md (en anglais).

Utilisation dans des Jobs Spark Batch

Ce composant est utilisé sans avoir besoin d'être connecté à d'autres composants.

Déposez un tCassandraConfiguration avec le sous-job relatif à Cassandra à exécuter au sein du même Job, afin que la configuration soit utilisée par le Job complet.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.