tCassandraLookupInput - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Avertissement

La version Streaming de ce composant est disponible dans la Palette du studio si vous avez souscrit à Talend Real-time Big Data Platform ou Talend Data Fabric.

Fonction

Le composant tCassandraInput vous permet de lire des données d'un Keyspace Cassandra et d'envoyer les données dans un flux Talend.

Objectif

Le tCassandraInput vous permet d'extraire les données souhaitées d'une famille de colonnes standard ou super d'un Keyspace Cassandra afin d'appliquer les modifications à ces données.

Il passe les données extraites au tMap afin de fournir les données de lookup au flux principal. Il doit être directement connecté au tMap et requiert que le tMap utilise l'option Reload at each row ou Reload at each row (cache) pour le flux Lookup.

Tableaux des correspondances entre le type Cassandra et le type de données Talend

Le premier des tableaux suivants présente les relations entre le type Cassandra avec la nouvelle API Cassandra, Datastax et le type de données Talend.

Si la version de Cassandra que vous utiliser avec le Studio est antérieure à 2.0, ou si vous sélectionnez l'API Hector dans le composant à utiliser avec Cassandra 2.0, consultez la seconde table.

Type Cassandra

Type de données Talend

Ascii

String; Character

BigInt

Long

Blob

Byte[]

Boolean

Boolean

Counter

Long

Inet

Object

Int

Integer; Short; Byte

List

List

Map

Object

Set

Object

Text

String; Character

Timestamp

Date

UUID

String

TimeUUID

String

VarChar

String; Character

VarInt

Object

Boolean

Boolean

Float

Float

Double

Double

Decimal

BigDecimal

Le tableau suivant présente les relations de mapping entre le type Cassandra avec l'API Hector et le type de données Talend.

Type Cassandra

Type de données

BytesType

byte[]

AsciiType

String

UTF8Type

String

IntegerType

Object

Int32Type

Integer

LongType

Long

UUIDType

String

TimeUUIDType

String

DateType

Date

BooleanType

Boolean

FloatType

Float

DoubleType

Double

DecimalType

BigDecimal

Propriétés du tCassandraLookupInput dans des Jobs Spark Streaming

Famille du composant

Databases / Cassandra

 

Basic settings

Property type

Peut être Built-in ou Repository.

- Built-in : Propriétés utilisées ponctuellement.

- Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

 

DB Version

Sélectionnez la version de Cassandra que vous utilisez.

 

Host

Saisissez le nom de l'hôte ou l'adresse IP du serveur Cassandra.

 

Port

Saisissez le numéro du port d'écoute du serveur Cassandra.

 

Required authentication

Cochez cette case pour saisir votre identifiant et mot de passe lors de l'authentification à Cassandra.

 

Username

Saisissez votre identifiant d'authentification à Cassandra.

 

Password

Saisissez votre mot de passe d'authentification à Cassandra.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Le schéma de ce composant ne supporte pas les types Object et List.

 

Keyspace

Saisissez le nom du Keyspace duquel lire les données.

 

Column family

Saisissez le nom de famille de la colonne de laquelle lire les données.

 

Query type et Query

Saisissez votre requête de base de données en faisant attention à ce que l'ordre des champs corresponde à celui défini dans le schéma.

Vous pouvez utiliser le schéma du flux principal vers le tMap pour construire l'instruction SQL dans le composant.

L'ensemble de résultats provenant de ce composant Lookup doit être filtré afin de retourner uniquement les lignes correspondant à la clé de jointure attendue dans le tMap.

Advanced settings

Connection pool

Dans cette zone, configurez le pool de connexions utilisé pour contrôler le nombre de connexions qui restent ouvertes simultanément. Généralement, les valeurs par défaut données aux paramètres suivants du pool de connexion conviennent à la plupart des cas d'utilisation.

  • Max total number of connections : saisissez le nombre maximal de connexions (actives ou inactives) autorisées à rester ouvertes simultanément.

    Le nombre par défaut est 8. Si vous saisissez -1, vous autorisez un nombre illimité de connexions ouvertes simultanément.

  • Max waiting time (ms) : saisissez le temps maximum d'attente à la fin duquel la réponse à une demande d'utilisation de connexion doit être retournée par le pool de connexion. Par défaut, la valeur est -1, c'est-à-dire un temps illimité.

  • Min number of idle connections : saisissez le nombre minimal de connexions inactives (connexions non utilisées) autorisées dans le pool de connexions.

  • Max number of idle connections : saisissez le nombre maximal de connexions inactives (connexions non utilisées) dans le pool de connexions.

 

Evict connections

Cochez cette case pour définir les critères de destruction de connexions dans le pool de connexions. Les champs suivants sont affichés une fois la case cochée.

  • Time between two eviction runs : saisissez l'intervalle de temps (en millisecondes) à la fin duquel le composant vérifie le statut des connexions et détruit les connexions inactives.

  • Min idle time for a connection to be eligible to eviction : saisissez l'intervalle de temps (en millisecondes) à la fin duquel les connexions inactives sont détruites.

  • Soft min idle time for a connection to be eligible to eviction : ce paramètre fonctionne de la même manière que l'option Min idle time for a connection to be eligible to eviction mais garde le nombre minimal de connexions inactives, nombre défini dans le champ Min number of idle connections.

Utilisation dans des Jobs Spark Streaming

Dans un Job Talend Spark Streaming, il est utilisé en tant que composant d'entrée et nécessite un lien de sortie. Les autres composants utilisés avec celui-ci doivent également être des composants Spark Streaming. Ils génèrent nativement du code Spark pouvant être exécuté directement dans un cluster Spark.

Ce composant doit utiliser un seul tCassandraConfiguration présent dans le même Job pour se connecter à Cassandra. La présence de plusieurs composants tCassandraConfiguration fait échouer l'exécution du Job.

Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming.

Notez que, dans cette documentation, sauf mention contraire , un scénario présente uniquement des Jobs de type Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Scénario associé

Aucun scénario n'est disponible pour la version Spark Streaming de ce composant.