Propriétés du tJDBCOutput pour Apache Spark Batch - 6.5

JDBC

author
Talend Documentation Team
EnrichVersion
6.5
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Database > Composants JDBC
Gouvernance de données > Systèmes tiers > Composants Database > Composants JDBC
Qualité et préparation de données > Systèmes tiers > Composants Database > Composants JDBC
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tJDBCOutput s'exécutant dans le framework de Jobs Spark Batch.

Le composant tJDBCOutput Spark Batch appartient à la famille Databases.

Ce composant peut être utilisé pour écrire des données dans une base de données RDS MariaDB, a RDS PostgreSQL ou RDS SQLServer.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data nécessitant souscription et dans Talend Data Fabric.

Basic settings

Property type

Peut-être Built-In ou Repository.

 

Built-in : Propriétés utilisées ponctuellement.

 

Repository : Sélectionnez le fichier de propriétés du composant.

Cliquez sur cette icône pour ouvrir l'assistant de connexion à la base de données et stocker les paramètres de connexion configurés dans la vue Basic settings du composant.

Pour plus d'informations concernant la configuration et le stockage des paramètres de connexion à la base de données, consultez le Guide utilisateur du Studio Talend.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

JDBC URL

URL JDBC de la base de données à utiliser. Par exemple, l'URL JDBC de la base de données Amazon Redshift est jdbc:redshift://endpoint:port/database.

Driver JAR

Renseignez cette table afin de charger les Jar des pilotes requis. Pour ce faire, cliquez sur le bouton [+] sous la table, pour ajouter autant de lignes que nécessaire, chaque ligne pour un Jar de pilote. Sélectionnez la cellule et cliquez sur le bouton [...] à droite de la cellule pour ouvrir l'assistant Select Module, dans lequel vous pouvez sélectionner le Jar souhaité. Par exemple, le Jar du pilote RedshiftJDBC41-1.1.13.1013.jar pour la base de données Redshift.

Class Name

Saisissez entre guillemets doubles le nom de la classe pour le pilote spécifié. Par exemple, pour le pilote RedshiftJDBC41-1.1.13.1013.jar, le nom à saisir est com.amazon.redshift.jdbc41.Driver.

Table name

Nom de la table à écrire. Notez que les données peuvent être écrites dans une seule table à la fois.

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) dans le Repository. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

 

Built-In : le schéma est créé et conservé ponctuellement pour ce composant seulement. Consultez également : le Guide utilisateur du Studio Talend .

 

Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Consultez également : le Guide utilisateur du Studio Talend .

Action on data

Sélectionnez une action à effectuer sur les données de la table définie.

  • Insert: Add new entries to the table.

  • Update : met à jour les entrées existantes.

  • Insert or update : insère un nouvel enregistrement. Si l'enregistrement avec la référence donnée existe déjà, une mise à jour est effectuée.

  • Update or insert : met à jour l'enregistrement avec la référence donnée. Si l'enregistrement n'existe pas dans le pool d'index, un nouvel enregistrement est inséré.

  • Delete : supprime les entrées correspondantes au flux d'entrée.

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Advanced settings

Additional JDBC parameters

Définissez des propriétés de connexion supplémentaires pour la connexion à la base de données que vous créez. Les propriétés sont séparées par un point-virgule et chaque propriété est une paire clé-valeur. Par exemple, encryption=1;clientname=Talend.

Ce champ n'est pas disponible si la case Use an existing connection est cochée.

Left protected char et Right protected char

Saisissez le symbole réservé à la base de données que vous utilisez, la partie gauche dans Left protected char et la partie droite dans Right protected char, afin que le tJDBCOutput génère des requêtes SQL qui placent correctement ce symbole réservé.

Par exemple, si vous utilisez Oracle, les guillemets doubles (") sont réservés aux noms d'objets. Vous devez donc saisir les symboles de gauche et de droite dans leurs champs respectifs. Pendant l'exécution, le tJDBCOutput place ensuite des guillemets doubles autour des noms d'objets tels qu'un nom de table.

Additional Columns

Cette option vous permet d'effectuer des actions sur les colonnes, à l'exclusion des actions d'insertion, de mise à jour, de suppression ou qui nécessitent un prétraitement particulier. Cette option n'est pas disponible si vous venez de créer la table de données (que vous l'ayez préalablement supprimée ou non). Cliquez sur le bouton [+] sous la table pour ajouter une ou plusieurs colonne(s), puis configurez les paramètres suivants pour chaque colonne.

 

Name : Saisissez le nom de la colonne du schéma à modifier ou à insérer.

 

SQL expression : Saisissez la déclaration SQL à exécuter pour modifier ou insérer les données dans les colonnes correspondantes.

 

Position : Sélectionnez Before, Replace ou After, en fonction de l'action à effectuer sur la colonne de référence.

 

Reference column : Saisissez une colonne de référence que le composant peut utiliser pour situer ou remplacer la nouvelle colonne ou celle à modifier.

Use field options

Cochez la case de la colonne correspondante pour personnaliser une requête, surtout s'il y a plusieurs actions à effectuer sur les données.

  • Key in update : Cochez la case de la colonne correspondante sur laquelle est basée la mise à jour des données.

  • Key in delete : Cochez la case de la colonne correspondante sur laquelle est basée la suppression des données.

  • Updatable : Cochez cette case si les données de la colonne correspondante peuvent être mises à jour.

  • Insertable : Cochez cette case si les données de la colonne correspondante peuvent être insérées.

Use Batch

Cochez cette case pour activer le mode de traitement par lots pour le traitement des données.

This check box is available only when the Insert, the Update or the Delete option is selected from the Action on data list in the Basic settings view.

Batch Size

Spécifiez le nombre d'enregistrements à traiter dans chaque lot.

Ce champ est disponible uniquement lorsque la case Use batch mode est cochée.

Connection pool

Dans cette zone, configurez, pour chaque exécuteur Spark, le pool de connexions utilisé pour contrôler le nombre de connexions qui restent ouvertes simultanément. Généralement, les valeurs par défaut données aux paramètres suivants du pool de connexion conviennent à la plupart des cas d'utilisation.

  • Max total number of connections : saisissez le nombre maximal de connexions (actives ou inactives) autorisées à rester ouvertes simultanément.

    Le nombre par défaut est 8. Si vous saisissez -1, vous autorisez un nombre illimité de connexions ouvertes simultanément.

  • Max waiting time (ms) : saisissez le temps maximum d'attente à la fin duquel la réponse à une demande d'utilisation de connexion doit être retournée par le pool de connexion. Par défaut, la valeur est -1, c'est-à-dire un temps illimité.

  • Min number of idle connections : saisissez le nombre minimal de connexions inactives (connexions non utilisées) maintenues dans le pool de connexions.

  • Max number of idle connections : saisissez le nombre maximal de connexions inactives (connexions non utilisées) maintenues dans le pool de connexions.

Evict connections

Cochez cette case pour définir les critères de destruction de connexions dans le pool de connexions. Les champs suivants sont affichés une fois la case cochée.

  • Time between two eviction runs : saisissez l'intervalle de temps (en millisecondes) à la fin duquel le composant vérifie le statut des connexions et détruit les connexions inactives.

  • Min idle time for a connection to be eligible to eviction : saisissez l'intervalle de temps (en millisecondes) à la fin duquel les connexions inactives sont détruites.

  • Soft min idle time for a connection to be eligible to eviction : ce paramètre fonctionne de la même manière que l'option Min idle time for a connection to be eligible to eviction mais garde le nombre minimal de connexions inactives, nombre défini dans le champ Min number of idle connections.

Utilisation

Règle d'utilisation

Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée.

Ce composant nécessite un composant tJDBCConfiguration présent dans le même Job pour se connecter à une base de données. Vous devez déposer un composant tJDBCConfiguration à côté de ce composant et configurer ses propriétés dans l'onglet Basic settings de ce composant pour utiliser le tJDBCConfiguration.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Spark Connection

Vous devez utiliser l'onglet Spark Configuration dans la vue Run afin de définir la connexion à un cluster Spark donné pour le Job entier. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
  • Yarn mode : lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez d'autres distributions, utilisez un composant tHDFSConfiguration afin de spécifier le répertoire.

  • Standalone mode : vous devez choisir le composant de configuration selon le système de fichiers que vous utilisez, comme tHDFSConfiguration ou tS3Configuration.

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.