tTachyonConfiguration - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Fonction

Vous définissez une connexion à Tachyon dans le composant tTachyonConfiguration et configurez les composants relatifs au système de fichiers devant réutiliser cette connexion. Lors de l'exécution, le cluster Spark à utiliser lit cette configuration pour se connecter à Tachyon.

Objectif

Le tTachyonConfiguration permet de réutiliser la configuration de la connexion au système de stockage Tachyon au sein du Job.

Selon la solution Talend que vous utilisez, ce composant peut être utilisé dans un framework de Jobs, dans plusieurs, ou dans tous les frameworks :

Propriétés du tTachyonConfiguration dans des Jobs Spark Batch

Famille du composant

Storage

 

Basic settings

Tachyon master URI

Saisissez l'adresse du serveur maître du cluster Tachyon à utiliser.

Ces informations se trouvent dans le fichier conf/tachyon-env.sh de votre système Tachyon.

Pour plus d'informations relatives à la compatibilité des versions entre Tachyon et Spark, consultez la documentation Tachyon à l'adresse http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html (en anglais).

 

UnderFS username

Saisissez les informations d'authentification requises par le système de fichiers (la sous-couche du système de stockage, en termes Tachyon) utilisé par votre cluster Tachyon. Le système de fichiers par défaut est HDFS.

Ces informations se trouvent dans le fichier conf/tachyon-env.sh de votre système Tachyon.

Utilisation dans des Jobs Spark Batch

Ce composant est utilisé sans avoir besoin d'être connecté à d'autres composants.

Vous devez déposer le tTachyonConfiguration avec le sous-job relatif au système de fichiers à exécuter dans le même Job afin que la configuration soit utilisée par le Job entier lors de l'exécution.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Scénario associé

Pour un scénario utilisant le même type de composant dans un Job Spark Batch, consultez Écrire/lire des données de/dans MongoDB à l'aide d'un Job Spark Batch.

Propriétés du tTachyonConfiguration dans des Jobs Spark Streaming

Famille du composant

Storage

 

Basic settings

Tachyon master URI

Saisissez l'adresse du serveur maître du cluster Tachyon à utiliser.

Ces informations se trouvent dans le fichier conf/tachyon-env.sh de votre système Tachyon.

Pour plus d'informations relatives à la compatibilité des versions entre Tachyon et Spark, consultez la documentation Tachyon à l'adresse http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html (en anglais).

 

UnderFS username

Saisissez les informations d'authentification requises par le système de fichiers (la sous-couche du système de stockage, en termes Tachyon) utilisé par votre cluster Tachyon. Le système de fichiers par défaut est HDFS.

Ces informations se trouvent dans le fichier conf/tachyon-env.sh de votre système Tachyon.

Utilisation dans des Jobs Spark Streaming

Ce composant est utilisé sans avoir besoin d'être connecté à d'autres composants.

Vous devez déposer le tTachyonConfiguration avec le sous-job relatif au système de fichiers à exécuter dans le même Job afin que la configuration soit utilisée par le Job entier lors de l'exécution.

Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs de type Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Connexion à Spark

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Scénario associé

Pour un scénario utilisant le même type de composant dans un Job Spark Streaming, consultez Lire et écrire des données dans MongoDB à l'aide d'un Job Spark Streaming.