Propriétés du tTachyonConfiguration dans des Jobs Spark Streaming - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Avertissement

La version Streaming de ce composant est disponible dans la Palette du studio si vous avez souscrit à Talend Real-time Big Data Platform ou Talend Data Fabric.

Famille du composant

Storage

 

Basic settings

Tachyon master URI

Saisissez l'adresse du serveur maître du cluster Tachyon à utiliser.

Ces informations se trouvent dans le fichier conf/tachyon-env.sh de votre système Tachyon.

Pour plus d'informations concernant la compatibilité des versions entre Tachyon et Spark, consultez la documentation Tachyon à l'adresse http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html (en anglais).

 

UnderFS username

Saisissez les informations d'authentification requises par le système de fichiers (la sous-couche du système de stockage, en termes Tachyon) utilisé par votre cluster Tachyon. Le système de fichiers par défaut est HDFS.

Ces informations se trouvent dans le fichier conf/tachyon-env.sh de votre système Tachyon.

Utilisation dans des Jobs Spark Streaming

Dans un Job Talend Spark Streaming, ce composant est utilisé en standalone. Il génère en natif du code Spark pouvant être exécuté directement dans un cluster Spark.

Vous devez déposer le tTachyonConfiguration avec le sous-job relatif au système de fichiers à exécuter dans le même Job afin que la configuration soit utilisée par le Job entier lors de l'exécution.

Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming.

Notez que, dans cette documentation, sauf mention contraire , un scénario présente uniquement des Jobs de type Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.