|
Famille du composant |
Storage | |
|
Version |
Distribution et Version |
Sélectionnez la distribution Hadoop que vous utilisez pour Hive. Notez que la version de Hive requise par Spark est 0.13+. |
Hive thrift metastore |
Saisissez l'emplacement du Metastore du système Hive à utiliser en spécifiant le nom de son hôte (Host) et le numéro de son Port d'écoute. | |
|
Utilisation dans des Jobs Spark Streaming |
Dans un Job Talend Spark Streaming, ce composant est utilisé en standalone. Il génère en natif du code Spark pouvant être exécuté directement dans un cluster Spark. Déposez un tHiveConfiguration à côté du Job relatif à Hive pour l'exécuter dans le même Job, afin que la configuration soit utilisée par le Job complet lors de l'exécution. Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming. Notez que, dans cette documentation, sauf mention contraire , un scénario présente uniquement des Jobs de type Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données. | |
|
Log4j |
Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend. Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais). | |
|
Spark Connection |
Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :
Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. | |