Propriétés du tFlumeOutput pour Apache Spark Streaming
Ces propriétés sont utilisées pour configurer le tFlumeOutput s'exécutant dans le framework de Jobs Spark Streaming.
Le composant tFlumeOutput Spark Streaming appartient à la famille Messaging.
La version Streaming de ce composant est disponible dans Talend Real Time Big Data Platform et dans Talend Data Fabric.
Basic settings
Host et Port |
Saisissez le nom de l'hôte et le port de la machine utilisée comme client RPC du système Flume à utiliser. Le client RPC de Flume permet au tFlumeOutput d'envoyer des données à Flume. Pour plus d'informations concernant ce client RPC, consultez la documentation Flume à l'adresse https://flume.apache.org/FlumeDeveloperGuide.html (en anglais). |
Schema et Edit Schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs. Built-in : le schéma est créé et conservé localement pour ce composant seulement. Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Cette colonne line en lecture seule est utilisée par le tFlumeOutput pour écrire le corps d'un événement Flume. Notez que vous devez définir une colonne line semblable dans le schéma du composant précédent afin d'envoyer ces données dans la colonne en lecture seule. Les autres colonnes sont ajoutées en tant qu'en-tête de l'événement à écrire en sortie. |
Advanced settings
Encoding |
Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. Cet encodage est utilisé par le tFlumeOutput pour encoder les tableaux des événements à écrire en sortie. |
Connection pool |
Dans cette zone, configurez, pour chaque exécuteur Spark, le pool de connexions utilisé pour contrôler le nombre de connexions qui restent ouvertes simultanément. Généralement, les valeurs par défaut données aux paramètres suivants du pool de connexions conviennent à la plupart des cas d'utilisation.
|
Evict connections |
Cochez cette case pour définir les critères de destruction de connexions dans le pool de connexions. Les champs suivants sont affichés une fois la case cochée.
|
Utilisation
Règle d'utilisation |
Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée. Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming. Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données. |
Connexion à Spark |
Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |
Limitation |
Du fait d'une incompatibilité de licence, un ou plusieurs Jar requis pour utiliser ce composant ne sont pas fournis. Vous pouvez installer les Jar manquants pour ce composant en cliquant sur le bouton Install dans l'onglet Component. Vous pouvez également trouver les Jar manquants et les ajouter dans l'onglet Modules de la perspective Integration de votre Studio. Pour plus d'informations, consultez la page Installation de modules externes. Pour plus d'informations concernant l'installation de modules externes, consultez Talend Help Center (https://help.talend.com). |