Accéder au contenu principal Passer au contenu complémentaire

Concevoir le flux de données du Job utilisant Azure et Databricks

Procédure

  1. Dans la perspective Integration du Studio Talend, créez un Job Spark Batch vide, à partir du nœud Job Designs, dans la vue Repository.
  2. Dans l'espace de modélisation, saisissez le nom du composant à utiliser et sélectionnez ce composant dans la liste qui apparaît. Dans ce scénario, les composants sont : un tAzureFSConfiguration, un tFixedFlowInput, un tFileOutputParquet, un tFileInputParquet et un tLogRow.
    Le composant tFixedFlowInput est utilisé pour charger les données d'exemple dans le flux de données. Dans un cas d'utilisation réel, vous pouvez utiliser les composants Fichier d'entrée (File Input), ainsi que les composants de traitement (Processing), pour créer un processus complexe afin de préparer vos données au traitement.
  3. Reliez le tFixedFlowInput au tFileOutputParquet à l'aide d'un lien Row > Main.
  4. Reliez le tFileInputParquet au tLogRow à l'aide d'un lien Row > Main.
  5. Reliez le tFixedFlowInput au tFileInputParquet à l'aide d'un lien Trigger > OnSubjobOk.
  6. Laissez le composant tAzureFSConfiguration seul, sans lien.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici