Accéder au contenu principal Passer au contenu complémentaire

Créer un Job Big Data Batch pour utiliser Spark ou YARN

Pour le traitement de Big Data, le Studio Talend vous permet de créer des Jobs Batch et Streaming s'exécutant sur Spark ou MapReduce.

Avant de commencer

Sélectionnez la perspective Integration (Window > Perspective > Integration).

Procédure

  1. Dans le Repository, cliquez-droit sur Job Designs.
    1. Sélectionnez Create Big Data Batch Job.
  2. Dans le champ Name, saisissez un nom.

    Exemple

    ReadHDFS_Spark_or_YARN
  3. Sélectionnez un Framework.
    • Spark
    • MapReduce (deprecated)
  4. Facultatif : Dans le champ Purpose, saisissez un objectif.

    Exemple

    Read and sort customer data
  5. Facultatif : Dans le champ Description, saisissez une description.

    Exemple

    Read and sort customer data stored in HDFS from a Big Data Batch Job running on Spark or YARN
    Note InformationsConseil : Saisir un objectif dans le champ Purpose et une Description permet une meilleure organisation.
  6. Cliquez sur Finish.

Résultats

L'espace de modélisation graphique (Designer) ouvre un Job vide.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici