Big Data
Big Data Platform
Cloud Big Data
Cloud Big Data Platform
Cloud Data Fabric
Data Fabric
Real-Time Big Data Platform
Pourquoi et quand exécuter cette tâche
Si vous avez souvent besoin d'utiliser Oozie scheduler (l'ordonnanceur Oozie) afin de lancer et de monitorer des Jobs dans Hadoop, vous pouvez également centraliser les paramètres d'Oozie dans le dossier Metadata du Repository.
Prérequis :
-
Lancez la distribution Hadoop à utiliser et assurez-vous d'avoir les droits d'accès à cette distribution et son Oozie.
-
Créez la connexion vers cette distribution Hadoop depuis le nœud Hadoop cluster. Pour plus d'informations, consultez Centraliser une connexion Hadoop.
Le composant Oozie scheduler est utilisé pour planifier les exécutions d'un Job, déployer ou exécuter des Jobs dans HDFS et monitorer les exécutions. Afin de créer une connexion Oozie, procédez comme suit :
Procédure
-
Dans l'assistant de connexion qui s'ouvre, renseignez les propriétés génériques de la connexion que vous devez créer, notamment le nom (champ Name), l'objectif (champ Purpose) et la Description. Le champ Status est un champ que vous pouvez personnaliser dans la fenêtre File > Edit project properties.
-
Une fois les champs renseignés, cliquez sur Next pour passer à l'étape suivante. Renseignez les informations de connexion à Oozie. Dans le champ End Point, l'URL de l'application Web est automatiquement construite avec le nom d'hôte du NameNode de la connexion Hadoop que vous utilisez et le port par défaut d'Oozie. Cette application Web vous permet également de consulter le statut des exécutions de Job planifiées dans la console Oozie Web Console dans votre navigateur Web.
Si la distribution Hadoop que vous sélectionnez autorise la sécurité Kerberos, le champ User name est désactivé.Vous pouvez modifier l'URL d'Oozie si nécessaire.
-
Cliquez sur Finish afin de valider ces changements.
La connexion Oozie que vous avez créée apparaît sous le nœud Hadoop cluster dans le Repository.
Remarque :Cette vue Repository peut varier suivant l'édition du Studio que vous utilisez.
Résultats
Lorsque vous configurez l'ordonnanceur Oozie (Oozie scheduler) pour un Job dans la vue Oozie scheduler, vous pouvez réutiliser les paramètres centralisés d'Oozie.
Pour plus d'informations concernant la manière d'utiliser Oozie scheduler pour un Job, consultez Exécuter un Job via Oozie (déprécié).
-
Create a new repository context : créer le contexte environnemental depuis la connexion Hadoop actuelle, c'est-à-dire que les paramètres à configurer dans l'assistant sont pris comme variables de contexte avec les valeurs données à ces paramètres.
-
Reuse an existing repository context : utiliser les variables d'un contexte environnemental afin de configurer la connexion actuelle.
Pour un exemple étape par étape concernant l'utilisation de la fonctionnalité Export as context, consultez Exporter une métadonnée en tant que contexte et réutiliser ses paramètres de contexte pour configurer une connexion.