Conception de Jobs, de Routes ou de Services de données - Cloud - 8.0

Talend Software Development Life Cycle - Guide de bonnes pratiques

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend JobServer
Talend Management Console
Talend Remote Engine
Content
Administration et monitoring
Création et développement
Déploiement
Last publication date
2024-02-29
À ce moment du développement, la partie de conceptualisation est terminée et chaque équipe se voit attribuer des tâches. L'équipe de développement conçoit les Jobs, les Routes ou les Services de données dans le Studio Talend. Ces éléments constituent des unités de développement chez Talend.
Bonnes pratiques : voici quelques bonnes pratiques que vous devriez appliquer afin de garantir une intégration continue lors du développement et d'aider les équipes de développement à concevoir et construire des artefacts cohérents, efficaces et optimisés :

Concept

Exemple de bonne pratique :

Standards de nommage

Dans le Studio Talend, définissez une convention de nommage pour les Jobs, les Routes ou les Services de données et les dossiers et respectez-la.

Dans ce document, la convention de nommage est la suivante, mais n'hésitez pas à l'adapter selon vos besoins : préfixes job_|route_|service_ pour les noms des Jobs, Routes et services de données respectivement, préfixe test_ pour les noms des Test Cases, préfixe pub_ pour les noms des tâches de publication et préfixe task_ pour les noms des tâches d'exécution.

Par exemple, nommez votre dossier xxx. Les dossiers doivent être utilisés pour regrouper des Jobs d'un type similaire. Créez ensuite un Job nommé job_xxx_description et son scénario de Test nommé test_xxx_description.

À un niveau plus granulaire, les composants du Job devraient également avoir un nom significatif.

Au niveau du projet, nommez votre projet en utilisant des majuscules, sinon le build échoue.

Avertissement : Si vous travaillez sur un projet géré dans Git, n'utilisez aucun des mots-clés réservés afin de nommer votre Job ou dossier de Job :
  • tests
  • target
  • src
Si aucun des mots-clés mentionné n'est utilisé dans le nom d'un Job, d'un dossier de Job ou à tout niveau de ses dossiers parents, les modifications apportées à votre Job ou Jobs dans le dossier ne seront pas poussées dans Git.

Contrôle des versions

Utilisez les branches et tags Git ainsi que le Studio Talend pour gérer les versions des artefacts.

Pour plus d'informations concernant comment modifier la version de vos artefacts de façon centralisée et en une seule fois afin de les publier avec la version de votre choix, consultez Modifier la version de déploiement de chaque artefact en une fois.

Project identifier

Lorsque vous vous connectez au projet pour la première fois dans le Studio Talend, modifiez les paramètres afin de configurer l'identifiant du projet (groupID) qui sera utilisé lors du déploiement.

Pour plus d'informations concernant comment modifier cet identifiant projet, consultez Changer l'identifiant de déploiement du projet en une seule opération.

Métadonnées

Utilisez les métadonnées de schéma dans vos Jobs, Routes ou Services de données pour partager les connexions aux bases de données entre plusieurs artefacts et aider à la conception des composants sources/cibles.

Contextes

Utilisez les contextes afin de réutiliser les variables (paramètres de contexte localement pour les artefacts, groupes de contextes globalement pour les projets), comme la connectivité aux bases de données, les noms des hôtes, les numéros de ports, etc. Si les valeurs nécessitent modification ou sont utilisées plusieurs fois, alors elles ne devraient pas être codées en dur et il est recommandé d'utiliser des contextes.

Ces contextes sont également utilies pour passer d'un environnement à un autre (contexte de Développement, puis de QA, puis de Production).

Disposition standard des Jobs

Utilisez une disposition standard pour assurer la lisibilité des Jobs, particulièrement importante lors d'un travail collaboratif.

Voici quelques exemples : aligner les flux de données de gauche à droite, présenter le flux de processus entre les sous-Jobs du haut vers le bas, les composants cible à droite, etc.

Complexité

Les Jobs doivent suivre une logique et, si nécessaire, être divisés en étapes, nommées sous-Jobs. Il est également recommandé d'utiliser des Jobs parents pour exécuter un Job enfant (ou plusieurs) afin de créer un flux de processus, et bien qu'il n'y ait aucune limite, évitez d'utiliser plus de 20 composants dans un Job.

Une fois l'artefact conçu dans un projet distant depuis le Studio Talend, il peut être publié, déployé et exécuté dans Talend Cloud. Exporter l'artefact au format .zip depuis le Studio contribue également à faciliter les tests d'assurance qualité sur des Jobs qui sont les mêmes que ceux créés dans l'environnement de Développement.

Pour plus d'informations, consultez Déploiement vers les environnements d'Assurance qualité (QA) et de Production.