Configuration basique de Talend Administration Center

Talend Big Data Guide d'installation pour Solaris

EnrichVersion
6.2
EnrichProdName
Talend Big Data
task
Installation et mise à niveau
EnrichPlatform
Talend JobServer
Talend Administration Center
Talend Runtime
Talend CommandLine

Les pages suivantes détaillent des procédures de configuration basique que vous devriez suivre afin d'installer Talend Administration Center :

Augmenter la mémoire de Tomcat

Pour augmenter la taille du tas de la mémoire du serveur (heap size) afin de faire fonctionner correctement toutes les applications, procédez comme suit :

  1. Si vous utilisez Ubuntu, changez le répertoire en <TomcatPath>/bin où <TomcatPath> est le répertoire d'installation de Tomcat et modifiez le fichier catalina.sh.

    Si vous utilisez un autre type de distribution, modifiez le fichier /usr/share/tomcat/conf.

  2. Ajoutez la ligne suivante :

    set JAVA_OPTS=%JAVA_OPTS% -XX:MaxMetaspaceSize=512m -Xmx1024m -Xms256m

    La taille de la mémoire de Tomcat est augmentée et le serveur peut contenir plusieurs applications Web.

    Pour les utilisateurs Oracle uniquement :

    Ajoutez la ligne suivante au fichier .sh afin de spécifier les paramètres de la base de données catalog et schema, et ainsi éviter des erreurs au démarrage de Talend Administration Center :

    Xmx<1G> -Dtalend.catalog=<catalogName> -Dtalend.schema=<schemaName>

Installer des pilotes de bases de données dans Tomcat

Installer les pilotes de bases de données

Si vous n'utilisez pas la base de données H2 fournie avec Talend Administration Center et Talend Activity Monitoring Console, vous devez installer le pilote correspondant à la base de données utilisée.

Pour plus d'informations concernant les bases de données compatibles avec Talend Administration Center et Talend Activity Monitoring Console, consultez Bases de données compatibles.

Pour installer les pilotes de base de données pour Talend Administration Center et Talend Activity Monitoring Console, procédez comme suit :

  1. Arrêtez Tomcat et nettoyez le dossier <apache-tomcat>/work/Catalina/localhost, où <apache-tomcat> correspond au répertoire d'installation de Tomcat.

  2. Assurez-vous que le pilote correspondant à la base de données souhaitée ne se trouve pas dans l'un des dossiers suivants :

    • <apache-tomcat>/webapps/org.talend.administrator/WEB-INF/lib

    • <apache-tomcat>/webapps/amc/WEB-INF/lib

    • <apache-tomcat>/lib

    Si le pilote existe déjà, passez l'étape qui suit.

  3. Téléchargez le pilote de base de données correspondant à vos besoins depuis le site officiel associé. Ce pilote doit correspondre à la version de JVM que vous utilisez pour exécuter Tomcat ainsi qu'à la version de la base données utilisée.

    Si vous utilisez Oracle, utilisez une copie du fichier ojdbcX.jar de votre installation Oracle.

    Notez que ces pilotes sont spécifiques et que vous ne devez télécharger que celui ou ceux dont vous avez besoin.

    Base de données utilisée

    Pilote à télécharger

    Oracle

    http://www.oracle.com/technetwork/database/features/jdbc/index-091264.html (en anglais)

    MS SQL

    http://sourceforge.net/projects/jtds/files/jtds/ (en anglais)

    PostgreSQL

    http://jdbc.postgresql.org/download.html (en anglais)

    Pilotes Microsoft JDBC Driver 6.0, 4.2, 4.1 et 4.0 pour SQL Server

    http://www.microsoft.com/fr-fr/download/details.aspx?id=11774

    MariaDB

    https://downloads.mariadb.org/connector-java/ (en anglais)

    MySQL

    http://dev.mysql.com/downloads/connector/j/ (en anglais)

  4. S'il n'existe pas, créez un dossier endorsed sous <apache-tomcat>.

  5. Placez les pilotes dont vous avez besoin dans le dossier <apache-tomcat>/endorsed.

  6. Redémarrez Tomcat.

(Bonne pratique) Utiliser VACUUM avec PostgreSQL pour les utilisateurs de Talend Administration Center

Lorsque Talend Administration Center est utilisé pour récupérer, planifier et/ou exécuter des Jobs, beaucoup d'opérations en base de type update ou delete sont effectuées, ce qui peut entraîner des baisses de performance si vous utilisez PostgreSQL.

En effet, il est recommandé d'exécuter la commande VACUUM avec PostgreSQL, car les éléments qui sont supprimés ou rendus obsolètes par une mise à jour ne sont pas physiquement retirés de leur table de base de données.

Pour plus d'informations sur la commande VACUUM, consultez la documentation PostgreSQL (en anglais).

Pour plus d'informations sur la mise en place de l'autovacuum (processus lancé à intervalles réguliers par le serveur PostgreSQL pour exécuter un VACUUM uniquement sur les tables modifiées), consultez la documentation PostgreSQL (en anglais).

Configurer Tomcat pour utiliser un serveur proxy

Pour configurer Tomcat afin qu'il se connecte à un serveur proxy, procédez comme suit :

  1. Arrêtez votre serveur Tomcat.

  2. Si vous utilisez Ubuntu, changez le répertoire en <TomcatPath>/bin où <TomcatPath> est le répertoire d'installation de Tomcat et modifiez le fichier setenv.sh.

    Si le fichier n'existe pas, créez-le.

    Si vous utilisez un autre type de distribution, modifiez le fichier /usr/share/tomcat/conf.

  3. Ajoutez les lignes suivantes en changeant les paramètres afin qu'ils correspondent à votre configuration :

    [Tomcat Proxy Property]
    -Dhttp.proxySet=true
    -Dhttp.proxyHost=http(s)://proxy.server.com # Specify the host name or IP address of the proxy. You can use this parameter for http and https host names.
    -Dhttp.proxyPort=3128 # Specify the port number of the proxy server.
    -Dhttp.nonProxyHost=localhost|host.mydomain.com|192.168.0 # Specify a list of hosts separated by "|" that do not require access through the proxy server.

  4. Redémarrez votre serveur Tomcat.

Synchroniser le fuseau horaire de Talend Administration Center et du serveur

Pour que les informations de passage aux heures d'été/hiver et de fuseaux horaires soient correctement prises en compte, vérifiez que votre système d'exploitation comprend une variable d'environnement paramétrée comme suit :

On Windows: TZ=Europe/Paris

On Linux: Export TZ="Europe/Paris"

Note

Si vous souhaitez mettre la planification des tâches d'exécution en haute disponibilité à l'aide de la fonctionnalité de clustering, consultez Haute Disponibilité Talend.

Lancer Talend Administration Center

Le mode recommandé pour la configuration des connexions à la base de données et au référentiel partagé (Git ou SVN) est via l'interface Web de Talend Administration Center.

  1. Démarrez le serveur d'applications (Tomcat ou JBoss), puis ouvrez un navigateur Web et saisissez l'URL suivante :

    http://localhost:8080/<ApplicationPath>.

    Remplacez <localhost> par l'adresse IP ou le nom de l'hôte du serveur Web si l'IP du navigateur Web est différente et remplacez <ApplicationPath> par le chemin d'installation de l'application Web Talend Administration Center. Par exemple, http://localhost:8080/org.talend.administrator.

    Choisissez le port selon votre environnement. Le port 8080 par défaut peut entrer en conflit avec une autre application.

    Lorsque vous vous connectez pour la première fois, une boîte de dialogue s'affiche pour demander le mot de passe permettant d'accéder à la page Database Configuration.

  2. Saisissez le mot de passe par défaut admin. Les informations de connexion à la base de données H2 apparaissent et des vérifications automatiques sont effectuées sur les pilotes, l'URL, la connexion et la version.

    La base de données d'administration (qui stocke les comptes utilisateurs, droits, etc.) étant une base embarquée H2, la configuration de l'accès au serveur de base de données n'est plus requis. Néanmoins :

    • pour des raisons de sécurité et afin d'améliorer les performances à l'utilisation, les paramètres supplémentaires ;MV_STORE=FALSE;MVCC=TRUE doivent être ajoutés à l'URL H2 par défaut. L'URL de la base H2 doit donc ressembler à la suivante :

      jdbc:h2:~/talend_administrator;MV_STORE=FALSE;MVCC=TRUE;AUTO_SERVER=TRUE;LOCK_TIMEOUT=15000
    • si vous ne souhaitez pas utiliser la base par défaut H2, vous pouvez mettre en place un autre serveur de base de données (MySQL, MSSQL ou Oracle) et saisir les paramètres de connexion correspondants. Pour plus d'informations, consultez Configurer Talend Administration Center pour fonctionner avec une autre base de données que H2.

  3. Cliquez sur Set new license, puis parcourez votre système jusqu'au fichier de licence que vous avez reçu de Talend puis cliquez sur Upload. Une dernière vérification de votre clé de licence est réalisée.

  4. Cliquez sur Go to Login.

  5. Sur la page de Login, saisissez les identifiants de connexion par défaut pour votre premier accès (identifiant : admin@company.com, mot de passe : admin).

    Ces identifiants correspondent à l'utilisateur par défaut de l'application Web. Vous pouvez en créer un nouveau via le menu Users dans Talend Administration Center, puis supprimer l'utilisateur admin@company.com après vous être connecté en utilisant les identifiants que vous venez de créer.

    Après la première connexion, il est fortement recommandé de ne plus utiliser le compte utilisateur par défaut pour accéder à l'application pour des raisons de sécurité. Vous pouvez soit modifier les identifiants par défaut de ce compte (admin@company.com/admin), soit créer un autre administrateur et supprimer le compte par défaut.

    Note

    Si votre accès Web est restreint, vous pouvez être contraint de cliquer sur Validate your license manually pour effectuer la validation de votre clé de licence. Suivez les instructions à l'écran le cas échéant.

Une fois votre licence validée, la barre de navigation latérale affiche toutes les pages accessibles pour le compte administrateur par défaut.

Pour plus d'informations sur les pages accessibles pour un compte administrateur, consultez le Guide utilisateur de Talend Administration Center. Vous pouvez à présent configurer le lien avec le référentiel partagé (Git ou SVN).

Configurer Talend Administration Center pour fonctionner avec une autre base de données que H2

Par défaut, l'application Web Talend Administration Center est configurée pour fonctionner avec la base de données H2 embarquée par défaut.

Pour plus d'informations sur la base de données de Talend Administration Center, consultez Base de données.

Prérequis:

  • La base de données externe doit être paramétrée avec un interclassement utf8.

Pour adapter Talend Administration Center à une autre base de données :

  1. Si vous utilisez une base de données MySQL, Oracle ou MS SQL pour Talend Administration Center, installez le pilote adéquat dans le serveur d'applications (Tomcat ou JBoss). Pour plus d'informations, consultez l'article Installer des pilotes de bases de données dans Tomcat.

    Pour les utilisateurs MySQL : pour éviter des problèmes ultérieurs de transaction sur la page Job Conductor de Talend Administration Center, il est recommandé de configurer MySQL comme décrit dans l'article Preventing transaction issue when resuming a Job Conductor trigger with a MySQL database (en anglais).

  2. Démarrez le serveur d'applications, puis ouvrez un navigateur Web et saisissez l'URL de l'application Web Talend Administration Center.

  3. Sur la page d'identification, cliquez sur le bouton Go to db config page pour vous rendre sur la page de configuration de la base de données, puis saisissez le mot de passe administrateur (admin par défaut).

    Notez que si vous démarrez Talend Administration Center pour la première fois, vous vous trouvez directement sur cette page de configuration.

  4. Dans la liste Database type, sélectionnez votre base de données. Les champs Driver et Url sont alors automatiquement mis à jour avec le pilote et le modèle d'URL correspondant à cette base de données.

  5. Dans le champ Url, remplacez les paramètres entre crochets par les informations de votre base de données.

    Notez que vous pouvez cliquer sur le bouton Reload from file pour recharger votre précédente base de données puisqu'aucune modification n'est prise en compte avant d'appuyer sur Save.

  6. Cliquez sur Save pour prendre en compte vos modifications.

Lier l'application web au référentiel partagé (Git ou SVN)

  1. Cliquez sur Configuration pour accéder à la page de paramétrage de Talend Administration Center.

  2. Changez les paramètres suivants du module Git ou SVN par ceux que vous avez configurés lors de l'installation du serveur Git ou SVN.

    - Server Location URL : L'URL de votre référentiel Git ou SVN.

    - Username : le nom d'utilisateur de votre référentiel Git ou SVN.

    - Password : le mot de passe de votre référentiel Git ou SVN.

Pour des exemples d'URL de Git ou de SVN et pour plus d'informations, consultez Installation de votre système de contrôle des versions.

Note

Si vous utilisez plusieurs référentiels Git ou SVN pour stocker vos projets, référez-vous au Guide utilisateur de Talend Administration Center pour la procédure Advanced settings.

Le lien avec le serveur Git ou SVN est établi, vous pouvez maintenant créer un nouveau projet à partir de la page Projects, pour que les clients de Talend aient au moins un projet de travail. Étapes suivantes :

  • Créer un ou plusieurs utilisateur(s) dans la page Users.

  • Créer un nouveau projet distant, collaboratif dans la page Projects.

  • Associer l'utilisateur/les utilisateurs au projet dans la page Project authorizations.

Pour plus de détails, consultez le Guide utilisateur de Talend Administration Center.

Configurer Talend Administration Center pour autoriser plusieurs référentiels Git

Il peut être nécessaire de connecter Talend Administration Center à un autre référentiel Git que celui saisi dans la page Configuration de l'application web, par exemple lors de la création de projets. Dans ce cas, vous devez mettre à jour un fichier de configuration.

Prérequis : Vous devez arrêter Tomcat.

  1. Ouvrez le fichier suivant pour le modifier :

    <tomcat_path>WEB-INF\classes\configuration.properties

  2. Ajoutez le paramètre suivant :

    git.conf.enableHashRepositoryUrl=true

    Notez que cette configuration peut augmenter l'utilisation de votre espace disque si vous utilisez différents protocoles (http / https / ssh, etc.) pour accéder au même référentiel.

  3. Redémarrez Tomcat.

    A partir de maintenant, un dossier local sera créé pour chaque URL de référentiel Git saisie dans Talend Administration Center.

(Git uniquement) Configurer Talend Administration Center pour améliorer les performances lors de la création de tâches d'exécution

Lors de la création de tâches d'exécution sur la page Job Conductor de Talend Administration Center, vous constaterez peut-être des lenteurs au moment de récupérer les Jobs stockés dans le référentiel Git. Le cas échéant, vous pouvez . Dans ce cas, vous pouvez mettre à jour un fichier de configuration afin d'empêcher Git de rafraîchir le référentiel local et donc d'améliorer la vitesse de sélection des éléments.

Prérequis : Vous devez arrêter Tomcat.

  1. Ouvrez le fichier suivant pour le modifier :

    <tomcat_path>WEB-INF\classes\configuration.properties

  2. Ajoutez le paramètre suivant :

    git.conf.refreshDataProjectWhenSelectJob.enable=false

    Notez que la valeur du paramètre recommendée est true, et que vous devez uniquement le désactiver afin d'empêcher Git de rafraîchir les référentiels locaux.

  3. Redémarrez Tomcat.

    A partir de maintenant, la vitesse de sélection des éléments Git depuis la page Job Conductor de Talend Administration Center sera plus rapide.

Configurer le mode de stockage des logs

Les sorties de log sont stockées par défaut dans le fichier de log standard du serveur d'application (STDOUT) tel que défini sans le fichier Log4j.xml. Cependant, si vous désirez les stocker dans un fichier différent, modifiez le fichier Log4j.xml pour définir ou ajouter un nouveau chemin d'accès.

  • Pour ce faire, configurez simplement le chemin d'accès dans la page Configuration de Talend Administration Center. Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center. Si vous ne renseignez pas ce champ dans la page Configuration, vous avez également la possibilité de personnaliser le fichier Log4j.xml pour répondre à vos besoins spécifiques.