Talend Administration Center Configuration avancée - 6.4

Talend Big Data Guide d'installation pour Solaris

EnrichVersion
6.4
EnrichProdName
Talend Big Data
task
Installation et mise à niveau
EnrichPlatform
Talend Administration Center
Talend CommandLine
Talend JobServer
Talend Runtime

La plupart des paramètres de configuration sont stockés dans la base de données de Talend Administration Center, tels que les paramètres liés à la sauvegarde de la base, les informations liées aux ports, les délais d'attente (timeout), les paramètres liées à la sécurité, le délai de connexion etc.

Certains paramètres peuvent être mis à jour, activés ou désactivés depuis la page Configurationde l'application Web ou directement dans le fichier configuration.properties, mais il se peut que vous deviez en modifier certains manuellement dans la table configuration de la base de données de Talend Administration Center. Pour accéder à cette base de données, ouvrez la console Web de la base de données. To edit this database, open its web console which is accessible from the Database node of the Configuration page of Talend Administration Center.

Les pages suivantes fournissent des procédures de configuration avancées pour Talend Administration Center :

Configurer Talend Administration Center Authentification unique (SSO)

Vous pouvez mettre en place l'authentification unique, ou SSO, pour accéder à Talend Administration Center depuis différents systèmes d'IdP (fournisseurs d'identité) ainsi que pour gérer les rôles et types de projets des utilisateurs de l'application.

  1. Vous devez au préalable activer le SSO pour Talend Administration Center pendant l'installation, soit via Talend Installer soit depuis un fichier de configuration, consultez Activer l'authentification unique (SSO) pour Talend Administration Center.

  2. Puis implémenter le SSO ainsi que les rôles et types de projet des utilisateurs depuis votre Fournisseur d'identité :

  3. (Facultatif) Vous pouvez créer un "utilisateur d'urgence" dans Talend Administration Center au cas où votre Fournisseur d'Identité est momentanément inaccessible, consultez Définir un utilisateur d'urgence pour Talend Administration Center.

La mise en place d'un SSO dans votre Fournisseur d'identité permet aux utilisateurs d'accéder à toutes leurs applications, dont Talend Administration Center, en ne s'authentifiant qu'une fois. Si un utilisateur tente de s'identifier à Talend Administration Center alors que le SSO est mis en place, celui-ci est redirigé vers la page d'identification du fournisseur d'identité.

Activer l'authentification unique (SSO) pour Talend Administration Center

Pour activer le SSO pour Talend Administration Center pendant l'installation, vous pouvez :

  • activer le SSO en modifiant un fichier de configuration

Notez que, si vous n'activez pas le SSO pendant l'installation, vous avez toujours la possibilité de le faire depuis la page Configuration une fois connecté à l'application web. Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center.

Dans le fichier de configuration :

Vous pouvez également activer le SSO directement depuis un fichier de configuration.

  1. Ouvrez le fichier suivant pour le modifier :

    <tomcat_path>WEB-INF\classes\configuration.properties

  2. Définissez l'argument sso.field.useSSOLogin à true puis enregistrez vos modifications.

    Le SSO est activé, ce qui signifie que lors de la première connexion de l'administrateur à Talend Administration Center, il ou elle pourra configurer le lien entre l'application et son Fournisseur d'identité directement depuis la page Database Configuration de Talend Administration Center.

    Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center.

Configurer une connexion à Talend Administration Center depuis Okta

Prérequis : Vous avez un compte administrateur Okta dans votre entreprise.

Ajoutez l'application Talend Administration Center dans Okta

  1. Connectez-vous à votre compte Okta.

  2. Cliquez sur le bouton Admin.

  3. Cliquez sur Add Applications, puis sur le bouton Create New App.

  4. Sélectionnez SAML 2.0, puis cliquez sur Create.

  5. Dans l'étape General Settings, saisissez un nom et une description pour votre application, par exemple Talend Administration Center, puis cliquez sur Next.

  6. Renseignez les paramètres de SAML Settings :

    Champ

    Valeur

    Single sign on URL

    http://<host>:<port>/<application_name>/ssologin

    Exemple :

    http://localhost:8080/org.talend.administrator/ssologin

    Audience URI(SP Entity ID)

    /ssologin

    Name ID format

    Sélectionnez Email Address dans la liste.

    Application username

    Sélectionnez Email dans la liste.

  7. Une fois que vous avez créé votre application, téléchargez le fichier de métadonnées en cliquant sur le lien Identity Provider metadata depuis l'onglet Sign On de votre application.

  8. Cliquez sur Next et Finish.

Définir les attributs utilisateur de votre application

Le SSO est uniquement disponible pour Talend Administration Center, mais les informations liées aux utilisateurs peuvent être centralisées dans Okta : Talend vous permet de gérer les rôles et les types de projets des utilisateurs de vos applications, notamment ceux des utilisateurs de Talend Administration Center, Talend Data Preparation et Talend Data Stewardship, en dehors de Talend Administration Center depuis Okta.

Notez que lorsque l'Authentification unique (SSO) est activée, vous ne pouvez plus gérer depuis Talend Administration Center les paramètres utilisateur définis dans le Fournisseur d'identité, tels que les mots de passe, les types de projets auxquels les utilisateurs sont affectés ou leurs rôles.

  1. Sélectionnez Directory > Profile Editor depuis le menu.

  2. Ouvrez l'éditeur du profil correspondant aux utilisateurs l'application Talend Administration Center que vous venez de créer dans Okta (Talend Administration Center).

  3. Dans l'onglet Custom, cliquez sur Add Attribute.

  4. Dans la fenêtre Add Attribute, saisissez le nom d'affichage de l'attribut (TACRole par exemple), de la variable (tacRole par exemple), et sélectionnez string array dans la liste Data type, puis cliquez sur Add Attribute.

  5. Dans la fenêtre Add Attribute, saisissez le nom d'affichage de l'attribut (TACProjectTypepar exemple), de la variable (tacProject par exemple), et sélectionnez stringdans la liste Data type, définissez une longueur de champ (entre 1 et 10 caractères par exemple) puis cliquez sur Add Attribute.

Ajouter les attributs utilisateur à votre application

  1. Sélectionnez votre application et cliquez sur Edit dans la partie SAML Settings de l'onglet General.

  2. Dans la zone Attribute Statements, ajoutez les attributs tac.role, tac.projectType, firstName et lastName :

    Nom d'attribut Talend Administration Center

    Nom d'attribut SAML (Okta)

    Valeur

    Valeur d'attribut dans le profil utilisateur

    Attribut de rôle dans Talend Administration Center

    tac.role

    user.tacRole

    Tout chaîne de caractères qui correspondra à la valeur saisie dans la configuration SSO de Talend Administration Center

    Par exemple :

    tac_admin (for a Talend Administration Center Administrator user)

    tac_om (pour un utilisateur Operation Manager)Talend Administration Center

    dp_dm (for a Talend Data Preparation Dataset Manageer user)

    Attribut de type de projet dans Talend Administration Center

    tac.projectType

    user.tacProject

    Soit DI (Data Integration), DQ (Data Quality), MDM (Master Data Management) ou NPA (No Project Access)

    Facultatif (si pas défini, l'adresse e-mail de l'identifiant sera utilisée) - Prénom (First Name)

    firstName

    user.firstName

    Prénom utilisateur

    Facultatif (si pas défini, l'adresse e-mail de l'identifiant sera utilisée) - Nom de famille (Last Name)

    lastName

    user.lastName

    Nom utilisateur

Définir les informations des utilisateurs et les attribuer à l'application

  1. Sélectionnez Directory > People depuis le menu.

  2. Sélectionnez l'utilisateur que vous souhaitez modifier puis cliquez sur l'onglet Profile pour le modifier.

  3. Définissez les valeurs de rôles souhaitées (les mêmes valeurs de rôle et de types de projets devront être indiqués dans la configuration du SSO de Talend Administration Center), puis cliquez sur Add Another pour ajouter plusieurs rôles utilisateur.

    Faites de même pour les valeurs des types de projet (( DI (Data Integration), DQ (Data Quality), MDM (Master Data Management) ou NPA (No Project Access)).

  4. Ouvrez l'onglet People dans un nouvel onglet du navigateur et cliquez sur Assign to People.

  5. Saisissez le(s) nom(s) utilisateur et l'(les) adresse(s) e-mail de la(des) personne(s) que vous souhaitez attribuer à l'application.

    Une fois que votre application et vos utilisateurs sont définis dans Okta, vous devez lier ce Fournisseur d'identité à Talend Administration Center afin de récupérer les informations utilisateurs que vous avez définies.

Dans Talend Administration Center :

  1. Depuis la page de configuration, développez le nœud SSO.

  2. Si le SSO n'a pas été précédemment activé, sélectionnez true dans le champ Use SSO Login.

  3. Cliquez sur Launch Upload dans le champ IDP metadata et chargez le fichier de métadonnées de l'IdP (fournisseur d'identité) que vous avez téléchargé précédemment depuis le Fournisseur d'identité (IdP).

  4. Dans le champ Service Provider Entity ID, saisissez l'identifiant de l'Entité de votre Fournisseur de service (disponible dans la configuration du Fournisseur d'identité), ssologin par exemple.

  5. Sélectionnez votre fournisseur d'identité dans la liste Identity Provider System.

    • Si votre fournisseur est Okta : saisissez l'URL correspondant à votre Okta administrateur dans Organization URL, ainsi que le lien Okta App Embed link correspondant au lien utilisé pour vous connecter à votre application depuis un portail extérieur à Okta (vous le trouverez dans la configuration d'Okta).

    • Si votre fournisseur est SiteMinder : saisissez l'URL correspondant à votre SiteMinder administrateur dans SiteMinder SSO Service URL, http://<host>/affwebservices/public/saml2sso?SPID=<SPEntityName> par exemple.

  6. Définissez le champ Use Role Mapping à true pour faire correspondre les types de projet et rôles utilisateur des applications avec ceux définis dans le fournisseur d'identité.

    Une fois les rôles et types de projet définis côté fournisseur d'identité, vous ne pourrez pas les modifier depuis Talend Administration Center.

    Renseignez les champs de types de projet et de rôles avec les attributs SAML correspondants précédemment définis dans le fournisseur d'identité.

    Exemples pour les types de projet :

    • MDM=MDM; DI = DI; DM=DQ; NPA=NPA

    Exemples pour les rôles :

    • Talend Administration Center Roles > Administrator = tac_admin; Operation Manager = tac_om

    • Talend Data Preparation Roles > Administrator = dp_admin; Data Preparator = dp_dp

    • Talend Data Stewardship Roles > Data Steward = tds_ds

    Les types de projet et rôles définis dans l'Idp vont outrepasser ceux définis dans Talend Administration Center.

Configurer une connexion SSO à Talend Administration Center depuis SiteMinder

Prérequis : Vous avez un compte administrateur SiteMinder et avez installé et configuré Web Agent et Web Agent OptionPack.

Ci-après, les principales étapes de configuration pour implémenter le SSO pour Talend Administration Center depuis SiteMinder.

Pour des informations plus détaillées, consultez l'article à propos de la configuration de SiteMinder sur Talend Help Center.

Configurer le Fournisseur d'identité SAML2 dans SiteMinder

  1. Créez un User Directory depuis SiteMinder Administrative UI.

    Dans la zone LDAP Settings, définissez l'attribut de l'adresse e-mail en tant que recherche utilisateur dans l'option LDAP user DN lookup.

  2. Protégez l'URL d'authentification pour établir les sessions utilisateur comme décrit dans la documentation SiteMinder (en anglais) :

    • Sélectionnez votre Web agent (créez et configurez-le comme décrit dans la documentation SiteMinder).

    • Sélectionnez le User Directory créé précédemment.

    • Sélectionnez Basic comme Authentication Scheme (voir la documentation SiteMinder pour plus d'informations).

    • Décochez la case Persistent dans la section Session afin de ne pas conserver les informations de session.

  3. Créez un certificat de signature en important une paire clé/certificat (Infrastructure > X509 Certificate Management > Trusted Certificates and Private Keys).

  4. Créez une Entité locale de Fournisseur d'identité (Federation > Partnership Federation > Entities) :

    • Sélectionnez Local et SAML2 IDP dans l'étape Entity Type.

    • Cochez les cases Unspecified et Email Address dans l'étape Entity configuration.

  5. Créez un Partenariat (Federation > Partnership Federation > Partnerships) :

    • Sélectionnez SAML2 IDP et tac dans l'étape Configure Partnership.

    • Sélectionnez All Users in Directory dans l'étape Federation Users.

    • Dans l'étape Assertion Configuration, saisissez les informations requises et ajoutez tac.role et tac.projectType qui correspondront aux attributs de l'utilisateur LDAP (tacRole et projectType dans cet exemple). Les valeurs de ces attributs seront mises en correspondance avec celles des attributs saisis dans la configuration SSO de Talend Administration Center.

    • Dans l'étape SSO and SLO, saisissez l'URL du service web du fichier redirect.jspdans Authentication URL, sélectionnez urn:oasis:names:tc:SAML:2.0:classes:Password dans Authentication Class, sélectionnez les bindings HTTP-Redirectet HTTP-POST, saisissez l'URL de Talend Administration Center Servlet SSO (http://<TACapplicationURL>/<TACapplicationName>/ssologin) dans la zone Remote Assertion Consumer Service URLs . Laissez ensuite les autres paramètres tels quels et terminez le processus de création.

  6. Activez le Partenariat créé précédemment et exportez ses métadonnées. Vous devrez charger ces métadonnées ultérieurement dans la page de configuration SSO de Talend Administration Center.

  7. Via votre serveur LDAP, testez l'identification SSO à l'application Talend Administration Center :

    • Créez un utilisateur LDAP avec les attributs personnalisés de rôles et de projet que vous souhaitez (tacRole= tac_admin,tac_vieweret projectType=DI par exemple) et vérifiez que le lien avec les identifiants utilisateur (bind) s'effectue avec succès.

      Gardez à l'esprit :

      • les valeurs des types de projet peuvent uniquement être : DI (Data Integration), DQ (Data Quality), MDM (Master Data Management) ou NPA (No Project Access).

      • Si vous souhaitez ajouter plusieurs rôles pour un utilisateur, ces rôles doivent être séparés par une virgule.

    • Accédez à l'URL d'authentification précédemment définie (http://<host>/affwebservices/public/saml2sso?SPID=<SPEntityName>) et saisissez les valeurs de Talend Administration Center pour vous connecter à TAC.

Une fois que votre application et vos utilisateurs sont définis dans SiteMinder et LDAP, vous devez lier ce Fournisseur d'identité à Talend Administration Center afin de récupérer les informations utilisateurs que vous avez définies.

Notez que le SSO est uniquement disponible pour Talend Administration Center, mais que les informations liées aux utilisateurs peuvent être centralisées dans SiteMinder : Talend vous permet de gérer les rôles et les types de projets des utilisateurs de vos applications, notamment ceux des utilisateurs de Talend Administration Center, Talend Data Preparation et Talend Data Stewardship, en dehors de Talend Administration Center depuis le Fournisseur d'identité.

Dans Talend Administration Center :

  1. Depuis la page de configuration, développez le nœud SSO.

  2. Si le SSO n'a pas été précédemment activé, sélectionnez true dans le champ Use SSO Login.

  3. Cliquez sur Launch Upload dans le champ IDP metadata et chargez le fichier de métadonnées de l'IdP (fournisseur d'identité) que vous avez téléchargé précédemment depuis le Fournisseur d'identité (IdP).

  4. Dans le champ Service Provider Entity ID, saisissez l'identifiant de l'Entité de votre Fournisseur de service (disponible dans la configuration du Fournisseur d'identité), ssologin par exemple.

  5. Sélectionnez votre fournisseur d'identité dans la liste Identity Provider System.

    • Si votre fournisseur est Okta : saisissez l'URL correspondant à votre Okta administrateur dans Organization URL, ainsi que le lien Okta App Embed link correspondant au lien utilisé pour vous connecter à votre application depuis un portail extérieur à Okta (vous le trouverez dans la configuration d'Okta).

    • Si votre fournisseur est SiteMinder : saisissez l'URL correspondant à votre SiteMinder administrateur dans SiteMinder SSO Service URL, http://<host>/affwebservices/public/saml2sso?SPID=<SPEntityName> par exemple.

  6. Définissez le champ Use Role Mapping à true pour faire correspondre les types de projet et rôles utilisateur des applications avec ceux définis dans le fournisseur d'identité.

    Une fois les rôles et types de projet définis côté fournisseur d'identité, vous ne pourrez pas les modifier depuis Talend Administration Center.

    Renseignez les champs de types de projet et de rôles avec les attributs SAML correspondants précédemment définis dans le fournisseur d'identité.

    Exemples pour les types de projet :

    • MDM=MDM; DI = DI; DM=DQ; NPA=NPA

    Exemples pour les rôles :

    • Talend Administration Center Roles > Administrator = tac_admin; Operation Manager = tac_om

    • Talend Data Preparation Roles > Administrator = dp_admin; Data Preparator = dp_dp

    • Talend Data Stewardship Roles > Data Steward = tds_ds

    Les types de projet et rôles définis dans l'Idp vont outrepasser ceux définis dans Talend Administration Center.

Définir un utilisateur d'urgence pour Talend Administration Center

Dans le cas où votre Fournisseur d'identité est momentanément accessible et où vous souhaitez vous connecter à Talend Administration Center, vous avez la possibilité de créer un utilisateur d'urgence temporaire.

  1. Ouvrez le fichier suivant pour le modifier :

    <tomcat_path>WEB-INF\classes\configuration.properties

  2. Dé-commentez les paramètres sso.emergency.username et sso.emergency.password, modifiez si nécessaire les identifiants de l'utilisateur d'urgence et enregistrez vos modifications.

  3. Redémarrez Tomcat.

  4. Connectez-vous à Talend Administration Center en utilisant les identifiants précédemment définis. Après déconnexion de la session en cours, ce compte utilisateur est supprimé.

Configuration de la Haute Disponibilité pour la planification des tâches d'exécution

Pour implémenter une architecture de Haute Disponibilité, procédez comme suit :

Installer Tomcat en cluster
  1. Installez un serveur Tomcat comme décrit dans Déployer Talend Administration Center sur un serveur d'application.

  2. Avant de lancer Tomcat et de déployer Talend Administration Center, paramétrez-le en mode cluster. Pour ce faire :

    • Modifiez le fichier suivant :

      /<ApplicationPath>/WEB-INF/classes/quartz.properties

    • Décommentez les lignes suivantes en supprimant le caractère dièse précédant la commande :

      #org.quartz.scheduler.instanceName = MyClusteredScheduler
      

      #org.quartz.scheduler.instanceId = AUTO
      

      #org.quartz.jobStore.isClustered = true
      

      #org.quartz.jobStore.clusterCheckinInterval = 20000

Dupliquer Tomcat et l'application web de Talend Administration Center
  1. Dupliquez les instances Tomcat sur différents serveurs autant de fois que nécessaire.

    Avertissement

    Assurez-vous que toutes les horloges système sont synchronisées à l'aide d'un service (démon) qui devra s'exécuter de façon régulière (les horloges doivent être synchronisées à la seconde près). Pour plus d'informations concernant les services de synchronisation horaire, veuillez vous référer aux documentations appropriées de Microsoft concernant SNTP, les outils Windows Time Service et les horloges en réseau.

  2. Dupliquez ensuite l'application Web org.talend.administrator sur toutes les instances Tomcat. Vérifiez que les configurations de toutes ces applications Web sont identiques.

  3. Lancez ensuite une instance Tomcat à l'aide des commandes données à la fin de la Déployer Talend Administration Center sur un serveur d'application.

  4. Lancez les autres instances Tomcat, en suivant la même procédure.

Le failover se déclenche si l'un des multiples serveurs d'exécution tombe au cours de l'exécution d'une ou plusieurs tâche(s). Lorsqu'un serveur tombe, les autres serveurs du cluster détectent cet état et identifient les tâches de la base de données qui étaient en cours de traitement sur le serveur tombé. Toute tâche qui doit être reprise est relancée par un autre serveur.

Notez que le classement des serveurs à utiliser pour la répartition de charge est basé sur des indicateurs, notamment les limites (espace libre insuffisant sur le disque) et les valeurs de pondération, qui sont définis dans le fichier monitoring_client.properties situé dans <ApplicationPath>\WEB-INF\lib\org.talend.monitoring.client-A.B.C.jar. Ces valeurs peuvent être modifiées selon vos besoins. Pour plus d'informations, consultez Configurer les indicateurs qui déterminent quel serveur utiliser pour la répartition de charge.

Vous pouvez aussi déployer Talend Administration Center sur un serveur d'application JBoss (plutôt que sur Tomcat). Ainsi, vous pouvez suivre les instructions ci-dessus pour JBoss. Pour plus d'informations concernant le déploiement de l'application Web sur JBoss, consultez Déployer Talend Administration Center sur JBoss.

Note

Un problème mineur lié au changement d'heure peut empêcher le failover de s'exécuter correctement. Afin de pallier ce problème, vous devez simplement relancer Tomcat après un changement d'heure. Cela ne devrait pas avoir d'impact sur vos exécutions.

Migration d'une base de données X à une base de données Y

Vous pouvez vouloir migrer d'une base de données, par exemple H2, vers une autre base de données, par exemple MySQL. Pour ce faire, vous devez utiliser la commande de la MetaServlet appelée migrateDatabase.

Comme la base de données source est mise à jour pendant le processus de migration, il est obligatoire de la sauvegarder avant de la migrer.

L'application MetaServlet se trouve dans le dossier <TomcatPath>/webapps/<TalendAdministrationCenter>/WEB-INF/classes.

Pour afficher l'aide de cette commande (avec les paramètres associés), vous devez saisir ce qui suit dans l'application MetaServlet :

./MetaServletCaller.sh --tac-url=<yourApplicationURL> -h migrateDatabase

Pour plus d'informations concernant l'application MetaServlet, consultez le Guide utilisateur de Talend Administration Center.

Avertissement

Lorsque vous migrez depuis Postgresql ou MSSQL/SQLServer, le nom de la base de données et du schéma doit correspondre à celui d'une base de données source.

Ci-dessous, un exemple de migration entre une base données H2 et une base de données MySQL.

Pour pouvoir utiliser cette commande, vous devez d'abord la saisir sur une ligne unique.

./MetaServletCaller.sh --tac-url http://localhost:8080/org.talend.administrator --json-params='{"actionName":"migrateDatabase","dbConfigPassword":"admin","mode":"synchronous","sourcePasswd":"tisadmin","sourceUrl":"jdbc:h2:/home/Talend/6.4.1/tac/apache-tomcat-8.0.20/webapps/org.talend.administrator/WEB-INF/database/talend_administrator","sourceUser":"tisadmin","targetPasswd":"root","targetUrl":"jdbc:mysql://localhost:3306/base","targetUser":"root"}'

Cas d'utilisation : Migrer d'une base de données X à une base de données Y à l'aide de la MetaServlet

Les exemples utilisent les conventions suivantes :

URL de Talend Administration Center

http://tac.test.fr:8081/org.talend.administrator/
DB config password: admin 

MySQL

user: mysql8
password: mysqlpass
database: mysql
database server: mysql8.test.fr
jdbc:mysql://mysql8.test.fr:3306/mysql_source?useSSL=false&allowPublicKeyRetrieval=true

MSSQL2017

user: SA
password: MSSQLpass2017
database: MSSQL
database server: mssql2017.test.fr
jdbc:jtds:sqlserver://mssql2017.test.fr:1433/MSSQL_DEST
Dossier Tomcat recommandé

Dans le dossier Tomcat recommandé, vous pouvez stocker tous les pilotes JDBC que vous utilisez. Redémarrez Tomcat si vous ajoutez un pilote.

# pwd
/opt/Talend/tac/apache-tomcat/endorsed

# ls -al
total 2588
drwxr-xr-x 2 root root 67 Dec 14 16:02 .
drwxr-xr-x 16 usertest 1001 300 Dec 14 14:11 ..
-rw-r--r-- 1 root root 317816 Jun 8 2013 jtds-1.3.1.jar
-rw-r--r-- 1 root root 2330539 Sep 8 02:09 mysql-connector-java-8.0.18.jar

Note

Dans la chaîne de caractères JDBC (entre guillemets simples '), les caractères spéciaux doivent être échappés. Le comportement est similaire lors de l'utilisation d'un point-virgule (;) ou d'autres caractères spéciaux.

Par exemple, sous Linux :

'jdbc:mysql://mysql8.test.fr:3306/mysql?useSSL=false&allowPublicKeyRetrieval=true'

Cela doit être saisi comme ceci :

'jdbc:mysql://mysql8.test.fr:3306/mysql?useSSL=false\&allowPublicKeyRetrieval=true'
Migration de MySQL à MySQL

Exécutez la commande suivante :

mysql> drop database mysql_dest;
Query OK, 12 rows affected (0.10 sec)

mysql> create database mysql_dest;
Query OK, 1 row affected (0.00 sec)

mysql> grant ALL PRIVILEGES on *.* to 'mysql8'@'%';
Query OK, 0 rows affected (0.01 sec)
# /opt/Talend/tac/apache-tomcat/webapps/org.talend.administrator/WEB-INF/classes/MetaServletCaller.sh --tac-url http://tac.test.fr:8081/org.talend.administrator/ -v --json-params='{"actionName":"migrateDatabase","skipBackup":"true","dbConfigPassword":"admin","mode":"synchronous","sourcePasswd":"mysqlpass","sourceUrl":"'jdbc:mysql://mysql8.test.fr:3306/mysql?useSSL=false\&allowPublicKeyRetrieval=true'","sourceUser":"mysql8","targetPasswd":"mysqlpass","targetUrl":"'jdbc:mysql://mysql8.test.fr:3306/mysql_dest?useSSL=false\&allowPublicKeyRetrieval=true'","targetUser":"mysql8"}'


-> URL: http://tac721.test.fr:8081/org.talend.administrator/
-> Json parameters:

{
"actionName": "migrateDatabase",
"dbConfigPassword": "admin",
"mode": "synchronous",
"skipBackup": "true",
"sourcePasswd": "mysqlpass",
"sourceUrl": "jdbc:mysql://mysql8.test.fr:3306/mysql?useSSL=false&allowPublicKeyRetrieval=true",
"sourceUser": "mysql8",
"targetPasswd": "mysqlpass",
"targetUrl": "jdbc:mysql://mysql8.test.fr:3306/mysql_dest?useSSL=false&allowPublicKeyRetrieval=true",
"targetUser": "mysql8"
}
-> Complete request: http://tac.test.fr:8081/org.talend.administrator//metaServlet?eyJhY3Rpb25OYW1lIjoibWlncmF0ZURhdGF...
{"executionTime":{"millis":20052,"seconds":20},"returnCode":0}
    
Migration de MySQL à MSSQL

Si vous migrez vers MSSQL/SQLServer, le nom de la base de données source et de la base de données cible doit être dbo. La base de données source dbo doit être la base de données active de Talend Administration Center.

Utilisez la commande suivante pour créer une base de données et un schéma de destination :

[dbuser@mssql2017 ~]$ /opt/mssql-tools/bin/sqlcmd -S localhost -U SA -P MSSQLpass2017
1> CREATE DATABASE dbo;
2> go 

# /opt/Talend/tac/apache-tomcat/webapps/org.talend.administrator/WEB-INF/classes/MetaServletCaller.sh --tac-url http://tac.test.fr:8081/org.talend.administrator/ -v --json-params='{"actionName":"migrateDatabase","skipBackup":"true","dbConfigPassword":"admin","mode":"synchronous","sourcePasswd":"mysqlpass","sourceUrl":"'jdbc:mysql://mysql8.test.fr:3306/dbo?useSSL=false\&allowPublicKeyRetrieval=true'","sourceUser":"mysql8","targetPasswd":"MSSQLpass2017","targetUrl":"'jdbc:jtds:sqlserver://mssql2017.test.fr:1433/dbo'","targetUser":"SA"}'


-> URL: http://tac.test.fr:8081/org.talend.administrator/
-> Json parameters:
{
"actionName": "migrateDatabase",
"dbConfigPassword": "admin",
"mode": "synchronous",
"skipBackup": "true",
"sourcePasswd": "mysqlpass",
"sourceUrl": "jdbc:mysql://mysql8.test.fr:3306/dbo?useSSL=false&allowPublicKeyRetrieval=true",
"sourceUser": "mysql8",
"targetPasswd": "MSSQLpass2017",
"targetUrl": "jdbc:jtds:sqlserver://mssql2017.test.fr:1433/dbo",
"targetUser": "SA"
}
-> Complete request: http://tac.test.fr:8081/org.talend.administrator//metaServlet?eyJhY3Rpb25OYW1lIjoibWlncmF0ZURhdGF...
{"executionTime":{"millis":20062,"seconds":20},"returnCode":0}
    
Migration de MySQL à MySQL

Exécutez la commande suivante :

# /opt/Talend/tac/apache-tomcat/webapps/org.talend.administrator/WEB-INF/classes/MetaServletCaller.sh --tac-url http://tac.test.fr:8081/org.talend.administrator/ -v --json-params='{"actionName":"migrateDatabase","skipBackup":"true","dbConfigPassword":"admin","mode":"synchronous","sourcePasswd":"MSSQLpass2017","sourceUrl":"'jdbc:jtds:sqlserver://mssql2017.test.fr:1433/mssql_test'","sourceUser":"SA","targetPasswd":"mysqlpass","targetUrl":"'jdbc:mysql://mysql8.test.fr:3306/mysql_dest?useSSL=false\&allowPublicKeyRetrieval=true'","targetUser":"mysql8"}'


-> URL: http://tac.test.fr:8081/org.talend.administrator/
-> Json parameters:
{
"actionName": "migrateDatabase",
"dbConfigPassword": "admin",
"mode": "synchronous",
"skipBackup": "true",
"sourcePasswd": "MSSQLpass2017",
"sourceUrl": "jdbc:jtds:sqlserver://mssql2017.test.fr:1433/mssql_test",
"sourceUser": "SA",
"targetPasswd": "mysqlpass",
"targetUrl": "jdbc:mysql://mysql8.test.fr:3306/mysql_dest?useSSL=false&allowPublicKeyRetrieval=true",
"targetUser": "mysql8"
}
-> Complete request: http://tac.test.fr:8081/org.talend.administrator//metaServlet?eyJhY3Rpb25OYW1lIjoibWlncmF0ZURhdGF...
{"executionTime":{"millis":28108,"seconds":28},"returnCode":0}
    

Gérer les paramètres de la base de données

Les paramètres de configuration sont stockés dans une base de données, à l'exception des paramètres liés à la base de données de qui sont stockés dans le fichier suivant :Talend Administration Center

<ApplicationPath>/WEB-INF/classes/configuration.properties

Les mots de passe relatifs à la base de données de sont cryptés au démarrage de l'application, lorsque ce fichier est analysé et chargé en base.

Modifier le mot de passe crypté du compte par défaut

  1. Ouvrez le fichier configuration.properties pour le modifier.

  2. Notez que le mot de passe crypté est suivi de : ",Encrypt"

    Supprimez tout ce qui se trouve après le signe =, dont ",Encrypt", et saisissez le nouveau mot de passe du compte par défaut.

  3. Enregistrez vos changements et fermez le fichier. Au prochain démarrage, le mot de passe sera crypté dans la base et le fichier sera mis à jour avec ce mot de passe crypté.

Modifier le mot de passe par défaut utilisé pour configurer la base de données

Après la première connexion, il est fortement recommandé de ne plus utiliser le compte utilisateur par défaut pour accéder à l'application pour des raisons de sécurité. Vous pouvez soit modifier les identifiants par défaut de ce compte (security@company.com/admin), soit créer un autre administrateur et supprimer le compte par défaut.

Si vous souhaitez modifier le mot de passe par défaut qui permet de changer la configuration de la base de données, procédez comme suit :

  1. Arrêtez votre instance de Talend Administration Center.

  2. Parcourez le fichier configuration.properties jusqu'au paramètre database.config.password .

  3. Changez le mot de passe par défaut admin en un mot de passe individuel et plus sécurisé, en texte plein.

  4. Sauvegardez le fichier.

  5. Restart your Talend Administration Center instance using the new password.

Gérer le pool de connexions via Tomcat

Par défaut, une application tierce de gestion de pool de connexion (c3p0) est embarquée dans le fichier de configuration de Talend Administration Center.

Cependant, si vous souhaitez que Tomcat gère le pool de connexion directement, effectuez les opérations suivantes :

Dans le répertoire d'installation de l'application Web, effectuez les opérations suivantes :

  1. Dans le dossier <ApplicationPath>\WEB-INF\classes, modifiez la configuration par défaut du fichier configuration.properties pour obtenir :

    database.useContext=True

  2. Dans le dossier WEB-INF, modifiez le fichier web.xml et ajoutez les lignes de code suivantes avant la balise fermante  </web-app> :

    <resource-ref>
    
         <description>Our Datasource</description>
         <res-ref-name>jdbc/ADMINISTRATOR_CONNECTION</res-ref-name>
         <res-type>javax.sql.DataSource</res-type>
         <res-auth>Container</res-auth>
    
    </resource-ref>
  3. Dans le fichier <ApplicationPath>/META-INF/context.xml, configurez les paramètres de connexion à la base de données en modifiant les éléments suivants :

    Nom de l'élément

    Valeur

    Note

    URL

    jdbc:mysql://{ip_address}:3306/{db_name}

    Pour MySQL, où ip_address correspond à l'adresse IP de la base de données et db_name correspond à son nom.

    jdbc:oracle:thin:@{ip_address}:1521:{db_name}

    Pour Oracle, où ip_address correspond à l'adresse IP de la base de données et db_name correspond à son nom.

    jdbc:jtds:sqlserver://{ip_address}:1433/{db_name}

    Pour SQL Server, où ip_address correspond à l'adresse IP de la base de données et db_name correspond à son nom.

    jdbc:h2:file:{dir_path/}<db_name>;MVCC=TRUE;AUTO_SERVER=TRUE; LOCK_TIMEOUT=15000

    Pour H2, où dir_path correspond au chemin vers la base de données et db_name correspond à son nom.

    username

    L'identifiant utilisé pour vous connecter à votre base de données, talend_admin par défaut.

    password

    Le mot de passe utilisé pour vous connecter à votre base de données, talend_admin par défaut.

    driverClassName

    org.gjt.mm.mysql.Driver

    Pour MySQL.

    oracle.jdbc.driver.OracleDriver

    Pour Oracle.

    net.sourceforge.jtds.jdbc.Driver

    Pour SQL Server.

    org.h2.Driver

    Pour H2.

  4. Copiez le fichier .jar correspondant à la base de données dans laquelle sont stockées vos données d'administration dans <TomcatPath>\lib.

Vous pouvez aussi déployer Talend Administration Center sur un serveur d'application JBoss (plutôt que sur Tomcat). Ainsi, vous pouvez suivre les instructions ci-dessus pour JBoss. Pour plus d'informations concernant le déploiement de l'application Web sur JBoss, consultez Déployer Talend Administration Center sur JBoss.

Configurer les indicateurs qui déterminent quel serveur utiliser pour la répartition de charge

Si vous souhaitez modifier et écraser la configuration par défaut utilisée pour déterminer quel serveur utiliser en cas de répartition de charge en mode cluster, procédez comme suit :

  1. Ouvrez le fichier monitoring_client.properties situé dans le fichier .jar suivant :

    <ApplicationPath>/WEB-INF/lib/org.talend.monitoring.client-x.y.z.rabcd.jar

  2. Les valeurs de pondération définies dans ce fichier impacteront le serveur à utiliser pour traiter les données. Modifiez ces valeurs selon vos besoins et enregistrez vos modifications.

  3. Copiez le fichier modifié dans le répertoire suivant pour écraser celui situé dans le fichier .jar :

    <ApplicationPath>/WEB-INF/classes

Personnaliser la vue arborescence de Talend Administration Center .

Vous avez la possibilité de personnaliser la vue Menu de l'application Web Talend Administration Center en ajoutant des liens dynamiques vers les sites Web de votre choix.

Pour configurer les liens dynamiques :

  1. Ouvrez le fichier suivant :

    <ApplicationPath>/WEB-INF/classes/configuration.properties

  2. À la fin du fichier, saisissez le lien dynamique souhaité, à l'aide de la syntaxe suivante :

    dynamiclink.<key>=<label>#<url>#<order>.

    Par exemple, vous pouvez créer le lien vers http://www.talend.com en saisissant

    dynamiclink.talendcom=Talend#http://www.talend.com#8

    ou le lien vers http://www.talendforge.org en saisissant

    dynamiclink.talendforge=Talendforge#http://www.talendforge.org#9.

    Dans cette syntaxe, <key> indique la clé technique de ce lien configuré, <label> est le nom du lien, affiché dans la vue Menu, <url> est l'adresse du site Web sur lequel vous souhaitez vous rendre et <order> spécifie la position de ce lien dans la vue Menu.

    dynamiclink.talendcom=Talend#http://www.talend.com#8
    dynamiclink.talendforge=Talendforge#http://www.talendforge.org#9

    Note

    Pour plus d'informations concernant les numéros de classement utilisés dans Talend Administration Center pour trier les éléments du Menu, lisez le fichier menuentries.properties fourni dans le même dossier classes.

  3. Sauvegardez le fichier configuration.properties modifié.

Pour plus d'informations concernant l'affichage de ces liens dans la vue Menu de l'application Web Talend Administration Center, consultez le Guide utilisateur.Talend Administration Center

Configurer Talend Administration Center Délai de connexion

La configuration d'un délai de connexion vous permet d'améliorer la sécurité de votre application en ralentissant les attaques par force brute.

  • Dans la table configuration de la base de données Talend Administration Center, modifiez la valeur du paramètre useLoginDelay en true.

Les tentatives de connexion infructueuses entraînent désormais un délai de transmission qui augmente de façon exponentielle à chaque échec.

Configuration de LDAP(S) pour Talend Administration Center

Pour configurer LDAP(S) pour Talend Administration Center, procédez comme suit :

Générer une clé

  1. Créez un dossier à l'emplacement où vous souhaitez stocker votre Keystore.

  2. Ouvrez un invite de commandes.

  3. Avec la commande cd , naviguez jusqu'au dossier que vous venez de créer.

  4. Saisissez la commande suivante :

    <JAVA_HOME>/bin/keytool <JAVA_HOME>/bin/keytool -genkey -keystore <myKeystoreName> -keyalg RSA

    Remplacez <JAVA_HOME> par le chemin vers le dossier où Java est installé et <myKeystoreName> par le nom de votre Keystore.

  5. Saisissez deux fois le mot de passe que vous souhaitez créez pour votre Keystore. Ensuite, si vous souhaitez, si besoin, saisissez d'autres informations optionnelles telles que votre nom ou le nom de votre société.

  6. Saisissez yes pour confirmer les informations que vous avez saisies.

  7. Saisissez le mot de passe que vous avez défini précédemment.

Configurer LDAP(S) pour Talend Administration Center

Pour définir l'emplacement du nouveau Keystore, modifiez la variable d'environnement JAVA_OPTS.

  • Pour modifier la variable d'environnement JAVA_OPTS, ajoutez les lignes suivantes

    -Djavax.net.ssl.keyStore=/<myDirectory>/<myKeystore>
    -Djavax.net.ssl.keyStorePassword=<myPassword>

    à votre variable d'environnement JAVA_OPTS, où <myDirectory> correspond au répertoire d'installation de votre Keystore, <myKeystore> correspond au nom de votre Keystore et <myPassword> correspond au mot de passe que vous avez défini précédemment pour votre Keystore.

Pour plus d'informations sur la mise en place de LDAP dans Talend Administration Center, consultez le Guide utilisateur de Talend Administration Center.