Installation et configuration des modules de journalisation Talend - 6.1

Talend Data Fabric Guide d'installation

EnrichVersion
6.1
EnrichProdName
Talend Data Fabric
task
Installation et mise à niveau
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend DQ Portal
Talend ESB
Talend Identity Management
Talend Installer
Talend JobServer
Talend Log Server
Talend MDM Server
Talend MDM Web UI
Talend Project Audit
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server

Cette section décrit l'installation et la configuration des modules de journalisation (Talend Log Server basé sur Elasticsearch et Kibana) qui vous permettent d'afficher dans Talend Administration Center la page Logging qui regroupe et affiche les sorties de logs filtrées par catégories et types d'événements (événements d'intégration de données, d'ESB ou de MDM). Pour plus d'informations sur l'affichage des logs dans Talend Administration Center, consultez le Guide utilisateur de Talend Administration Center.

Pour installer les modules de journalisation via Talend Installer, consultez Pour installer et démarrer les modules de journalisation en utilisant Talend Installer.

Pour installer les modules de journalisation manuellement, consultez Pour installer et démarrer les modules de journalisation manuellement.

Pour configurer le nom du cluster de logs, consultez Pour définir le nom du cluster de logs.

Pour plus d'informations sur l'installation de Talend log server en tant que service, consultez Installation des services.

Pour installer et démarrer les modules de journalisation en utilisant Talend Installer

Notez que pour utiliser au mieux ce module de journalisation de Talend Administration Center, il est recommandé d'installer Talend Administration Center via Talend Installer car celui-ci installe automatiquement l'application avec les éléments nécessaires pour utiliser ce module (application Web Kibana avec tableaux de bords configurés, Talend Log Server pré-configuré, etc.).

Notez également que cette procédure de configuration s'applique uniquement aux connexions HTTP standard à Kibana. Pour plus d'informations concernant la configuration d'une connexion sécurisées à Kibana, consultez https://help.talend.com/display/KB/How+to+configure+a+secure+connection+for+Kibana (en anglais).

  1. Effectuez une installation via Talend Installer. Si vous effectuez une installation de type Custom, assurez-vous que les cases Talend Administration Center et Talend Log Server sont cochées avant de lancer votre installation.

    Un Talend Log Server pré-configuré et prêt à l'emploi est installé dans un répertoire nommé logserv, et l'application Web Kibana est déployée dans le répertoire d'installation du serveur Tomcat contenant Talend Administration Center.

    Talend Installer installe également automatiquement sur le Log Server un référentiel d'Ontologies avec des index sémantiques. Ce référentiel d'Ontologies est utilisé pour profiler des données selon des catégories sémantiques.

  2. Talend Installer vous permet d'installer Talend Log Server en tant que service, mais vous pouvez également exécuter le fichier exécutable (.bat ou .sh) pour le démarrer manuellement.

    Kibana étant une application Web installée dans Tomcat, démarrez le serveur Tomcat pour déployer et démarrer cette application.

  3. Une fois Tomcat et les applications Talend Administration Center et Kibana démarrées, allez sur la page Configuration et renseignez les champs nécessaire dans les nœuds Monitoring et Logging pour faire le lien entre Talend Administration Center et les modules de journalisation. Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center.

    Les logs liés aux événements ESB qui sont affichés dans la page Logging de Talend Administration Center sont collectés grâce aux fonctionnalités Event Logging (journalisation d'événements) qui peuvent être démarrés depuis le conteneur Runtime. Pour plus d'informations, consultez le Talend ESB Container Administration Guide (en anglais).

Pour installer et démarrer les modules de journalisation manuellement

Si vous souhaitez installer les modules de journalisation manuellement, vous devez installer à la fois l'application web Kibana ainsi que Talend Log Server.

  1. Copiez et extrayez le fichier archive Talend-LogServer-VA.B.C.zip dans le répertoire de votre choix.

  2. Placez vous dans le répertoire du Talend Log Server et modifez le fichier suivant : <LogServerPath>/elasticsearch-1.5.2/config/elasticsearch.yml

  3. A la fin du fichier, décommentez les lignes suivantes :

    http.cors.enabled: true
    http.cors.allow-origin: "http://TAC_SERVER_HOST:TAC_SERVER_PORT"

    Et remplacez TAC_SERVER_HOST et TAC_SERVER_PORT par l'adresse IP et le port du serveur.

  4. Lancez le fichier exécutable correspondant à votre système d'exploitation pour démarrer Talend Log Server :

    start_logserver.bat si vous êtes sous Windows

    start_logserver.sh si vous êtes sous Linux/Unix

    Note aux utilisateurs ayant l'option MDM : Si vous installez Talend Log Server manuellement, vous devez décommenter les appenders LOG_STASH_SERVER et LOG_STASH_MATCH dans le fichier <$INSTALLDIR>/conf/log4j.xml pour récupérer les logs du serveur MDM. Si vous installez Talend Log Server via Talend Installer, cette configuration est activée par défaut.

  5. Copiez et extrayez le fichier Kibana-A.B.C.zip situé dans l'archive de Talend Log Server.

  6. Renommez le dossier Kibana-A.B.C en kibana tout simplement et placez-le dans le répertoire suivant :

    <TomcatPath>/Webapps

  7. Kibana étant une application Web installée dans Tomcat, démarrez le serveur Tomcat pour déployer et démarrer cette application.

  8. Une fois Tomcat et les applications Talend Administration Center et Kibana démarrées, allez sur la page Configuration et renseignez les champs nécessaire dans les nœuds Monitoring et Logging pour faire le lien entre Talend Administration Center et les modules de journalisation. Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center.

    Les logs liés aux événements ESB qui sont affichés dans la page Logging de Talend Administration Center sont collectés grâce aux fonctionnalités Event Logging (journalisation d'événements) qui peuvent être démarrés depuis le conteneur Runtime. Pour plus d'informations, consultez le Talend ESB Container Administration Guide (en anglais).

Pour définir le nom du cluster de logs

Par défaut, tous les logs sont centralisés dans un groupe cluster nommé talend-log-central. Cependant, si vous souhaitez utiliser un autre nom pour ce cluster, par exemple si vous ne souhaitez pas mélanger des logs provenant d'environnements différents tels que les logs des tests d'assurance qualité et les logs de production, procédez comme suit.

  1. Ouvrez le fichier logstash-talend.conf situé dans le répertoire d'installation de Talend Log Server.

  2. Modifiez le nom du cluster dans la partie output :

    output {
      elasticsearch {
        embedded => true
        cluster => "talend-log-central"
      }