Configurer les modules de journalisation Talend avec une pile Elastic externe

Talend ESB Guide d'installation pour Linux

EnrichVersion
6.4
EnrichProdName
Talend ESB
task
Installation et mise à niveau

Les sections suivantes expliquent comment configurer votre pile Elastic externe, pour l'intégration de données, l'ESB ou le MDM.

Configurer Logstash et Elasticsearch dans une pile Elastic externe

Si vous souhaitez utiliser votre pile Elastic externe et classer vos logs d'intégration de données, d'ESB ou de MDM, vous devez effectuer la configuraiton suivante de Logstash et Elasticsearch :

  1. Créez/modifiez votre fichier de configuration Logstash comme suit :

    • dans la section input, ajoutez les ports de configuration pour les composants Talend.

    • dans la section output, vous pouvez configurer Elasticsearch comme sortie.

      Note

      La valeur des options user et password doit correspondre à vos identifiants Elasticsearch.

      Si vous n'utilisez pas une autorité de certificat (Certificate Authority, CA), configurez l'option ssl_certificate_verification à false.

    input {
      log4j {
        port => 8050
        type => "TAC"
      }
      log4j {
        port => 8052
        type => "Components"
      }
      log4j {
        port => 8053
        type => "MDM-Server"
      }
      log4j {
        port => 8054
        type => "MDM-Match"
      }
      log4j {
        port => 8055
        type => "JobServer"
      }
    }
     
    output {
      elasticsearch { 
          hosts => ["https://ELK_HOST:9200"] 
          ssl => true
          ssl_certificate_verification => true
          user => "<es_user>"
          password => "<es_password>"
      } 
    }
  2. Avant de démarrer Elasticsearch, ouvrez un shell/une invite de commande et configurez la variable d'environnement ES_JAVA_OPTS comme suit :

    • export ES_JAVA_OPTS="-Dmapper.allow_dots_in_name=true".

  3. Démarrez Elasticsearch.

  4. Redémarrez Logstash avec le fichier de configuration .conf :

    • ${LOGSTASH_HOME}/bin/logstash -f ${LOGSTASH_CONFIG_FILE}.

Importer des modèles de dashboards Talend Kibana : prérequis

Si vous souhaitez importer des dashboards Talend dans Kibana, vous devez avoir :

  • importé les modèles Logstash dans Elasticsearch à l'aide des commandes suivantes :

    Note

    Dans les commandes ci-dessous, vous devez remplacer ELK_HOST par l'hôte d'Elasticsearch. L'option es_user correspond à l'utilisateur d'Elasticsearch.

    • si vous utilisez une autorité de certificat :

      curl -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_esb -d @template_talendesb.json
      curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/talendesb-*  -d @dashboards/index-pattern/talendesb.json
    • si vous utilisez des certificats auto-signés, ajoutez l'option --insecure :

      curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_esb -d @template_talendesb.json
      curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/talendesb-*  -d @dashboards/index-pattern/talendesb.json
  • créé un modèle d'index talendesb-* :

    curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/config/4.6.1 -d "{\"defaultIndex\" : \"talendesb-*\"}"

Importer des modèles de dashboards Talend Kibana dans une pile externe Elastic

Talend fournit les modèles de dashboards Kibana suivants, dans la pile open-source Elastic embarquée dans Talend Log Server. Vous pouvez également importer ces modèles de dashboard dans Kibana.

  1. Démarrez Kibana.

  2. Allez dans Objects, sous l'onglet Settings.

  3. Dans chaque sous-tâche, importez les modèles à l'aide des boutons Import/Export :

    Onglet Kibana

    Emplacement des fichiers à charger

    Dashboards

    Sous Talend-LogServer/dashboards/dashboard:

    • ESB-Events.json

    • ESB-Locator-Endpoints.json

    • ESB-SAM.json

    Searches

    Sous Talend-LogServer/dashboards/search:

    • All-Events-ESB-Locator-Endpoints.json

    • All-Evetns-ESB-SAM.json

    • DOCUMENTS-ESB-Events.json

    Visualizations

    Sous Talend-LogServer/dashboards/visualization:

    • DOCUMENT-TYPES-CHART-ESB-Events.json

    • DOCUMENT-TYPES-TABLE-ESB-Events.json

    • ENDPOINT-AVAILABILITY-ESB-Locator-Endpoints.json

    • ENDPOINTS-PER-SERVICES-ESB-Locator-Endpoints.json

    • HISTOGRAM-ESB-Events.json

    • OFFLINE-ENDPOINTS-ESB-Locator-Endpoints.json

    • OFFLINE-SERVICES-ESB-Locator-Endpoints.json

    • REMOTE-CONSUMER-ESB-SAM.json

    • SERVICE-AVAILABILITY-ESB-Locator-Endpoints.json

    • SERVICE-REQUESTS-ESB-SAM.json

    • SERVICE-RESPONSES-ESB-SAM.json

    • TOP-10-ENDPOINTS-ESB-Locator-Endpoints.json

    • TOP-SERVICES-ESB-SAM.json