Configurer Talend avec une pile Elastic externe

Les sections suivantes expliquent comment configurer votre pile Elastic externe, pour l'intégration de données, l'ESB ou le MDM.

Configurer Logstash et Elasticsearch dans une pile Elastic externe

Si vous souhaitez utiliser votre pile Elastic externe et classer vos logs d'intégration de données, d'ESB ou de MDM, vous devez effectuer la configuraiton suivante de Logstash et Elasticsearch :

Créez/modifiez votre fichier de configuration Logstash comme suit :

dans la section Input , ajoutez les ports de configuration pour les composants Talend.
dans la section Output , vous pouvez configurer Elasticsearch comme sortie.
Note
La valeur des options utilisateur et mot de passe doit correspondre à vos identifiants Elasticsearch.
Si vous n'utilisez pas une autorité de certificat (Certificate Authority, CA), configurez l'option ssl_certificate_verification à false.

input {
  log4j {
    port => 8050
    type => "TAC"
  }
  log4j {
    port => 8052
    type => "Components"
  }
  log4j {
    port => 8053
    type => "MDM-Server"
  }
  log4j {
    port => 8054
    type => "MDM-Match"
  }
  log4j {
    port => 8055
    type => "JobServer"
  }
}
 
output {
  elasticsearch { 
      hosts => ["https://ELK_HOST:9200"] 
      ssl => true
      ssl_certificate_verification => true
      user => "<es_user>"
      password => "<es_password>"
  } 
}

Avant de démarrer ElasticSearch, ouvrez shell/invite et configurez la variable environnement ES_JAVA_OPTS comme suit :
- SET ES_JAVA_OPTS="-Dmapper.allow_dots_in_name=true".
Démarrez Elasticsearch.
Redémarrez Logstash avec le fichier de configuration \conf/conf :
- ${LOGSTASH_HOME}/bin/logstash -f ${LOGSTASH_CONFIG_FILE}.

Import Talend Kibana : prérequis

Si vous souhaitez importer des dashboards Talend dans Kibana, vous devez avoir :

Importé les modèles Logstash dans Elasticsearch à l'aide des commandes suivantes.

Note

Dans les commandes ci-dessous, vous devez remplacer ELK_HOST par l'hôte d'Elasticsearch. L'option es_user correspond à l'utilisateur d'Elasticsearch.

Si vous utilisez une autorité de certificat (Certificate Authority, CA) :

curl -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_logstash -d @template_logstash.json
curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/logstash-*  -d @dashboards/index-pattern/logstash.json

curl -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_esb -d @template_talendesb.json
curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/talendesb-*  -d @dashboards/index-pattern/talendesb.json

Si vous utilisez des certificats auto-signés, ajoutez l'option --insecure :

curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_logstash -d @template_logstash.json
curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/logstash-*  -d @dashboards/index-pattern/logstash.json

curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_esb -d @template_talendesb.json
curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/talendesb-*  -d @dashboards/index-pattern/talendesb.json

Créé un modèle d'index logstash-* :

curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/config/4.6.1 -d "{\"defaultIndex\" : \"logstash-*\"}"

Créé un modèle d'index talendesb-* :

curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/config/4.6.1 -d "{\"defaultIndex\" : \"talendesb-*\"}"

Import Talend Kibana dans une pile externe Elastic

Talend fournit les modèles de dashboards Kibana suivants, dans la pile open-source Elastic embarquée dans Talend Log Server. Vous pouvez également importer ces modèles de dashboards dans Kibana.

Démarrez Kibana.
Allez dans Objects, sous l'onglet Settings.

Dans chaque sous-onglet, importez les modèles à l'aide des boutons Import/Export :

Onglet Kibana	Emplacement des fichiers à charger
Dashboards	Sous Talend-LogServer/dashboards/dashboard : `default.json`
Searches	Sous Talend-LogServer/dashboards/search : `TABLE.json`
Visualizations	Sous Talend-LogServer/dashboards/visualization : `FILTER-BY-SEVERITY.json` `FILTER-BY-SOURCE.json` `GROUP-BY-SEVERITY.json` `GROUP-BY-SOURCE.json` `Middleware-Navigation.json` `TIMELINE.json`

Onglet Kibana	Emplacement des fichiers à charger
Dashboards	Sous Talend-LogServer/dashboards/dashboard : `ESB-Events.json` `ESB-Locator-Endpoints.json` `ESB-SAM.json`
Searches	Sous Talend-LogServer/dashboards/search : `All-Events-ESB-Locator-Endpoints.json` `All-Evetns-ESB-SAM.json` `DOCUMENTS-ESB-Events.json`
Visualizations	Sous Talend-LogServer/dashboards/visualization : `DOCUMENT-TYPES-CHART-ESB-Events.json` `DOCUMENT-TYPES-TABLE-ESB-Events.json` `ENDPOINT-AVAILABILITY-ESB-Locator-Endpoints.json` `ENDPOINTS-PER-SERVICES-ESB-Locator-Endpoints.json` `HISTOGRAM-ESB-Events.json` `OFFLINE-ENDPOINTS-ESB-Locator-Endpoints.json` `OFFLINE-SERVICES-ESB-Locator-Endpoints.json` `REMOTE-CONSUMER-ESB-SAM.json` `SERVICE-AVAILABILITY-ESB-Locator-Endpoints.json` `SERVICE-REQUESTS-ESB-SAM.json` `SERVICE-RESPONSES-ESB-SAM.json` `TOP-10-ENDPOINTS-ESB-Locator-Endpoints.json` `TOP-SERVICES-ESB-SAM.json`

Configurer Talend avec une pile Elastic externe - 6.4

Talend MDM Platform Guide d'installation pour Windows

Configurer Logstash et Elasticsearch dans une pile Elastic externe

Note

Import Talend Kibana : prérequis

Note

Import Talend Kibana dans une pile externe Elastic