Les sections suivantes expliquent comment configurer votre pile Elastic externe, pour l'intégration de données, l'ESB ou le MDM.
Si vous souhaitez utiliser votre pile Elastic externe et classer vos logs d'intégration de données, d'ESB ou de MDM, vous devez effectuer la configuraiton suivante de Logstash et Elasticsearch :
Créez/modifiez votre fichier de configuration Logstash comme suit :
dans la section
input
, ajoutez les ports de configuration pour les composants Talend.dans la section
output
, vous pouvez configurer Elasticsearch comme sortie.Note
La valeur des options
user
etpassword
doit correspondre à vos identifiants Elasticsearch.Si vous n'utilisez pas une autorité de certificat (Certificate Authority, CA), configurez l'option
ssl_certificate_verification
à false.
input { log4j { port => 8050 type => "TAC" } log4j { port => 8052 type => "Components" } log4j { port => 8053 type => "MDM-Server" } log4j { port => 8054 type => "MDM-Match" } log4j { port => 8055 type => "JobServer" } } output { elasticsearch { hosts => ["https://ELK_HOST:9200"] ssl => true ssl_certificate_verification => true user => "<es_user>" password => "<es_password>" } }
Avant de démarrer Elasticsearch, ouvrez un shell/une invite de commande et configurez la variable d'environnement
ES_JAVA_OPTS
comme suit :SET ES_JAVA_OPTS="-Dmapper.allow_dots_in_name=true"
.
Démarrez Elasticsearch.
Redémarrez Logstash avec le fichier de configuration
.conf
:${LOGSTASH_HOME}\bin\logstash -f ${LOGSTASH_CONFIG_FILE}
.
Si vous souhaitez importer des dashboards Talend dans Kibana, vous devez avoir :
importé les modèles Logstash dans Elasticsearch à l'aide des commandes suivantes :
Note
Dans les commandes ci-dessous, vous devez remplacer ELK_HOST par l'hôte d'Elasticsearch. L'option
es_user
correspond à l'utilisateur d'Elasticsearch.si vous utilisez une autorité de certificat :
curl -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_logstash -d @template_logstash.json curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/logstash-* -d @dashboards/index-pattern/logstash.json
curl -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_esb -d @template_talendesb.json curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/talendesb-* -d @dashboards/index-pattern/talendesb.json
si vous utilisez des certificats auto-signés, ajoutez l'option --insecure :
curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_logstash -d @template_logstash.json curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/logstash-* -d @dashboards/index-pattern/logstash.json
curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/_template/template_esb -d @template_talendesb.json curl --insecure -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/index-pattern/talendesb-* -d @dashboards/index-pattern/talendesb.json
créé un modèle d'index logstash-* :
curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/config/4.6.1 -d "{\"defaultIndex\" : \"logstash-*\"}"
créé un modèle d'index talendesb-* :
curl -u es_user -s -XPUT https://ELK_HOST:9200/.kibana/config/4.6.1 -d "{\"defaultIndex\" : \"talendesb-*\"}"
Talend fournit les modèles de dashboards Kibana suivants, dans la pile open-source Elastic embarquée dans Talend Log Server. Vous pouvez également importer ces modèles de dashboard dans Kibana.
Démarrez Kibana.
Allez dans Objects, sous l'onglet Settings.
Dans chaque sous-tâche, importez les modèles à l'aide des boutons Import/Export :
Onglet Kibana
Emplacement des fichiers à charger
Dashboards
Sous Talend-LogServer/dashboards/dashboard:
default.json
Searches
Sous Talend-LogServer/dashboards/search:
TABLE.json
Visualizations
Sous Talend-LogServer/dashboards/visualization:
FILTER-BY-SEVERITY.json
FILTER-BY-SOURCE.json
GROUP-BY-SEVERITY.json
GROUP-BY-SOURCE.json
Middleware-Navigation.json
TIMELINE.json
Onglet Kibana
Emplacement des fichiers à charger
Dashboards
Sous Talend-LogServer/dashboards/dashboard:
ESB-Events.json
ESB-Locator-Endpoints.json
ESB-SAM.json
Searches
Sous Talend-LogServer/dashboards/search:
All-Events-ESB-Locator-Endpoints.json
All-Evetns-ESB-SAM.json
DOCUMENTS-ESB-Events.json
Visualizations
Sous Talend-LogServer/dashboards/visualization:
DOCUMENT-TYPES-CHART-ESB-Events.json
DOCUMENT-TYPES-TABLE-ESB-Events.json
ENDPOINT-AVAILABILITY-ESB-Locator-Endpoints.json
ENDPOINTS-PER-SERVICES-ESB-Locator-Endpoints.json
HISTOGRAM-ESB-Events.json
OFFLINE-ENDPOINTS-ESB-Locator-Endpoints.json
OFFLINE-SERVICES-ESB-Locator-Endpoints.json
REMOTE-CONSUMER-ESB-SAM.json
SERVICE-AVAILABILITY-ESB-Locator-Endpoints.json
SERVICE-REQUESTS-ESB-SAM.json
SERVICE-RESPONSES-ESB-SAM.json
TOP-10-ENDPOINTS-ESB-Locator-Endpoints.json
TOP-SERVICES-ESB-SAM.json