Configurer Logstash et Elasticsearch dans une pile Elastic externe - 6.5

Guide d'installation de Talend Big Data pour Windows

EnrichVersion
6.5
EnrichProdName
Talend Big Data
task
Installation et mise à niveau
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend Runtime
Vous pouvez utiliser votre pile Elastic externe et classer vos logs d'intégration de données, d'ESB ou de MDM en configurant Logstash et Elasticsearch.

Procédure

  1. Créez/modifiez votre fichier de configuration Logstash.
  2. Dans la section input, ajoutez les ports de configuration pour les composants Talend.
  3. Dans la section output, vous pouvez configurer Elasticsearch comme sortie.
    input {
      log4j {
        port => 8050
        type => "TAC"
      }
      log4j {
        port => 8052
        type => "Components"
      }
      log4j {
        port => 8053
        type => "MDM-Server"
      }
      log4j {
        port => 8054
        type => "MDM-Match"
      }
      log4j {
        port => 8055
        type => "JobServer"
      }
    }
     
    output {
      elasticsearch { 
          hosts => ["https://ELK_HOST:9200"] 
          ssl => true
          ssl_certificate_verification => true
          user => "<es_user>"
          password => "<es_password>"
      } 
    }

    La valeur des options user et password doit correspondre à vos identifiants Elasticsearch.

    Si vous n'utilisez pas une autorité de certificat (Certificate Authority, CA), configurez l'option ssl_certificate_verification à false.

  4. Avant de démarrer Elasticsearch, ouvrez une invite de commande et configurez la variable d'environnement ES_JAVA_OPTS comme suit :
    SET ES_JAVA_OPTS="-Dmapper.allow_dots_in_name=true"
  5. Démarrez Elasticsearch.
  6. Redémarrez Logstash avec le fichier de configuration .conf :
    ${LOGSTASH_HOME}\bin\logstash -f ${LOGSTASH_CONFIG_FILE}