外部エラスティックスタックでのLogstashおよびElasticsearchの設定 - 6.5

Talend Real-Time Big Data Platform インストールガイド Windows

EnrichVersion
6.5
EnrichProdName
Talend Real-Time Big Data Platform
task
インストールとアップグレード
EnrichPlatform
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
Talend Studio
外部ELKスタックを使用して、LogstashおよびElasticsearchを設定することにより、データ統合、ESBまたはMDMからログを収集および分類できます。

手順

  1. Logstash設定ファイルを作成/編集します。
  2. inputセクションで、Talendコンポーネントの設定ポートを追加します。
  3. outputセクションで、Elasticsearchを出力として設定します。
    input {
      log4j {
        port => 8050
        type => "TAC"
      }
      log4j {
        port => 8052
        type => "Components"
      }
      log4j {
        port => 8053
        type => "MDM-Server"
      }
      log4j {
        port => 8054
        type => "MDM-Match"
      }
      log4j {
        port => 8055
        type => "JobServer"
      }
    }
     
    output {
      elasticsearch { 
          hosts => ["https://ELK_HOST:9200"] 
          ssl => true
          ssl_certificate_verification => true
          user => "<es_user>"
          password => "<es_password>"
      } 
    }

    userおよびpasswordオプションは、Elasticsearchの認証情報と一致する必要があります。

    真の認証機関(CA)を使用していない場合は、ssl_certificate_verificationオプションをfalseに設定します。

  4. Elasticsearchを起動する前に、プロンプトを開いて次のようにES_JAVA_OPTS環境変数を設定します。
    SET ES_JAVA_OPTS="-Dmapper.allow_dots_in_name=true"
  5. Elasticsearchを起動します。
  6. .conf設定ファイルを使用してLogstashを再起動します。
    ${LOGSTASH_HOME}\bin\logstash -f ${LOGSTASH_CONFIG_FILE}