Ré-indexer depuis un cluster Elasticsearch distant - 7.1

Talend Real-Time Big Data Platform Guide de migration

EnrichVersion
7.1
EnrichProdName
Talend Real-Time Big Data Platform
task
Installation et mise à niveau
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity and Access Management
Talend JobServer
Talend Log Server
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
Vous devez ré-indexer vos index Logstash et Talend ESB.

Procédure

  1. Lancez la commande suivante pour visualiser tous les index existants :
    curl -XGET 'oldhost9200/_cat/indices'
    Remplacez oldhost par l'adresse IP ou le nom d'hôte du cluster Elasticsearch utilisé en 6.5.x.
  2. Ré-indexez vos index Logstash depuis le cluster distant pour récupérer les documents dans l'index utilisé en 6.5.x, dans l'index utilisé en 7.0.x :
    curl -XPOST 'localhost:9200/_reindex?pretty' -H 'Content-Type: application/json' -d'
    {
      "source": {
        "remote": {
          "host": "http://oldhost:9200"
        },
        "index": "logstash-YYYY.MM.dd"
      },
      "dest": {
        "index": "logstash-YYYY.MM.dd"
      }
    }
    '
  3. Ré-indexez vos index Talend ESB depuis le cluster distant pour récupérer les documents dans l'index utilisé en 6.5.x dans l'index utilisé en 7.0.x :
    curl -XPOST 'localhost:9200/_reindex?pretty' -H 'Content-Type: application/json' -d'
    {
      "source": {
        "remote": {
          "host": "http://oldhost:9200"
        },
        "index": "talendesb-YYYY.MM.dd"
      },
      "dest": {
        "index": "talendesb-YYYY.MM.dd"
      }
    }
    '
    Remarque :

    Vous devez migrer tous les index logstash-YYYY.MM.dd et talendesb-YYYY.MM.dd un par un ou sélectionner uniquement les indexes que vous souhaitez migrer.

    Si vous indiquez logstash-* ou talendesb-* comme nom d'index, vous obtiendrez une erreur similaire à l'erreur suivante :

    "failures" : [
    {
    "index" : "logstash-*",
    "type" : "xxxxxxxx",
    "id" : "xxxxxxxxxxxxxx",
    "cause" : {
    "type" : "invalid_index_name_exception",
    "reason" : "Invalid index name [logstash-*], must not contain the following characters [ , \", *, \\, <, |, ,, >, /, ?]",
    "index_uuid" : "_na_",
    "index" : "logstash-*"
    },
    "status" : 400
    },
    {
    "index" : "logstash-*",
    "type" : "xxxxxx",
    "id" : "xxxxxxxxxxxxxxx",
    "cause" : {
    "type" : "invalid_index_name_exception",
    "reason" : "Invalid index name [logstash-*], must not contain the following characters [ , \", *, \\, <, |, ,, >, /, ?]",
    "index_uuid" : "_na_",
    "index" : "logstash-*"
    },
    "status" : 400
    }
    ]