Copier les dépendances du moteur dans Databricks - Cloud

Guide d'utilisation de Talend Cloud Management Console for Pipelines

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches
EnrichPlatform
Talend Management Console

Avant de commencer

  • Un Remote Engine Gen2 est installé sur votre réseau local ou dans votre Cloud privé virtuel.
  • L'interface en ligne de commande Databricks https://docs.databricks.com/dev-tools/databricks-cli.html (CLI) est installée.
    Conseil : Si la commande databricks est introuvable, cherchez dans le dossier .local/bin/databricks.

Procédure

  1. Copiez ces fichiers depuis le conteneur Livy vers le répertoire host :
    docker cp <livy_container_name>:/opt/talend/connectors <hostDirectory>
    docker cp <livy_container_name>:/opt/datastreams-deps <hostDirectory>

    <livy_container_name> doit être remplacé par le nom de votre conteneur Livy et hostDirectory> par le nom de votre répertoire host.

  2. Copiez ces fichiers depuis le répertoire host vers Databricks :
    databricks fs (or alias dbfs) cp -r <hostDirectory>/connectors dbfs:/tpd-staging/connectors
    databricks fs (or alias dbfs) cp -r <hostDirectory>/datastreams-deps dbfs:/tpd-staging/datastreams-deps

    <hostDirectory> doit être remplacé par le nom de votre répertoire host.

  3. Générez un fichier state :
    find <hostDirectory>/connectors/ -type f | sed 's/connectors\///g' | awk '{print "connectors;" $0}' > ./.state
               
    find <hostDirectory>/datastreams-deps/ -type f | egrep -v '.*.xml' | sed 's/datastreams-deps\///g' | awk '{print "datastreams-deps;" $0}' >> ./.state

    <hostDirectory> doit être remplacé par le nom de votre répertoire host.

  4. Copiez le fichier state dans le répertoire Staging de Databricks (DBFS) :
    databricks fs cp ./.state dbfs:/tpd-staging/
    Remarque : Databricks a déjà l'alias de databricks fs pour dbfs; databricks fs et dbfs sont équivalents.