Ajouter un pilote JDBC à votre moteur - Cloud

Guide de démarrage rapide de Talend Remote Engine Gen2

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
task
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau

Vous avez la possibilité d'ajouter un pilote JDBC à Remote Engine Gen2 afin de vous connecter à des bases de données qui ne sont pas explicitement supportées dans Talend Cloud Data Inventory.

Les instructions SQL générées sont compatibles avec SQL-92.

Procédure

  1. Accédez au répertoire d'installation du Remote Engine Gen2.
  2. Modifiez le fichier docker-compose.yml, qui est le fichier de configuration Docker utilisé lors du démarrage du moteur.
  3. Trouvez le conteneur livy et ajoutez cette configuration du pilote JDBC dans la section environment :
    livy:
        image: ${LIVY_IMG}
        networks:
          default:
            aliases:
              - livy
        environment:
          LIVY_JOB_SPARK_SUBMIT_OPTS: "-Djdbc.drivers[10].id=<DATABASE_ID> -Djdbc.drivers[10].displayName=<DISPLAY_NAME> -Djdbc.drivers[10].order=<ORDER_IN_THE_LIST> -Djdbc.drivers[10].className=<JDBC_DRIVER_CLASS> -Djdbc.drivers[10].paths[0]=<MAVEN GROUP>:<MAVEN ARTIFACT>:jar:<MAVEN VERSION>"
          [...]

    <DATABASE_ID> (l'identifiant de la base de données), <DISPLAY_NAME> (le nom d'affichage de la base de données), <ORDER_IN_THE_LIST> (la position de la base de données dans la liste des connexions dans l'application) , <JDBC_DRIVER_CLASS> (la classe du pilote JDBC de la base de données) et <MAVEN GROUP>:<MAVEN ARTIFACT>:jar:<MAVEN VERSION> (l'artefact de la base de données) doivent être remplacés par les informations de votre base de données.

    Exemple

    Pour une base de données DB2
    livy:
        image: ${LIVY_IMG}
        networks:
          default:
            aliases:
              - livy
        environment:
    		LIVY_JOB_SPARK_SUBMIT_OPTS: "-Djdbc.drivers[10].id=DB2 -Djdbc.drivers[10].displayName=DB2 -Djdbc.drivers[10].order=900 -Djdbc.drivers[10].className=com.ibm.db2.jcc.DB2Driver -Djdbc.drivers[10].paths[0]=com.ibm.db2:jcc:jar:11.5.0.0"
    		[...]
  4. Trouvez le conteneur component-server et ajoutez cette configuration dans la section environment/_JAVA_OPTIONS pour ajouter le pilote JDBC à la liste des connecteurs et pouvoir appeler les services correspondants :
    component-server:
        image: ${COMPONENTS_IMG}
        networks:
          default:
            aliases:
              - component-server
        environment:
          [...]
          _JAVA_OPTIONS: -Xmx${COMPONENTS_MEM} -Dhttp=443
    		[...@=]
    		-Djdbc.drivers[10].id=<DATABASE_ID>
    		-Djdbc.drivers[10].displayName=<DISPLAY_NAME>
    		-Djdbc.drivers[10].order=<ORDER_IN_THE_LIST>
    		-Djdbc.drivers[10].className=<JDBC_DRIVER_CLASS>
    		-Djdbc.drivers[10].paths[0]=<MAVEN GROUP>:<MAVEN ARTIFACT>:jar:<MAVEN VERSION>
    		[...]

    Exemple

    Pour une base de données DB2
    component-server:
        image: ${COMPONENTS_IMG}
        networks:
          default:
            aliases:
              - component-server
        environment:
          [...]
          _JAVA_OPTIONS: -Xmx${COMPONENTS_MEM} -Dhttp=443
            [...@=]
            -Djdbc.drivers[10].id=DB2
            -Djdbc.drivers[10].displayName=DB2
            -Djdbc.drivers[10].order=900
            -Djdbc.drivers[10].className=com.ibm.db2.jcc.DB2Driver
            -Djdbc.drivers[10].paths[0]=com.ibm.db2:jcc:jar:11.5.0.0
    		[...]
  5. Trouvez l'image du conteneur connectors et ajoutez cette configuration dans la section environment pour rendre téléchargeable la bibliothèque du pilote JDBC :
    connectors:
        image: talend/connectors:20200528132950116
        networks:
          - default
        environment:
          CONNECTORS_SETUP_OPTS: setup --component-jdbc-auto-download-drivers
            [...]
            --artifact=<MAVEN GROUP>:<MAVEN ARTIFACT>:jar:<MAVEN VERSION>
            [...]

    Exemple

    Pour une base de données DB2
    connectors:
        image: talend/connectors:20200528132950116
        networks:
          - default
        environment:
          CONNECTORS_SETUP_OPTS: setup --component-jdbc-auto-download-drivers
            [...]
            --artifact=com.ibm.db2:jcc:jar:11.5.0.0
    		[...]
  6. Trouvez le conteneur previewrunner et configurez-le ainsi, de manière à faire fonctionner la prévisualisation de l'échantillon de données à partir du formulaire d'édition du jeu de données dans Talend Cloud Data Inventory :
    previewrunner:
        image: ${PREVIEW_RUNNER_IMG}
        user: root
        command: /opt/talend/app/bin/data-streams-previewrunner-ee-svc -Djdbc.drivers[10].id=<DATABASE_ID>
    	-Djdbc.drivers[10].displayName=<DISPLAY_NAME> -Djdbc.drivers[10].order=<ORDER_IN_THE_LIST>
    	-Djdbc.drivers[10].className=<JDBC_DRIVER_CLASS> -Djdbc.drivers[10].paths[0]=<MAVEN GROUP>:<MAVEN ARTIFACT>:jar:<MAVEN VERSION>
    	-Dhttp.port=80 -Dlogger.resource=dss-logback.xml -Dtalend.component.manager.m2.repository=/opt/talend/connectors
    	-Dtalend.component.manager.classloader.container.classesAndPackages=org.talend.components.common.

    Exemple

    Pour une base de données DB2
    previewrunner:
        image: ${PREVIEW_RUNNER_IMG}
        user: root
        command: /opt/talend/app/bin/data-streams-previewrunner-ee-svc -Djdbc.drivers[10].id=DB2
    	-Djdbc.drivers[10].displayName=DB2 -Djdbc.drivers[10].order=900
    	-Djdbc.drivers[10].className=com.ibm.db2.jcc.DB2Driver -Djdbc.drivers[10].paths[0]=com.ibm.db2:jcc:jar:11.5.0.0
    	-Dhttp.port=80 -Dlogger.resource=dss-logback.xml -Dtalend.component.manager.m2.repository=/opt/talend/connectors
    	-Dtalend.component.manager.classloader.container.classesAndPackages=org.talend.components.common.
  7. Sauvegardez vos modifications et redémarrez votre moteur.