Configurer Talend Data Stewardship - 6.4

Talend Real-time Big Data Platform Guide d'installation pour Linux

EnrichVersion
6.4
EnrichProdName
Talend Real-Time Big Data Platform
task
Installation et mise à niveau
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity Management
Talend Installer
Talend JobServer
Talend Log Server
Talend Project Audit
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server

Cette section contient des informations sur la manière de sécuriser les connections de Talend Data Stewardship et de configurer les logs de l'application.

Générer un certificat SSL

Afin que Talend Data Stewardship s'exécute en utilisant le protocole Secure Sockets Layer (SSL), vous devez commencer par générer un certificat de confiance signé.

  1. Générez un certificat SSL.

    Pour plus d'information sur la génération de fichiers keystore, consultez la section Keystore files dans le Talend Help Center Talend Help Center.

  2. En tant qu'administrateur, importez le certificat dans votre JVM à l'aide de la commande suivante :

    keytool -import -trustcacerts -file <certificate_path> -alias <certificate_name> -keystore "%JAVA_HOME%/jre/lib/security/cacerts".

Pour sécuriser les connexions entre Talend Data Stewardship, le serveur MongoDB et Apache Kafka, éditez le fichier application.properties.

Sécuriser les connexions pour Talend Data Stewardship

Pour sécuriser les connexions entre Talend Data Stewardship, tle serveur MongoDB et Apache Kafka, il vous faut modifier le fichier de propriétés de l'application.

Il n'est cependant pas possible d'établir une connexion sécurisée pour MongoDB si vous avez choisi d'utiliser l'instance de MongoDB intégrée lors de l'installation. Si vous souhaitez sécuriser les connexions de MongoDB en utilisant SSL, MongoDB Enterprise Server doit être manuellement installé sur votre machine. Pour plus d'informations, consultez https://docs.mongodb.com/v3.2/security/ (en anglais).

  1. Ouvrez le fichier <Data_Stewardship_Path>/config/data-stewardship.properties.

  2. Pour permettre d'accepter le certificat de serveur utilisé par Talend Data Stewardship, modifiez les lignes suivantes :

    http.ssl.truststore.location=<path_to_truststore>
    http.ssl.truststore.password=<truststore_password>
  3. Par défaut, Talend Data Stewardship ne vérifie pas si le nom d'hôte correspond au nom commun du certificat.

    Afin d'activer cette vérification, changez la valeur du champ suivant en true :

    http.ssl.verify.hostname=true
  4. Pour permettre à Talend Data Stewardship d'utiliser une authentification par clé privée, modifiez les lignes suivantes :

    http.ssl.keystore.location=<path_to_keystore>
    http.ssl.keystore.password=<keystore_password>
    http.ssl.key.password=<key_password>
  5. Pour sécuriser les connexions avec MongoDB, modifiez les lignes suivantes :

    spring.data.mongodb.ssl=true
    spring.data.mongodb.ssl.trust-store=<path_to_truststore>
    spring.data.mongodb.ssl.trust-store-password=<truststore_password>
  6. Pour sécuriser les connexions avec Kafka à l'aide du chiffrage de communication uniquement, modifiez les lignes suivantes :

    kafka.security.protocol=SSL
    kafka.ssl.truststore.location=<path_to_truststore>
    kafka.ssl.truststore.password=<truststore_password>
  7. Pour sécuriser les connexions avec Kafka à l'aide de l'authentification, modifiez les lignes suivantes :

    kafka.ssl.keystore.location=<path_to_keystore>
    kafka.ssl.keystore.password=<keystore_password>
    kafka.ssl.key.password=<key_password>

    Notez que les paramètres de chiffrage de communication doivent également être définis pour utiliser l'authentification.

  8. Pour sécuriser les connexions avec le broker de messages, modifiez les lignes suivantes :

    spring.cloud.stream.kafka.binder.configuration.security.protocol=SSL
    spring.cloud.stream.kafka.binder.configuration.ssl.truststore.location=<path_to_truststore>
    spring.cloud.stream.kafka.binder.configuration.ssl.truststore.password=<truststore_password>
    spring.cloud.stream.kafka.binder.configuration.ssl.keystore.location=<path_to_keystore>
    spring.cloud.stream.kafka.binder.configuration.ssl.keystore.password=<keystore_password>
    spring.cloud.stream.kafka.binder.configuration.ssl.key.password=<key_password>
  9. Pour sécuriser les connection avec Talend Identity and Access Management, modifiez les lignes suivantes :

    tds.security=iam
    oidc.url=https://<host_name:port>/oidc
    oidc.userauth.url=https://<host_name:port>/oidc
    scim.url=https://<host_name:port>/scim
  10. Changez les URL des services de HTTP et HTTPS :

    tds.history.service.url==https://${public.ip}:${server.port}/data-history-service
    schema.service.url=https://${public.ip}:${server.port}/schemaservice
  11. Changez les URLs des passerelles de HTTP et HTTPS :

    frontend.url=https://<datastewardship_server:port>/internal/frontend
    backend.url=https://<datastewardship_server:port>/internal/data-stewardship
    schemaservice.url=https://<datastewardship_server:port>/internal/schemaservice
    historyservice.url=https://<datastewardship_server:port>/internal/data-history-service
  12. Ouvrez le fichier <Data_Stewardship_Path>/iam/apache_tomcat/clients/tds-client.json et mettez à jour l'URL de Talend Data Stewardship :

    {
      "client_name": "TDS OIDC Gateway",
      "client_id": "tl6K6ac7tSE-LQ",
      "client_secret": "cB/gNxe2SXR3SPDbhshZXzErZoxVy8yUcs/f6K39rsg=",
      "redirect_uris": [
        "https://<datastewardship_url:port>/login",
        "https://localhost:<ssl_port>/login",
        "https://127.0.0.1:<ssl_port>/login"
      ],
      "post_logout_redirect_uris": [
        "https://<datastewardship_url:port>/",
        "https://localhost:<ssl_port>/",
        "https://127.0.0.1:<ssl_port>/"
      ],
      "grant_types": [
        "password",
        "authorization_code",
        "refresh_token"
      ],
      "scope": "openid refreshToken"
    }
    

Pour activer le support de HTTPS sur Tomcat, consultez https://tomcat.apache.org/tomcat-8.0-doc/ssl-howto.html (en anglais).

Pour activer le support de SSL sur MongoDB, consultez https://docs.mongodb.com/v3.0/tutorial/configure-ssl/ (en anglais).

Pour activer le support de SSL sur Kafka, consultez http://kafka.apache.org/documentation.html#security_ssl (en anglais).

Pour activer le support de SSL sur Talend Identity and Access Management, consultez Sécuriser les connexions pour Talend Identity and Access Management.

Sécuriser les connexions pour Talend Administration Center

Pour activer le SSL dans Talend Administration Center, suivez les instructions ci-dessous :

  1. Ouvrez le fichier <Data_Stewardship_Path>/tac/apache-tomcat/conf/server.xml et commentez la partie non-SSL :

    <!-- <Connector port="8080" protocol="HTTP/1.1"
                   connectionTimeout="20000"
                   redirectPort="8443" /> -->
  2. Décommentez les lignes suivantes :

    <!-- <Connector port="8443" 
    protocol="org.apache.coyote.http11.Http11NioProtocol" 
    maxThreads="150" 
    SSLEnabled="true" 
    scheme="https" secure="true" 
    clientAuth="false" 
    sslProtocol="TLS"/> -->
  3. Ajoutez les lignes suivantes :

    keystoreFile="<certificate_path>/server.keystore.jks" 
    keystorePass="<certificate_password>"
    

Configurer les logs de Talend Data Stewardship

Talend Data Stewardship vous permet d'analyser et d'identifier les bugs dans l'activité de Talend Data Stewardship.

Les fichiers de log de Talend Data Stewardship se trouvent dans le dossier <Data_Stewardship_Path>/apache-tomcat/logs.

Le fichier catalina.out est une version condensée des différents fichiers de log disponibles.

Pour configurer le niveau d'information des logs, procédez comme suit:

  1. Ouvrez les fichiers suivants :

    • <Data_Stewardship_Path>/apache-tomcat/conf/data-stewardship-core-logback.xml pour le log du service back-end principal

    • <Data_Stewardship_Path>/apache-tomcat/conf/data-stewardship-history-logback.xml pour le log du service d'historique

    • <Data_Stewardship_Path>/apache-tomcat/conf/data-stewardship-schema-logback.xml pour le log du service de gestion des schémas

  2. Ajoutez la ligne suivante avant l'élément <root>  : <logger name="org.talend" level="DEBUG"/>.

    Le niveau de log est maintenant configuré à DEBUGmais vous pouvez choisir une autre valeur. Pour plus d'informations concernant les niveaux de log, consultez http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).