Liste des paramètres de configuration pour Talend Data Preparation - 2.1

Guide utilisateur de Talend Data Preparation

author
Talend Documentation Team
EnrichVersion
6.4
2.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Qualité et préparation de données > Nettoyage de données
EnrichPlatform
Talend Data Preparation

Tous les paramètres du fichier application.properties sont définis par défaut lors de l'installation de Talend Data Preparation par Talend Installer. Toutefois, vous pouvez personnaliser ces paramètres selon votre environnement d'installation.

Pour plus d'informations relatives à l'installation et à la configuration de Talend Data Preparation, consultez les guides d'installation Talend.

Paramètre

Description

tac.url=http://<local machine ip>:8080/org.talend.administrator/

URL de votre instance de Talend Administration Center, utilisée pour l'utilisateur, pour la licence et la gestion des droits.

public.ip=<local machine ip>

server.port=9999

Adresse IP du serveur hébergeant Talend Data Preparation et port du serveur.

iam.ip=<local machine ip>

Adresse IP du serveur hébergeant Talend Identity and Access Management, utilisée pour le SSO.

spring.mvc.async.request-timeout=300000

Définition du délai avant suspension pour les exécutions asynchrones. Ne modifiez pas cette valeur, à moins que Talend ne vous le demande.

tac.task-prefix=dataprep_

Préfixe utilisé pour lister les tâches de Talend Administration Center dans l'interface Talend Data Preparation et créer des jeu de données en temps réel. Seules les tâches avec ce préfixe seront listées lors de l'import des données via l'option from Talend Job.

tac.user-name=security@company.com

tac.password=<security@company.com>

Identifiant et mot de passe pour votre compte administrateur de Talend Administration Center. Cet utilisateur sera utilisé pour lister les tâches lors de la création de jeu de données en temps réel.

mongodb.host=<local machine ip>

mongodb.port=27017

mongodb.database=dataprep

mongodb.user=dataprep-user

mongodb.password=<randomly generated password>

multi-tenancy.mongodb.active=true

Paramètres de MongoDB.

mongodb.ssl=true

mongodb.ssl.trust-store=/path/to/trust-store.jks

mongodb.ssl.trust-store-password=trust-store-password

Décommentez ces paramètres pour définir une connexion sécurisée avec MongoDB.

tls.key-store=/path/to/key-store.jks

tls.key-store-password=key-store_password

tls.trust-store=/path/to/trust-store.jks

tls.trust-store-password=trust-store_password

tls.verify-hostname=false

Décommentez ces paramètres pour définir une connexion https sécurisée pour Talend Data Preparation.

security.provider=oauth2

security.token.secret=encrypted password

security.token.renew-after=30

security.token.invalid-after=3600

Paramètres d'authentification.

spring.profiles.active=server-standalone

spring.mvc.favicon.enabled=false

Paramètres de Spring. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.

service.documentation=false

service.documentation.name=Talend Data Preparation - API

service.documentation.description=This service exposes high level services that may involve services orchestration.

service.paths=api

Définissez ces paramètres pour activer l'accès à Swagger.

dataset.records.limit=10000

dataset.local.file.size.limit=2000000000

dataset.imports=local,job,tcomp-JDBCDatastore,tcomp-SimpleFileIoDatastore,tcomp-SalesforceDatastore,tcomp-S3Datastore

dataset.list.limit=10

Paramètres de limite de taille et d'affichage de vos jeux de données.

dataset.service.url=http://${public.ip}:${server.port}

transformation.service.url=http://${public.ip}:${server.port}

preparation.service.url=http://${public.ip}:${server.port}

fullrun.service.url=http://${public.ip}:${server.port}

Adresse du service de jeu de données.

dataset.metadata.store=mongodb

preparation.store=mongodb

user.data.store=mongodb

folder.store=mongodb

upgrade.store=mongodb

Paramètres de configuration du service de stockage des fichiers. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.

content-service.store=local

content-service.store.local.path=data/

Emplacement du cache et stockage du contenu.

preparation.store.remove.hours=24

Configuration du service de préparation. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.

lock.preparation.store=mongodb

lock.preparation.delay=600

Paramètre de durée de verrouillage en secondes, lors du travail sur des préparation partagées.

hazelcast.enabled=true

Active ou désactive Hazelcast. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.

luceneIndexStrategy=singleton

Configuration de l'index Lucene. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.

execution.store=mongodb

async.operation.concurrent.run=5

Paramètres pour les exécutions complètes asynchrones et pour les opérations d’échantillonnage, le stockage et le nombre d'exécutions parallèles autorisé. Ne modifiez pas la valeur mongodb, à moins que Talend ne vous le demande. En ce qui concerne les opérations asynchrones, si le nombre d'exécutions parallèles dépasse la valeur du paramètre d'exécutions parallèles, les opérations seront mises en file d'attente et reprendront lorsqu'une place sera disponible. Vous pouvez augmenter la valeur de ce paramètre, selon la puissance de votre machine.

tcomp.server.url=http://<local machine ip>:8989/tcomp

URL du serveur hébergeant le Components Catalog, utilisée pour configurer les connecteurs du service auto-assignés.

tcomp-JDBCDataset.sourceType.hide=true

tcomp-JDBCDatastore.password.hide=true

Propriétés de configuration du Components Catalog. Permet de cacher les champs spécifiques dans le formulaire d'import des jeux de données de la base de données.

tcomp-SimpleFileIoDatastore.kerberosPrincipal.default=${streams.kerberos.principal}

tcomp-SimpleFileIoDatastore.kerberosKeytab.default=${streams.kerberos.keytab_path}

tcomp-SimpleFileIoDataset.path.default=${streams.hdfs.server.url}

Propriétés de configuration du Components Catalog. Permet de définir automatiquement votre configuration de Kerberos lors de l'import des jeux de données de HDFS.

tcomp-SimpleFileIoDatastore.test_connection.visible=false

Paramètre pour supprimer l'étape de test de connexion du formulaire de composant Talend. Ne modifiez pas ce paramètre, à moins que Talend ne vous le demande.

async.operation.watcher.ttl=3600000

Temps d'exécution maximal pour des exécutions complètes, en millisecondes

receivers.timeout=3600000

Temps d'attente maximal pour l'entrée de jeu de données en temps réel.

dataquality.indexes.file.location=data/data-quality/org.talend.dataquality.semantic

Emplacement du stockage d’index de la qualité des données. Si vous modifiez cette valeur, Talend Data Preparation recréera automatiquement les index au démarrage, mais uniquement les index par défaut. Pour récupérer vos types sémantiques personnalisés, vous devez copier le contenu de votre ancien dossier et le copier dans le nouvel emplacement.

dataquality.semantic.list.enable=true

dataquality.server.url=http://<local machine ip>:8187/

Paramètre pour activer la modification de type sémantique dans l'interface de Talend Data Preparation et l'URL du serveur hébergeant le Talend Dictionary Service.

dataquality.semantic.update.enable=true

dataquality.event.store=mongodb

spring.cloud.stream.kafka.binder.brokers=<local machine ip>

spring.cloud.stream.kafka.binder.zkNodes=<local machine ip>

spring.cloud.stream.kafka.binder.defaultBrokerPort=9092

spring.cloud.stream.kafka.binder.defaultZkPort=2181

spring.cloud.stream.bindings.input.destination=${MESSAGING_DOCUMENT_QUEUE:dictionary}

spring.cloud.stream.bindings.input.content-type=application/x-java-object;type=org.talend.dataquality.semantic.model.DQDocumentAction

spring.cloud.stream.bindings.input.group=${MESSAGING_CATEGORY_GROUP:dictionaryGroup}

spring.cloud.stream.bindings.category.destination=${MESSAGING_CATEGORY_QUEUE:category}

spring.cloud.stream.bindings.category.content-type=application/x-java-object;type=org.talend.dataquality.semantic.model.DQCategoryAction

spring.cloud.stream.bindings.category.group=${MESSAGING_REGEX_GROUP:dictionaryGroup}

spring.cloud.stream.bindings.regEx.destination=${MESSAGING_REGEX_QUEUE:regex}

spring.cloud.stream.bindings.regEx.content-type=application/x-java-object;type=org.talend.dataquality.semantic.model.DQCategoryAction

spring.cloud.stream.bindings.regEx.group=${MESSAGING_REGEX_GROUP:dictionaryGroup}

data.management.lucene.documents.folder=${dataquality.indexes.file.location}/index/dictionary

data.management.lucene.categories.folder=${dataquality.indexes.file.location}/category

data.management.receiving.folder=${dataquality.indexes.file.location}/index/received/

data.management.regex.folder=${dataquality.indexes.file.location}/regex

Paramètres de mise à jour de la qualité des données.

streams.enable=false

streams.flow.runner.url=http://<Streams Runner ip>:<Streams Runner port>/streams-run/v1

streams.kerberos.principal=<principal>

streams.kerberos.keytab_path=<keytab path>

streams.hdfs.server.url=hdfs://<host>:<port>/<filepath>

Paramètres de configuration Streams Runner.

Active les paramètres pour configurer Talend Data Preparation avec Big Data.

security.basic.enabled=false

security.oidc.client.expectedIssuer=accounts.talend.com

iam.license.url=http://$%7Biam.ip%7D:9080/oidc/services

security.oidc.client.keyUri=http://$%7Biam.ip%7D:9080/oidc/jwk/keys

security.oauth2.client.clientId=<randomly generated Id>

security.oauth2.client.clientSecret=<encrypted password>

security.oidc.client.claimIssueAtTolerance=120

security.oauth2.resource.serviceId=${PREFIX:}resource

security.oauth2.resource.tokenInfoUri=http://$%7Biam.ip%7D:9080/oidc/oauth2/introspect

security.oauth2.resource.uri=/api/**,/folders/**,/datasets/**,/preparations/**,/transform/**,/version/**,/acl/**,/apply/**,/export,/export/**,/aggregate,/sampling/**,/receivers/**,/error,/docs,/datastores/**,/preparation/**

security.oauth2.resource.filter-order=3

security.oauth2.resource.tokenInfoUriCache.enabled=true

security.scim.cache.enabled=true

security.scim.enabled=true

security.oauth2.client.access-token-uri=http://$%7Biam.ip%7D:9080/oidc/oauth2/token

security.oauth2.client.scope=openid refreshToken

security.oauth2.client.user-authorization-uri=http://$%7Biam.ip%7D:9080/oidc/idp/authorize?prompt=none

security.oauth2.sso.login-use-forward=false

server.session.cookie.name=TDPSESSION

security.sessions=stateless

security.user.password=none

Paramètres de configuration de sécurité unique.

security.oidc.client.endSessionEndpoint=http://$%7Biam.ip%7D:9080/oidc/idp/logout

security.oidc.client.logoutSuccessUrl=http://${public.ip}:${server.port}

security.oauth2.logout.uri=/signOut

security.oauth2.sso.login-path=/signIn

iam.scim.url=http://$%7Biam.ip%7D:9080/scim/

Propriétés d'authentification unique pour l'API et la passerelle de Talend Data Preparation.

gateway-api.service.url=http://${public.ip}:${server.port}

gateway-api.service.path=/gateway

zuul.servletPath=/gateway/upload

zuul.routes.dq.path=/gateway/dq/semanticservice/**

zuul.routes.dq.sensitiveHeaders=${zuul.sensitiveHeaders}

zuul.routes.dq.url=${dataquality.server.url}/

proxy.auth.routes.dq=oauth2

zuul.routes.api.path=/gateway/api/**

zuul.routes.api.sensitiveHeaders=${zuul.sensitiveHeaders}

zuul.routes.api.url=http://${public.ip}:${server.port}/api

proxy.auth.routes.api=oauth2

zuul.sensitiveHeaders=Cookie,Set-Cookie,Expires,X-Content-Type-Options,X-Xss-Protection,Cookie,X-Frame-Options,Cache-control,Pragma

zuul.host.socket-timeout-millis=300000

zuul.host.connect-timeout-millis=5000

Paramètres de configuration de l'authentification unique. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.

logging.file=data/logs/app.log

Chemin d'accès au dossier de stockage des fichiers de log.

logging.pattern.level=%5p [user %X{user}]

Modèle du niveau de sortie pour les fichiers de log.

logging.pattern.file=%d{yyyy-MM-dd HH:mm:ss.SSS} %5p --- [%t] %-40.40logger{39} : %m%n%wEx

Décommentez ce paramètre pour activer la configuration du modèle de log.

logging.level=WARN

logging.level.org.talend.dataprep=INFO

logging.level.org.talend.dataprep.api=INFO

logging.level.org.talend.dataprep.dataset=INFO

logging.level.org.talend.dataprep.preparation=INFO

logging.level.org.talend.dataprep.transformation=INFO

logging.level.org.talend.dataprep.fullrun=INFO

logging.level.org.talend.dataprep.api.dataquality=INFO

logging.level.org.talend.dataprep.configuration=INFO

Paramètres des enregistreurs de données de Talend Data Preparation .

logging.pattern.console=%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(%5p) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n%wEx

Décommentez ce paramètre pour activer la configuration du modèle d'enregistrement de la console.

spring.output.ansi.enabled=always

Décommentez ce paramètre pour configurer la coloration Ansi dans la sortie de la console.

logging.config=logback.xml

Décommentez ce paramètre pour configurer le log de Talend Data Preparation avec un fichier logback.xml personnalisé.

Saisissez le chemin d'accès à votre fichier logback.xml.