Liste des paramètres de configuration pour Talend Data Preparation - 7.2

Guide d'utilisation de Talend Data Preparation

author
Talend Documentation Team
EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Qualité et préparation de données > Nettoyage de données
EnrichPlatform
Talend Data Preparation

Tous les paramètres du fichier application.properties sont définis par défaut lors de l'installation de Talend Data Preparation par Talend Installer. Toutefois, vous pouvez personnaliser ces paramètres selon votre environnement d'installation.

Pour plus d'informations relatives à l'installation et à la configuration de Talend Data Preparation, consultez les guides d'installation Talend.

Paramètre Description
dataprep.locale Paramètre de configuration de la langue d'interface de l'application.
public.ip=<local machine ip>

server.port=9999

async-runtime.contextPath=/api

Adresse IP du serveur hébergeant Talend Data Preparation et port du serveur.
server.compression.enabled=true

server.compression.mime-types=text/plain,text/html,text/css,application/json,application/x-javascript,text/xml,application/xml,application/xml+rss,text/javascript,application/javascript,text/x-js

Paramètres de compression de réponse
iam.ip=<local machine ip>

iam.uri=http://${iam.ip}:9080

iam.api.uri=${iam.uri}

Adresse IP du serveur hébergeant Talend Identity and Access Management, utilisé pour le SSO et port du serveur.
spring.mvc.async.request-timeout=600000 Définition du délai avant suspension pour les exécutions asynchrones. Ne modifiez pas cette valeur, à moins que Talend ne vous le demande.
dataprep.event.listener=spring Paramètre de propagation d'événement Peut être Spring ou Kafka.
live.dataset.location=tac

live.dataset.url=http://<local machine ip>:8080/org.talend.administrator/

Paramètres liés à la fonctionnalité Live dataset. URL de l'instance de Talend Administration Center, utilisée pour lister les tâches d'exécution comme sources de jeux de données.
live.dataset.task-prefix=dataprep_ Préfixe utilisé pour lister les tâches de Talend Administration Center dans l'interface Talend Data Preparation et créer des jeu de données en temps réel. Seules les tâches avec ce préfixe seront listées lors de l'import des données via l'option Talend Job.
mongodb.host=<local machine ip>

mongodb.port=27017

mongodb.database=dataprep

mongodb.user=dataprep-user

mongodb.password=<randomly generated password>

multi-tenancy.mongodb.active=true

Paramètres MongoDB
mongodb.uri= Pour des cas d'utilisation plus complexes, les configurations mongo.* peuvent être écrasées en spécifiant une URI, directement.
mongodb.ssl=true

mongodb.ssl.trust-store=/path/to/trust-store.jks

mongodb.ssl.trust-store-password=trust-store-password

Décommentez ces paramètres pour définir une connexion sécurisée avec MongoDB.
tls.key-store=/path/to/key-store.jks

tls.key-store-password=key-store_password

tls.trust-store=/path/to/trust-store.jks

tls.trust-store-password=trust-store_password

tls.verify-hostname=false

Décommentez ces paramètres pour définir une connexion https sécurisée pour Talend Data Preparation.
security.provider=oauth2

security.token.secret=encrypted password

Paramètres d'authentification.
spring.profiles.active=server-standalone

spring.mvc.favicon.enabled=false

spring.http.multipart.maxFileSize=200000000

spring.http.multipart.maxRequestSize=200000000

Paramètres de Spring. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.
service.documentation.name=Talend Data Preparation - API

service.documentation.description=This service exposes high level services that may involve services orchestration.

service.paths=api

springfox.documentation.swagger.v2.host=${public.ip}:${server.port}${gateway-api.service.path}
Définissez ces paramètres pour activer l'accès à Swagger.
dataset.records.limit=10000

dataset.local.file.size.limit=2000000000

dataset.imports=local,job,tcomp-JDBCDatastore,tcomp-SimpleFileIoDatastore,tcomp-SalesforceDatastore,tcomp-S3Datastore

dataset.list.limit=10

Paramètres de limite de taille et d'affichage de vos jeux de données.
dataset.service.url=http://${public.ip}:${server.port}

transformation.service.url=http://${public.ip}:${server.port}

preparation.service.url=http://${public.ip}:${server.port}

fullrun.service.url=http://${public.ip}:${server.port}

async_store.service.url=http://${public.ip}:${server.port}

gateway.service.url=http://${public.ip}:${server.port}

Adresse du service de jeu de données.
dataset.metadata.store=mongodb

preparation.store=mongodb

user.data.store=mongodb

folder.store=mongodb

upgrade.store=mongodb

Paramètres de configuration du service de stockage des fichiers. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.
content-service.store=local

content-service.store.local.path=data/

content-service.journalized=true

Emplacement du cache et stockage du contenu.
preparation.store.remove.hours=24 Configuration du service de préparation. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.
lock.preparation.store=mongodb

lock.preparation.delay=600

Paramètre de durée de verrouillage en secondes, lors du travail sur des préparation partagées.
luceneIndexStrategy=singleton Configuration de l'index Lucene. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.
execution.store=mongodb

async.operation.concurrent.run=5

Paramètres pour les exécutions complètes asynchrones et pour les opérations d’échantillonnage, le stockage et le nombre d'exécutions parallèles autorisé. Ne modifiez pas la valeur mongodb, à moins que Talend ne vous le demande. En ce qui concerne les opérations asynchrones, si le nombre d'exécutions parallèles dépasse la valeur du paramètre d'exécutions parallèles, les opérations seront mises en file d'attente et reprendront lorsqu'une place sera disponible. Vous pouvez augmenter la valeur de ce paramètre, selon la puissance de votre machine.
tcomp.server.url=http://<local machine ip>:8989/tcomp URL du serveur hébergeant le Components Catalog, utilisée pour configurer les connecteurs du service auto-assignés.
tcomp-SimpleFileIoDatastore.kerberosPrincipal.default=${streams.kerberos.principal}

tcomp-SimpleFileIoDatastore.kerberosKeytab.default=${streams.kerberos.keytab_path}

tcomp-SimpleFileIoDataset.path.default=${streams.hdfs.server.url}

Propriétés de configuration du Components Catalog. Permet de définir automatiquement votre configuration de Kerberos lors de l'import des jeux de données de HDFS.
tcomp-SimpleFileIoDatastore.test_connection.visible=false Paramètre pour supprimer l'étape de test de connexion du formulaire de composant Talend. Ne modifiez pas ce paramètre, à moins que Talend ne vous le demande.
async.operation.watcher.ttl=3600000 Temps d'exécution maximal pour des exécutions complètes, en millisecondes
receivers.timeout=3600000 Temps d'attente maximal pour l'entrée de jeux de données en temps réel.
dataquality.indexes.file.location=data/data-quality/org.talend.dataquality.semantic Emplacement du stockage d’index de la qualité des données. Si vous modifiez cette valeur, Talend Data Preparation recréera automatiquement les index au démarrage, mais uniquement les index par défaut. Pour récupérer vos types sémantiques personnalisés, vous devez copier le contenu de votre ancien dossier et le copier dans le nouvel emplacement.
dataquality.semantic.list.enable=true

dataquality.server.url=http://<local machine ip>:8187/

Paramètre pour activer la modification de type sémantique dans l'interface de Talend Data Preparation et l'URL du serveur hébergeant le Talend Dictionary Service.
tsd.consumer.enabled=true

tsd.consumer.semantic-topic-content=raw

dataquality.event.store=mongodb

spring.cloud.stream.kafka.binder.brokers=tal-rd44.talend.lan

Paramètres de mise à jour de la qualité des données.
streams.enable=false

streams.flow.runner.url=http://<local machine ip>:<Big data preparation port>/

streams.kerberos.principal=<principal>

streams.kerberos.keytab_path=<keytab path>

streams.hdfs.server.url=hdfs://<host>:<port>/<filepath>

Paramètres de configuration de Streams Runner

Active les paramètres pour configurer Talend Data Preparation avec Big Data.

security.basic.enabled=false

security.oidc.client.expectedIssuer=http://tal-rd44.talend.lan:9080/oidc

iam.license.url=http://${iam.ip}:9080/oidc/api

security.oidc.client.keyUri=${iam.uri}/oidc/jwk/keys

security.oauth2.client.clientId=64xIVPxviKWSog

security.oauth2.client.clientSecret=9C0zCjp8yS-eZBqEi-KhBQ

security.oidc.client.claimIssueAtTolerance=120

# security.oauth2.resource.serviceId=${PREFIX:}resource

security.oauth2.resource.tokenInfoUri=${iam.uri}/oidc/oauth2/introspect

security.oauth2.resource.uri=/v2/api-docs,/api/**,/folders/**,/datasets/**,/dataset/**,/preparations/**,/transform/**,/version/**,/acl/**,/apply/**,/export,/export/**,/aggregate,/sampling/**,/receivers/**,/error,/docs,/datastores/**,/preparation/**,/actions/**,/suggest/**,/dictionary/**

security.oauth2.resource.filter-order=3

security.scim.enabled=true

security.oauth2.client.access-token-uri=${iam.uri}/oidc/oauth2/token

security.oauth2.client.scope=openid refreshToken

security.oauth2.client.user-authorization-uri=${iam.uri}/oidc/idp/authorize

security.oauth2.sso.login-use-forward=false

server.session.cookie.name=TDPSESSION

spring.session.store-type=hash_map

security.sessions=stateless

security.user.password=none

Paramètres de configuration de sécurité du SSO (Single Sign-On)
security.oidc.client.endSessionEndpoint=${iam.uri}/oidc/idp/logout

security.oidc.client.logoutSuccessUrl=http://${public.ip}:${server.port}

security.oauth2.logout.uri=/signOut

security.oauth2.sso.login-path=/signIn

iam.scim.url=http://${iam.ip}:9080/scim/

security.oauth2.resource.tokenInfoUriCache.enabled=true

tenant.account.cache.enabled=true

Propriétés d'authentification unique pour l'API et la passerelle de Talend Data Preparation.
gateway-api.service.url=http://${public.ip}:${server.port}

gateway-api.service.path=/gateway

zuul.servletPath=/gateway/upload

zuul.routes.dq.path=/gateway/dq/semanticservice/**

zuul.routes.dq.sensitiveHeaders=${zuul.sensitiveHeaders}

zuul.routes.dq.url=${dataquality.server.url}/

proxy.auth.routes.dq=oauth2

zuul.routes.api.path=/gateway/api/**

zuul.routes.api.sensitiveHeaders=${zuul.sensitiveHeaders}

zuul.routes.api.url=http://${public.ip}:${server.port}/api

proxy.auth.routes.api=oauth2

zuul.sensitiveHeaders=Cookie,Set-Cookie,Expires,X-Content-Type-Options,X-Xss-Protection,Cookie,X-Frame-Options,Cache-control,Pragma

zuul.host.socket-timeout-millis=300000

zuul.host.connect-timeout-millis=5000

Paramètres de configuration de l'authentification unique. Ne modifiez pas ces valeurs, à moins que Talend ne vous le demande.
logging.file=data/logs/app.log Chemin d'accès au dossier de stockage des fichiers de log.
logging.pattern.level=%5p [user %X{user}] Modèle du niveau de sortie pour les fichiers de log.
logging.pattern.file=%d{yyyy-MM-dd HH:mm:ss.SSS} %5p --- [%t] %-40.40logger{39} : %m%n%wEx Décommentez ce paramètre pour activer la configuration du modèle de log.
logging.level=WARN

logging.level.org.talend.dataprep=INFO

logging.level.org.talend.dataprep.api=INFO

logging.level.org.talend.dataprep.dataset=INFO

logging.level.org.talend.dataprep.preparation=INFO

logging.level.org.talend.dataprep.transformation=INFO

logging.level.org.talend.dataprep.fullrun=INFO

logging.level.org.talend.dataprep.api.dataquality=INFO

logging.level.org.talend.dataprep.configuration=INFO

logging.level.org.talend.dataquality.semantic=INFO

Paramètres des enregistreurs de données de Talend Data Preparation.
logging.pattern.console=%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(%5p) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n%wEx Décommentez ce paramètre pour activer la configuration du modèle d'enregistrement de la console.
spring.output.ansi.enabled=always Décommentez ce paramètre pour configurer la coloration Ansi dans la sortie de la console.
logging.config=logback.xml Décommentez ce paramètre pour configurer le log de Talend Data Preparation avec un fichier logback.xml personnalisé.

Saisissez le chemin d'accès à votre fichier logback.xml.

audit.log.enabled=true

talend.logging.audit.config=config/audit.properties

Paramètres des logs d'audit
default.text.enclosure="

default.text.escape="

default.text.encoding=UTF-8

Valeurs configurables pour l'entourage et les caractères d'échappement par défaut pour les exports CSV, ainsi que pour l'encodage par défaut du texte. Le séparateur par défaut peut être un point-virgule ";", une tabulation "\t", un espace " ", une virgule "," ou une barre "|".
default.import.text.enclosure="

default.import.text.escape=

Valeurs configurables pour l'entourage et les caractères d'échappement par défaut pour les imports CSV.
app.products[0].id=TDS

app.products[0].name=Data Stewardship

app.products[0].url=<place_your_tds_url_here>

Lorsque Talend Data Preparation et Talend Data Stewardship sont installés, vous avez la possibilité de passer d'une application à l'autre. Configurez l'URL de Talend Data Stewardship pour pouvoir y accéder.