Talend Data Preparationの設定パラメーターのリスト - 2.5

Talend Data Preparation ユーザーガイド

author
Talend Documentation Team
EnrichVersion
7.0
2.5
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
task
データクオリティとプレパレーション > データクレンジング
EnrichPlatform
Talend Data Preparation

application.propertiesファイルのパラメーターはすべて、Talend Data Preparationのインストール中にTalend Installerによってデフォルト設定されます。ただし、インストール環境に応じてカスタマイズすることもできます。

Talend Data Preparationのインストールと設定の詳細は、『Talendインストレーションガイド』を参照して下さい。

パラメーター

説明

tac.url=http://<local machine ip>:8080/org.talend.administrator/

ユーザー、ランセンス、権限の管理で使用される、Talend Administration CenterインスタンスのURL。

public.ip=<local machine ip>

server.port=9999

Talend Data PreparationとサーバーポートをホストするサーバーのIP

iam.ip=<local machine ip>

SSOで使用される、Talend Identity and Access ManagementホストするサーバーのIP

spring.mvc.async.request-timeout=300000

非同期実行のタイムアウト設定。Talendによる指示がない限り、この値は変更しないで下さい。

tac.task-prefix=dataprep_

Talend Administration CenterタスクをTalend Data Preparationインターフェイスに表示し、ライブデータセットを作成するために使用するプレフィックス。[from Talend Job] (Talendジョブから)オプションでデータをインポートする際、このプレフィックスが付いたタスクだけが表示されます。

mongodb.host=<local machine ip>

mongodb.port=27017

mongodb.database=dataprep

mongodb.user=dataprep-user

mongodb.password=<randomly generated password>

multi-tenancy.mongodb.active=true

MongoDB設定

mongodb.ssl=true

mongodb.ssl.trust-store=/path/to/trust-store.jks

mongodb.ssl.trust-store-password=trust-store-password

MongoDBでセキュアな接続を設定するには、これらのパラメーターのコメントを解除します

tls.key-store=/path/to/key-store.jks

tls.key-store-password=key-store_password

tls.trust-store=/path/to/trust-store.jks

tls.trust-store-password=trust-store_password

tls.verify-hostname=false

Talend Data Preparation用にセキュアなhttps接続を設定するには、これらのパラメーターのコメントを解除します

security.provider=oauth2

security.token.secret=encrypted password

security.token.renew-after=30

security.token.invalid-after=3600

認証パラメーター

spring.profiles.active=server-standalone

spring.mvc.favicon.enabled=false

Springパラメーター。Talendによる指示がない限り、これらの値は変更しないで下さい。

service.documentation=false

service.documentation.name=Talend Data Preparation - API

service.documentation.description=This service exposes high level services that may involve services orchestration.

service.paths=api

Swaggerへのアクセスを有効にするには、これらのパラメーターを設定します。

dataset.records.limit=10000

dataset.local.file.size.limit=2000000000

dataset.imports=local,job,tcomp-JDBCDatastore,tcomp-SimpleFileIoDatastore,tcomp-SalesforceDatastore,tcomp-S3Datastore

dataset.list.limit=10

データセットのサイズ制限と表示のパラメーター

dataset.service.url=http://${public.ip}:${server.port}

transformation.service.url=http://${public.ip}:${server.port}

preparation.service.url=http://${public.ip}:${server.port}

fullrun.service.url=http://${public.ip}:${server.port}

データセットサービスのアドレス

dataset.metadata.store=mongodb

preparation.store=mongodb

user.data.store=mongodb

folder.store=mongodb

upgrade.store=mongodb

ファイル保存のサービス設定パラメーターTalendによる指示がない限り、これらの値は変更しないで下さい。

content-service.store=local

content-service.store.local.path=data/

キャッシュと内容の保存の場所

preparation.store.remove.hours=24

プレパレーションのサービス設定Talendによる指示がない限り、これらの値は変更しないで下さい。

lock.preparation.store=mongodb

lock.preparation.delay=600

共有プレパレーションで作業をしているときのロック期間のパラメーター (秒単位)

hazelcast.enabled=true

Hazelcastの有効化または無効化。Talendによる指示がない限り、これらの値は変更しないで下さい。

luceneIndexStrategy=singleton

Luceneのインデックス設定。Talendによる指示がない限り、これらの値は変更しないで下さい。

execution.store=mongodb

async.operation.concurrent.run=5

非同期の完全実行とサンプリング操作、つまり、保存と許可された同時実行の数のパラメーター。Talendによる指示がない限り、mongodbの値は変更しないで下さい。非同期操作については、パラメーターの値より多くの完全実行が並列実行されている場合、操作はキューに入れられ、スロットが空いたら処理が再開されます。このパラメーターの値は、マシンの性能に応じて上げることができます。

tcomp.server.url=http://<local machine ip>:8989/tcomp

セルフサービスコネクターの設定に使われる、Components CatalogをホストしているサーバーのURL

tcomp-JDBCDataset.sourceType.hide=true

tcomp-JDBCDatastore.password.hide=true

Components Catalog設定プロパティ。データベースのデータセットインポートフォームの特定のフィールドを非表示にすることができます。

tcomp-SimpleFileIoDatastore.kerberosPrincipal.default=${streams.kerberos.principal}

tcomp-SimpleFileIoDatastore.kerberosKeytab.default=${streams.kerberos.keytab_path}

tcomp-SimpleFileIoDataset.path.default=${streams.hdfs.server.url}

Components Catalog設定プロパティ。HDFSからデータセットをインポートする場合のKerberosの設定を自動的に設定できます。

tcomp-SimpleFileIoDatastore.test_connection.visible=false

Talendコンポーネントのフォームからテスト接続ステップを削除するパラメーター。Talendによる指示がない限り、このパラメーターは変更しないで下さい。

async.operation.watcher.ttl=3600000

完全実行の最長実行時間(ミリ単位)

receivers.timeout=3600000

ライブデータセット入力の最長待機時間

dataquality.indexes.file.location=data/data-quality/org.talend.dataquality.semantic

データクオリティのインデックスの保存場所。この値を変更すると、Talend Data Preparationによって起動時にインデックスが自動的に再作成されますが、デフォルトのインデックスのみ再作成されます。カスタムセマンティックタイプを取得するには、旧ディレクトリーの内容をコピーして新しい場所に貼り付ける必要があります。

dataquality.semantic.list.enable=true

dataquality.server.url=http://<local machine ip>:8187/

Talend Data Preparationインターフェイスでセマンティックタイプエディションを有効化するパラメーター、およびTalend Dictionary ServiceをホストするサーバーのURL

dataquality.semantic.update.enable=true

dataquality.event.store=mongodb

spring.cloud.stream.kafka.binder.brokers=<local machine ip>

spring.cloud.stream.kafka.binder.zkNodes=<local machine ip>

spring.cloud.stream.kafka.binder.defaultBrokerPort=9092

spring.cloud.stream.kafka.binder.defaultZkPort=2181

spring.cloud.stream.bindings.input.destination=${MESSAGING_DOCUMENT_QUEUE:dictionary}

spring.cloud.stream.bindings.input.content-type=application/x-java-object;type=org.talend.dataquality.semantic.model.DQDocumentAction

spring.cloud.stream.bindings.input.group=${MESSAGING_CATEGORY_GROUP:dictionaryGroup}

spring.cloud.stream.bindings.category.destination=${MESSAGING_CATEGORY_QUEUE:category}

spring.cloud.stream.bindings.category.content-type=application/x-java-object;type=org.talend.dataquality.semantic.model.DQCategoryAction

spring.cloud.stream.bindings.category.group=${MESSAGING_REGEX_GROUP:dictionaryGroup}

spring.cloud.stream.bindings.regEx.destination=${MESSAGING_REGEX_QUEUE:regex}

spring.cloud.stream.bindings.regEx.content-type=application/x-java-object;type=org.talend.dataquality.semantic.model.DQCategoryAction

spring.cloud.stream.bindings.regEx.group=${MESSAGING_REGEX_GROUP:dictionaryGroup}

data.management.lucene.documents.folder=${dataquality.indexes.file.location}/index/dictionary

data.management.lucene.categories.folder=${dataquality.indexes.file.location}/category

data.management.receiving.folder=${dataquality.indexes.file.location}/index/received/

data.management.regex.folder=${dataquality.indexes.file.location}/regex

データクオリティ更新パラメーター

streams.enable=false

streams.flow.runner.url=http://<local machine ip>:<Big data preparation port>/v1

streams.kerberos.principal=<principal>

streams.kerberos.keytab_path=<keytab path>

streams.hdfs.server.url=hdfs://<host>:<port>/<filepath>

Streams Runner設定パラメーター

Talend Data PreparationとBig Dataを設定するためのこれらのパラメーターを有効にします

security.basic.enabled=false

security.oidc.client.expectedIssuer=http://${iam.ip}:9080/oidc

iam.license.url=http://$%7Biam.ip%7D:9080/oidc/services

security.oidc.client.keyUri=http://$%7Biam.ip%7D:9080/oidc/jwk/keys

security.oauth2.client.clientId=<randomly generated Id>

security.oauth2.client.clientSecret=<encrypted password>

security.oidc.client.claimIssueAtTolerance=120

security.oauth2.resource.serviceId=${PREFIX:}resource

security.oauth2.resource.tokenInfoUri=http://$%7Biam.ip%7D:9080/oidc/oauth2/introspect

security.oauth2.resource.uri=/api/**,/folders/**,/datasets/**,/preparations/**,/transform/**,/version/**,/acl/**,/apply/**,/export,/export/**,/aggregate,/sampling/**,/receivers/**,/error,/docs,/datastores/**,/preparation/**

security.oauth2.resource.filter-order=3

security.oauth2.resource.tokenInfoUriCache.enabled=true

security.scim.cache.enabled=true

security.scim.enabled=true

security.oauth2.client.access-token-uri=http://$%7Biam.ip%7D:9080/oidc/oauth2/token

security.oauth2.client.scope=openid refreshToken

security.oauth2.client.user-authorization-uri=http://$%7Biam.ip%7D:9080/oidc/idp/authorize?prompt=none

security.oauth2.sso.login-use-forward=false

server.session.cookie.name=TDPSESSION

security.sessions=stateless

security.user.password=none

シングルサインオンのセキュリティ設定パラメーター

security.oidc.client.endSessionEndpoint=http://$%7Biam.ip%7D:9080/oidc/idp/logout

security.oidc.client.logoutSuccessUrl=http://${public.ip}:${server.port}

security.oauth2.logout.uri=/signOut

security.oauth2.sso.login-path=/signIn

iam.scim.url=http://$%7Biam.ip%7D:9080/scim/

Talend Data Preparation APIおよびゲートウェイのシングルサインオンプロパティ

gateway-api.service.url=http://${public.ip}:${server.port}

gateway-api.service.path=/gateway

zuul.servletPath=/gateway/upload

zuul.routes.dq.path=/gateway/dq/semanticservice/**

zuul.routes.dq.sensitiveHeaders=${zuul.sensitiveHeaders}

zuul.routes.dq.url=${dataquality.server.url}/

proxy.auth.routes.dq=oauth2

zuul.routes.api.path=/gateway/api/**

zuul.routes.api.sensitiveHeaders=${zuul.sensitiveHeaders}

zuul.routes.api.url=http://${public.ip}:${server.port}/api

proxy.auth.routes.api=oauth2

zuul.sensitiveHeaders=Cookie,Set-Cookie,Expires,X-Content-Type-Options,X-Xss-Protection,Cookie,X-Frame-Options,Cache-control,Pragma

zuul.host.socket-timeout-millis=300000

zuul.host.connect-timeout-millis=5000

シングルサインオン設定パラメーターTalendによる指示がない限り、これらの値は変更しないで下さい。

logging.file=data/logs/app.log

ログファイル保存フォルダーのパス

logging.pattern.level=%5p [user %X{user}]

ログファイルのレベル出力パターン

logging.pattern.file=%d{yyyy-MM-dd HH:mm:ss.SSS} %5p --- [%t] %-40.40logger{39} : %m%n%wEx

ログパターンの設定を有効にするには、このパラメーターのコメントを解除します

logging.level=WARN

logging.level.org.talend.dataprep=INFO

logging.level.org.talend.dataprep.api=INFO

logging.level.org.talend.dataprep.dataset=INFO

logging.level.org.talend.dataprep.preparation=INFO

logging.level.org.talend.dataprep.transformation=INFO

logging.level.org.talend.dataprep.fullrun=INFO

logging.level.org.talend.dataprep.api.dataquality=INFO

logging.level.org.talend.dataprep.configuration=INFO

Talend Data Preparationロガーパラメーター

logging.pattern.console=%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(%5p) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n%wEx

コンソールロギングパターンの設定を有効にするには、このパラメーターのコメントを解除します

spring.output.ansi.enabled=always

コンソール出力でANSI配色を設定するには、このパラメーターのコメントを解除します

logging.config=logback.xml

Talend Data Preparationロギングとカスタムログバックファイルを設定するには、このパラメーターのコメントを解除します。

ログバックファイルへのパスを入力します

dataprep.locale

アプリケーションインターフェイス言語の設定。

apps.tds.url

Talend Data PreparationおよびTalend Data Stewardshipの両方がインストールされている場合、2つのアプリケーションを切り替えることができます。URLをTalend Data Stewardshipインスタンスに設定して、アクセスできるようにします。