Talend Data Preparationの設定パラメーターのリスト - 7.3

Talend Data Preparationユーザーガイド
Version
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Data Preparation
Content
データクオリティとプレパレーション > データクレンジング
Last publication date
2023-11-29

application.propertiesファイルのパラメーターはすべて、Talend Data Preparationのインストール中にTalend Installerによってデフォルト設定されます。ただし、インストール環境に応じてカスタマイズすることもできます。

Talend Data Preparationのインストールと設定の詳細は、Talendインストールガイドをご覧ください。

パラメーター 説明
dataprep.locale アプリケーションインターフェイス言語の設定。
public.ip=<local machine ip>

server.port=9999

async-runtime.contextPath=/api

Talend Data PreparationとサーバーポートをホストするサーバーのIP
server.compression.enabled=true

server.compression.mime-types=text/plain,text/html,text/css,application/json,application/x-javascript,text/xml,application/xml,application/xml+rss,text/javascript,application/javascript,text/x-js

レスポンス圧縮のパラメーター
iam.ip=<local machine ip>

iam.uri=http://${iam.ip}:9080

iam.api.uri=${iam.uri}

Talend Identity and Access ManagementをホストしSSOで使用されているIPとサーバーポート
spring.mvc.async.request-timeout=600000 非同期実行のタイムアウト設定。Talendによる指示がない限り、この値は変更しないでください。
dataprep.event.listener=spring イベント伝播のパラメーター。SpringとKafkaのいずれかです。
live.dataset.location=tac

live.dataset.url=http://<local machine ip>:8080/org.talend.administrator/

ライブデータセット機能に関連するパラメーター。実行タスクをデータセットソースとしてリスト表示するために使用されるTalend Administration CenterインスタンスへのURL。
live.dataset.task-prefix=dataprep_ Talend Administration CenterタスクをTalend Data Preparationインターフェイスに表示し、ライブデータセットを作成するために使用するプレフィックス。Talend Jobオプションでデータをインポートする際、このプレフィックスが付いたタスクだけが表示されます。
mongodb.host=<local machine ip>

mongodb.port=27017

mongodb.database=dataprep

mongodb.user=dataprep-user

mongodb.password=<randomly generated password>

multi-tenancy.mongodb.active=true

MongoDB設定
mongodb.uri= より複雑なユースケースの場合は、URIを直接指定することでmongo.*の設定を上書きできます。
mongodb.ssl=true

mongodb.ssl.trust-store=/path/to/trust-store.jks

mongodb.ssl.trust-store-password=trust-store-password

MongoDBでセキュアな接続を設定するには、これらのパラメーターのコメントを解除します
tls.key-store=/path/to/key-store.jks

tls.key-store-password=key-store_password

tls.trust-store=/path/to/trust-store.jks

tls.trust-store-password=trust-store_password

tls.verify-hostname=false

Talend Data Preparation向けにセキュアなhttps接続を設定する場合は、これらのパラメーターのコメントを解除します
security.provider=oauth2

security.token.secret=encrypted password

認証パラメーター
spring.profiles.active=server-standalone

spring.mvc.favicon.enabled=false

spring.http.multipart.maxFileSize=200000000

spring.http.multipart.maxRequestSize=200000000

Springパラメーター。Talendによる指示がない限り、これらの値は変更しないでください。
service.documentation.name=Talend Data Preparation - API

service.documentation.description=This service exposes high level services that may involve services orchestration.

service.paths=api

springfox.documentation.swagger.v2.host=${public.ip}:${server.port}${gateway-api.service.path} 		Swaggerへのアクセスを有効にするには、これらのパラメーターを設定します。
dataset.records.limit=10000

dataset.local.file.size.limit=2000000000

dataset.imports=local,job,tcomp-JDBCDatastore,tcomp-SimpleFileIoDatastore,tcomp-SalesforceDatastore,tcomp-S3Datastore

dataset.list.limit=10

データセットのサイズ制限と表示のパラメーター
dataset.service.url=http://${public.ip}:${server.port}

transformation.service.url=http://${public.ip}:${server.port}

preparation.service.url=http://${public.ip}:${server.port}

fullrun.service.url=http://${public.ip}:${server.port}

async_store.service.url=http://${public.ip}:${server.port}

gateway.service.url=http://${public.ip}:${server.port}

データセットサービスのアドレス
dataset.metadata.store=mongodb

preparation.store=mongodb

user.data.store=mongodb

folder.store=mongodb

upgrade.store=mongodb

ファイル保存のサービス設定パラメーターTalendによる指示がない限り、これらの値は変更しないでください。
content-service.store=local

content-service.store.local.path=data/

content-service.journalized=true

キャッシュと内容の保存の場所
preparation.store.remove.hours=24 プレパレーションのサービス設定Talendによる指示がない限り、これらの値は変更しないでください。
lock.preparation.store=mongodb

lock.preparation.delay=600

共有プレパレーションで作業をしている時のロック期間のパラメーター (秒単位)
luceneIndexStrategy=singleton Luceneのインデックス設定。Talendによる指示がない限り、これらの値は変更しないでください。
execution.store=mongodb

async.operation.concurrent.run=5

非同期の完全実行とサンプリング操作、つまり、保存と許可された同時実行の数のパラメーター。Talendによる指示がない限り、mongodbの値は変更しないでください。非同期操作については、パラメーターの値より多くの完全実行が並列実行されている場合、操作はキューに入れられ、スロットが空いたら処理が再開されます。このパラメーターの値は、マシンの性能に応じて上げることができます。
tcomp.server.url=http://<local machine ip>:8989/tcomp セルフサービスコネクターの設定に使われる、Components CatalogをホストしているサーバーのURL
tcomp-SimpleFileIoDatastore.kerberosPrincipal.default=${streams.kerberos.principal}

tcomp-SimpleFileIoDatastore.kerberosKeytab.default=${streams.kerberos.keytab_path}

tcomp-SimpleFileIoDataset.path.default=${streams.hdfs.server.url}

Components Catalog設定プロパティ。HDFSからデータセットをインポートする場合のKerberosの設定を自動的に設定できます。
tcomp-SimpleFileIoDatastore.test_connection.visible=false Talendコンポーネントのフォームからテスト接続ステップを削除するパラメーター。Talendによる指示がない限り、このパラメーターは変更しないでください。
async.operation.watcher.ttl=3600000 完全実行の最長実行時間(ミリ単位)
receivers.timeout=3600000 ライブデータセット入力の最長待機時間
dataquality.indexes.file.location=data/data-quality/org.talend.dataquality.semantic データクオリティのインデックスの保存場所。この値を変更すると、Talend Data Preparationによって起動時にインデックスが自動的に再作成されますが、デフォルトのインデックスのみ再作成されます。カスタムセマンティックタイプを取得するには、旧ディレクトリーの内容をコピーして新しい場所に貼り付ける必要があります。
dataquality.semantic.list.enable=true

dataquality.server.url=http://<local machine ip>:8187/

Talend Data Preparationインターフェイスでセマンティックタイプエディションを有効化するパラメーター、およびTalend Dictionary ServiceをホストするサーバーのURL
tsd.consumer.enabled=true

tsd.consumer.semantic-topic-content=raw

dataquality.event.store=mongodb

spring.cloud.stream.kafka.binder.brokers=tal-rd44.talend.lan

データクオリティ更新パラメーター
streams.enable=false

streams.flow.runner.url=http://<local machine ip>:<Big data preparation port>/

streams.kerberos.principal=<principal>

streams.kerberos.keytab_path=<keytab path>

streams.hdfs.server.url=hdfs://<host>:<port>/<filepath>

Streams Runnerの設定パラメーター

Talend Data PreparationとBig Dataを設定するためのこれらのパラメーターを有効にします
security.basic.enabled=false

security.oidc.client.expectedIssuer=http://tal-rd44.talend.lan:9080/oidc

iam.license.url=http://${iam.ip}:9080/oidc/api

security.oidc.client.keyUri=${iam.uri}/oidc/jwk/keys

security.oauth2.client.clientId=64xIVPxviKWSog

security.oauth2.client.clientSecret=9C0zCjp8yS-eZBqEi-KhBQ

security.oidc.client.claimIssueAtTolerance=120

# security.oauth2.resource.serviceId=${PREFIX:}resource

security.oauth2.resource.tokenInfoUri=${iam.uri}/oidc/oauth2/introspect

security.oauth2.resource.uri=/v2/api-docs,/api/**,/folders/**,/datasets/**,/dataset/**,/preparations/**,/transform/**,/version/**,/acl/**,/apply/**,/export,/export/**,/aggregate,/sampling/**,/receivers/**,/error,/docs,/datastores/**,/preparation/**,/actions/**,/suggest/**,/dictionary/**

security.oauth2.resource.filter-order=3

security.scim.enabled=true

security.oauth2.client.access-token-uri=${iam.uri}/oidc/oauth2/token

security.oauth2.client.scope=openid refreshToken

security.oauth2.client.user-authorization-uri=${iam.uri}/oidc/idp/authorize

security.oauth2.sso.login-use-forward=false

server.session.cookie.name=TDPSESSION

spring.session.store-type=hash_map

security.sessions=stateless

security.user.password=none

シングルサインオンのセキュリティ設定パラメーター
security.oidc.client.endSessionEndpoint=${iam.uri}/oidc/idp/logout

security.oidc.client.logoutSuccessUrl=http://${public.ip}:${server.port}

security.oauth2.logout.uri=/signOut

security.oauth2.sso.login-path=/signIn

iam.scim.url=http://${iam.ip}:9080/scim/

security.oauth2.resource.tokenInfoUriCache.enabled=true

tenant.account.cache.enabled=true

Talend Data Preparation APIおよびゲートウェイのシングルサインオンプロパティ
gateway-api.service.url=http://${public.ip}:${server.port}

gateway-api.service.path=/gateway

zuul.servletPath=/gateway/upload

zuul.routes.dq.path=/gateway/dq/semanticservice/**

zuul.routes.dq.sensitiveHeaders=${zuul.sensitiveHeaders}

zuul.routes.dq.url=${dataquality.server.url}/

proxy.auth.routes.dq=oauth2

zuul.routes.api.path=/gateway/api/**

zuul.routes.api.sensitiveHeaders=${zuul.sensitiveHeaders}

zuul.routes.api.url=http://${public.ip}:${server.port}/api

proxy.auth.routes.api=oauth2

zuul.sensitiveHeaders=Cookie,Set-Cookie,Expires,X-Content-Type-Options,X-Xss-Protection,Cookie,X-Frame-Options,Cache-control,Pragma

zuul.host.socket-timeout-millis=300000

zuul.host.connect-timeout-millis=5000

シングルサインオン設定パラメーターTalendによる指示がない限り、これらの値は変更しないでください。
logging.file=data/logs/app.log ログファイル保存フォルダーのパス
logging.pattern.level=%5p [user %X{user}] ログファイルのレベル出力パターン
logging.pattern.file=%d{yyyy-MM-dd HH:mm:ss.SSS} %5p --- [%t] %-40.40logger{39} : %m%n%wEx ログパターンの設定を有効にするには、このパラメーターのコメントを解除します
logging.level=WARN

logging.level.org.talend.dataprep=INFO

logging.level.org.talend.dataprep.api=INFO

logging.level.org.talend.dataprep.dataset=INFO

logging.level.org.talend.dataprep.preparation=INFO

logging.level.org.talend.dataprep.transformation=INFO

logging.level.org.talend.dataprep.fullrun=INFO

logging.level.org.talend.dataprep.api.dataquality=INFO

logging.level.org.talend.dataprep.configuration=INFO

logging.level.org.talend.dataquality.semantic=INFO

Talend Data Preparationロガーパラメーター
logging.pattern.console=%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(%5p) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n%wEx コンソールロギングパターンの設定を有効にするには、このパラメーターのコメントを解除します
spring.output.ansi.enabled=always コンソール出力でANSI配色を設定するには、このパラメーターのコメントを解除します
logging.config=logback.xml Talend Data Preparationロギングとカスタムログバックファイルを設定するには、このパラメーターのコメントを解除します。

ログバックファイルへのパスを入力します
audit.log.enabled=true

talend.logging.audit.config=config/audit.properties

監査ログのパラメーター
default.text.enclosure="

default.text.escape="

default.text.encoding=UTF-8

デフォルトのエンクロージャーの設定可能値、CSVエクスポートのエスケープ文字、デフォルトのテキストエンコーディング。デフォルトの区切りはセミコロン ";"、タブ "\t"、スペース " "、コンマ ","、パイプ "|"のいずれかです。
default.import.text.enclosure="

default.import.text.escape=

CSVインポートのデフォルトのエンクロージャーとエスケープ文字の設定可能値。
app.products[0].id=TDS

app.products[0].name=Data Stewardship

app.products[0].url=<place_your_tds_url_here>

Talend Data PreparationおよびTalend Data Stewardshipの両方がインストールされている場合、2つのアプリケーションを切り替えることができます。URLをTalend Data Stewardshipインスタンスに設定して、アクセスできるようにします。