Data APIの使用をカスタマイズ - Cloud

Talend Remote Engine Gen2クイックスタートガイド

Version
Cloud
Language
日本語
Product
Talend Cloud
Module
Talend Management Console
Talend Pipeline Designer
Content
インストールとアップグレード
デプロイメント > デプロイ中 > パイプラインの実行
Last publication date
2024-01-25

設定パラメーターをいくつか編集すれば、Data APIを作成したデータベースとRemote Engine Gen2の間でやり取りできるデータ量を用途に応じて絞り込むことができます。

Remote Engine Gen2インストールディレクトリーのdefault/.envファイルで設定可能なパラメーター
パラメーター [Description] (説明)
DATASET_API_NUMBER_CONNECTIONS_PER_DATABASE このパラメーターでは、Remote Engine Gen2とデータベースによって開かれる恒久的接続の数を制御できます。

接続数が多くなれば並行処理できるリクエストも多くなりますが、デフォルトに関係なく並列接続の最大数を設定し、データベースが自身を保護するようにすることもできます。

デフォルト値は5です。

DATASET_API_JDBC_FETCH_SIZE このパラメーターでは、データベースから送られてきて、Remote Engine Gen2が一定時間内に処理しなければならないレコードの数を制御できます。

低い値を設定すると、JVMのメモリフットプリントは減少しますが、データベースとのやり取りが増えます。

高い値を設定するとデータベースとのやり取りが少なくなります。

この値を0にすると、この機能は無効となります。データベースへのリクエストごとに、1回の操作で全レコードが取得されます。

デフォルト値は0です。

DATASET_API_ODATA_MAX_SERVER_PAGE_SIZE このパラメータによって、サーバー側でページ番号が付けられ、ODataクライアントに書き込まれるレコードの量を制御できます。

ODataクライアントは通常、連続する数ページを自動的に消費できます。

低い値を設定すると、サーバーは一度に数レコードしか処理しないため、メモリ消費量が少なくなります。

高い値を設定すると、サーバーは一度に多くのレコードを処理します。

このパラメーターを0に設定すると、サーバー側でのページネーションは行われません。

デフォルト値は100です。