エンジンでのログローテーションの有効化と設定 - Cloud

Talend Remote Engine Gen2クイックスタートガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
インストールとアップグレード
デプロイメント > デプロイ中 > パイプラインの実行
EnrichPlatform
Talend Management Console
Talend Pipeline Designer

Remote Engine Gen2で実行されるパイプラインに関連するログは、ログのローテーションがデフォルトで無効になっているLivyコンテナ/tmp/livy/jobs内に書き込まれます。

[Parameters] (パラメーター) 説明
LIVY_JOB_LOG_PURGE_ENABLE trueまたはfalse false (デフォルト値): ログのローテーションが無効になっています。

true: ログローテーションを有効にします

LIVY_JOB_LOG_RETAIN_DAYS 整数。デフォルト値は30です ログのローテーションが有効になっている場合、XX(日)より古いログは削除されます。
LIVY_JOB_LOG_RETAIN_DISK 整数。デフォルト値は1048576です ログのローテーションが有効になっていて、ログフォルダーで使用されているディスク領域の合計がXX(バイト)より大きい場合、既存のすべてのログが削除されます。

手順

  1. Remote Engine Gen2インストールディレクトリーに移動します。
  2. エンジンの始動に使用するdocker-compose.ymlファイルを編集します。
  3. livyという名前のサービスを検索し、適切なパラメータと値を追加します。

    例え

    10GBのクリーンなトリガーを使用して、ログのローテーションを有効にし、3か月以上経過したログを削除するには:
    livy:
    	...
    	environment:
    		...
    		LIVY_JOB_LOG_PURGE_ENABLE: "true"
    		LIVY_JOB_LOG_RETAIN_DAYS: 90
    		LIVY_JOB_LOG_RETAIN_DISK: 10485760
  4. このコマンドを実行してLivyを再起動します:
    docker-compose up -d livy