[Component-specific settings] (コンポーネント固有設定) (tKafkaInput用) - Cloud - 7.3

Talendジョブスクリプトリファレンスガイド

Version
Cloud
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend CommandLine
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン
Last publication date
2023-09-13

コンポーネントのsetSettings {}関数で定義できるジョブスクリプトの関数とパラメーターは、以下の表のとおりです。

関数/パラメーター 説明 必須?

OUTPUT_TYPE

次のコンポーネントに送信するデータのデータ型を指定します。

  • STRING(デフォルト)
  • BYTES

tKafkaInputは自動的に、Kafka byte[]メッセージを、ジョブが処理できる文字列に変換できるので、通常は、STRING値にすることが推奨されます。ただし、Protobufなど、tKafkaInputで認識できないKafkaメッセージ形式の場合は、BYTESを使用し、次にtJavaRowなどのカスタムコードコンポーネントを使用して、同じジョブの他のコンポーネントがこれらのメッセージを処理できるようにメッセージを文字列にデシリアライズできます。

いいえ

USE_EXISTING_CONNECTION

定義済みの接続情報を再利用する場合は、このパラメーターをtrueに設定して、CONNECTIONパラメーターを使って、関連接続コンポーネント名を指定します。

いいえ

KAFKA_VERSION

使用するKafkaクラスターのバージョンを指定します。使用できる値は次のとおりです。

  • KAFKA_0_10_0_1
  • KAFKA_0_9_0_1
  • KAFKA_0_8_2_0

はい

ZOOKEEPER_CONNECT

"\"zk1: port1、zk2: port2、...\""の形式で使用されるKafkaクラスターのZookeeperサービスのアドレスを指定します。このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

はい

BROKER_LIST

"\"host1:port1、host2:port2、...\""の形式で、使用されるKafkaクラスターのブローカーノードのアドレスを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

はい

KAFKA_TOPIC

このコンポーネントがメッセージフィードを受け取るトピック名を指定します。

はい

GROUP_ID

現在のコンシューマーが属すコンシューマーグループの名前を指定します。

この時点でこのコンシューマーグループが存在していない場合、実行時に作成されます。

はい

RESET_OFFSET

あるコンシューマーグループを、メッセージを全く消費していない新しいグループとして処理できるように、このコンシューマーグループ用に保存されているオフセットをクリアする場合は、このパラメーターをtrueに設定します。

デフォルトでは、このパラメーターはfalseに設定されます。

いいえ

AUTO_OFFSET_RESET

消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。

  • SMALLEST
  • LARGEST (デフォルト)

このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

いいえ

AUTO_OFFSET_RESET_NEW

消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。

  • EARLIEST
  • LATEST(デフォルト)

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

KAFKA_OFFSET_STORAGE

消費済みメッセージのオフセットをコミットする先のシステムを指定します。使用できる値は次のとおりです。

  • ZOOKEEPER(デフォルト)
  • KAFKA

このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

いいえ

KAFKA_DUAL_COMMIT_CHECK

メッセージをZookeeperとKafkaの両方にコミットする場合は、このパラメーターをtrueに設定します。falseに設定すると、コミット先はKafkaのみになります。

デフォルトでは、このパラメーターはtrueに設定されます。

このパラメーターは、オフセットストレージシステムがKafkaである場合のみ有効です。

いいえ

AUTO_COMMIT_OFFSET

このパラメーターをtrueに設定して、KAFKA_COMMIT_INTERVALパラメーターを使って、tKafkaInputが定期的に消費状態を自動保存する間隔を指定できます。

デフォルトでは、このパラメーターはtrueに設定され、デフォルトの間隔は5000ミリ秒です。

オフセットは、各間隔の最後にコミットされます。ジョブがこの時間間隔の途中で停止した場合、この間隔内におけるメッセージの消費状態はコミットされません。

いいえ

USE_BATCH_MAX_DURATION

このパラメーターをtrueに設定して、BATCH_MAX_DURATIONパラメーターを使って、その最後にtKafkaInputの実行が停止する期間(ミリ秒)を指定します。

デフォルトでは、このパラメーターはfalseに設定され、デフォルト期間は600000ミリ秒です。

いいえ

USE_BATCH_MAX_SIZE

このパラメーターをtrueに設定して、BATCH_MAX_SIZEパラメーターを使って、実行が自動的に停止する前にtKafkaInputが受信するメッセージの最大数を指定できます。

デフォルトでは、このパラメーターはfalseに設定され、メッセージの最大数は5000です。

いいえ

USE_BATCH_MESSAGE_TIMEOUT

このパラメーターをtrueに設定して、BATCH_MESSAGE_TIMEOUTパラメーターを使って、tKafkaInputが、実行停止前に新しいメッセージを待機する時間(ミリ秒)を指定できます。

デフォルトでは、このパラメーターはfalseに設定され、デフォルトのタイムアウト時間は10000ミリ秒です。

いいえ

USE_HTTPS

SSLまたはTLSの暗号化を有効にする場合はこのパラメーターをtrueに設定し、HTTPS_SETTINGパラメーターを使って、暗号化情報を定義するのに使用するtSetKeystoreコンポーネントを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

USE_KRB

使用するKafkaクラスターをKerberosで保護する場合、このパラメーターをtrueに設定し、次のパラメーターを使って関連セキュリティ情報を定義します。

  • JAAS_CONF: ジョブがKafkaのクライアントとして認証に使用するJAAS設定ファイルのパスを指定します。

  • KRB_SERVICE_NAME: ブローカークラスターの作成時にブローカーに対して定義したKerberosプリンシパルの主要パーツを指定します。

    たとえば、プリンシパルkafka/kafka1.hostname.com@EXAMPLE.COMの場合、このパラメーター値はkafkaになります。

  • SET_KINIT_PATH: Kerberosは、デフォルトパスを使用してkinitプログラムを実行します。このパスを変更している場合は、このパラメーターをtrueに設定し、KINIT_PATHパラメーターを使ってカスタムアクセスパスを指定します。

  • SET_KRB5_CONF: Kerberosは、Kerberos 5の場合であれば、設定ファイルkrb5.conf (Windowsの場合はkrb5.ini)にデフォルトパスを使用してアクセスします。このパスを変更している場合は、このパラメーターをtrueに設定し、KRB5_CONFパラメーターを使って、Kerberos設定ファイルのカスタムアクセスパスを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

KAFKA_CONSUMER_ PROPERTIES {}

Kafkaコンシューマーのカスタム設定を使用する必要がある場合、この関数に、次のパラメーターセットを1つ以上含めて、カスタマイズするプロパティを指定します。カスタマイズされたプロパティは、ランタイムに、Studioによって使用される対応するプロパティを上書きします。

  • PROPERTY: プロパティの名前を入力します。
  • VALUE: プロパティの新しい値を入力します。

いいえ

KAFKA_CONSUMER_TIMEOUT

メッセージを消費できない場合に、その最後にタイムアウト例外が返される期間を指定します。

デフォルト値-1は、タイムアウトが発生しないことを意味します。

いいえ

SAVE_OFFSET

このパラメーターをtrueに設定すると、次のコンポーネントに、消費済みメッセージのオフセットが出力されます。

このパラメーターを選択すると、offsetという名前の読み取り専用カラムがスキーマに追加されます。

いいえ

CUSTOM_ENCODING

保存データの処理時のエンコーディングエラーに備えて、このパラメーターをtrueに設定し、次のパラメーターを使って、正しいエンコーディングを指定できます。

  • ENCODING
  • ENCODING:ENCODING_TYPE

いいえ

TSTATCATCHER_STATS

各コンポーネントレベルおよびジョブレベルで処理メタデータを収集する場合、このパラメーターをtrueに設定します。

デフォルトでは、このパラメーターはfalseに設定されます。

いいえ

LABEL

このパラメーターを使って、コンポーネントのテキストラベルを指定します。

いいえ