コンポーネント固有設定 - 7.0

tKafkaInputジョブスクリプトプロパティ

EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
EnrichPlatform
Talend CommandLine
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > ファイルコンポーネント > Parquet
データガバナンス > サードパーティーシステム > ファイルコンポーネント > Parquet
データクオリティとプレパレーション > サードパーティーシステム > ファイルコンポーネント > Parquet

コンポーネントのsetSettings {}関数で定義できるジョブスクリプトの関数とパラメーターは、以下の表のとおりです。

関数/パラメーター 説明 必須?

OUTPUT_TYPE

次のコンポーネントに送信するデータのデータ型を指定します。

  • STRING(デフォルト)
  • BYTES

tKafkaInputは自動的に、Kafka byte[]メッセージを、ジョブが処理できる文字列に変換できるので、通常は、STRING値にすることが推奨されます。ただし、Protobufなど、tKafkaInputで認識できないKafkaメッセージ形式の場合は、BYTESを使用し、次にtJavaRowなどのカスタムコードコンポーネントを使用して、同じジョブの他のコンポーネントがこれらのメッセージを処理できるようにメッセージを文字列にデシリアライズすることができます。

いいえ

USE_EXISTING_CONNECTION

定義済みの接続情報を再利用する場合は、このパラメーターをtrueに設定して、CONNECTIONパラメーターを使って、関連接続コンポーネント名を指定します。

いいえ

KAFKA_VERSION

使用するKafkaクラスターのバージョンを指定します。使用できる値は次のとおりです。

  • KAFKA_0_10_0_1
  • KAFKA_0_9_0_1
  • KAFKA_0_8_2_0

はい

ZOOKEEPER_CONNECT

"\"zk1:port1,zk2:port2,...\""の形式で使用されるKafkaクラスターのZookeeperサービスのアドレスを指定します。このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

はい

BROKER_LIST

"\"host1:port1,host2:port2,...\""の形式で、使用されるKafkaクラスターのブローカーノードのアドレスを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

はい

KAFKA_TOPIC

このコンポーネントがメッセージフィードを受け取るトピック名を指定します。

はい

GROUP_ID

現在のコンシューマーが属すコンシューマーグループの名前を指定します。

この時点でこのコンシューマーグループが存在していない場合、実行時に作成されます。

はい

RESET_OFFSET

あるコンシューマーグループを、メッセージを全く消費していない新しいグループとして処理できるように、このコンシューマーグループ用に保存されているオフセットをクリアする場合は、このパラメーターをtrueに設定します。

デフォルトでは、このパラメーターはfalseに設定されます。

いいえ

AUTO_OFFSET_RESET

消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。

  • SMALLEST
  • LARGEST (デフォルト)

このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

いいえ

AUTO_OFFSET_RESET_NEW

消費されるトピックのメッセージの開始ポイントを指定します。使用できる値は次のとおりです。

  • EARLIEST
  • LATEST(デフォルト)

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

KAFKA_OFFSET_STORAGE

消費済みメッセージのオフセットをコミットする先のシステムを指定します。使用できる値は次のとおりです。

  • ZOOKEEPER(デフォルト)
  • KAFKA

このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

いいえ

KAFKA_DUAL_COMMIT_CHECK

メッセージをZookeeperとKafkaの両方にコミットする場合は、このパラメーターをtrueに設定します。falseに設定すると、コミット先はKafkaのみになります。

デフォルトでは、このパラメーターはtrueに設定されます。

このパラメーターは、オフセットストレージシステムがKafkaである場合のみ有効です。

いいえ

AUTO_COMMIT_OFFSET

このパラメーターをtrueに設定して、KAFKA_COMMIT_INTERVALパラメーターを使って、tKafkaInputが定期的に消費状態を自動保存する間隔を指定できます。

デフォルトでは、このパラメーターはtrueに設定され、デフォルトの間隔は5000ミリ秒です。

オフセットは、各間隔の最後にコミットされます。ジョブがこの時間間隔の途中で停止した場合、この間隔内におけるメッセージの消費状態はコミットされません。

いいえ

USE_BATCH_MAX_DURATION

このパラメーターをtrueに設定して、BATCH_MAX_DURATIONパラメーターを使って、その最後にtKafkaInputの実行が停止する期間(ミリ秒)を指定します。

デフォルトでは、このパラメーターはfalseに設定され、デフォルト期間は600000ミリ秒です。

いいえ

USE_BATCH_MAX_SIZE

このパラメーターをtrueに設定して、BATCH_MAX_SIZEパラメーターを使って、実行が自動的に停止する前にtKafkaInputが受信するメッセージの最大数を指定できます。

デフォルトでは、このパラメーターはfalseに設定され、メッセージの最大数は5000です。

いいえ

USE_BATCH_MESSAGE_TIMEOUT

このパラメーターをtrueに設定して、BATCH_MESSAGE_TIMEOUTパラメーターを使って、tKafkaInputが、実行停止前に新しいメッセージを待機する時間(ミリ秒)を指定できます。

デフォルトでは、このパラメーターはfalseに設定され、デフォルトのタイムアウト時間は10000ミリ秒です。

いいえ

USE_HTTPS

SSLまたはTLSの暗号化を有効にする場合はこのパラメーターをtrueに設定し、HTTPS_SETTINGパラメーターを使って、暗号化情報を定義するのに使用するtSetKeystoreコンポーネントを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

USE_KRB

使用するKafkaクラスターをKerberosで保護する場合、このパラメーターをtrueに設定し、次のパラメーターを使って関連セキュリティ情報を定義します。

  • JAAS_CONF: ジョブがKafkaのクライアントとして認証に使用するJAAS構成ファイルのパスを指定します。

  • KRB_SERVICE_NAME: ブローカークラスターの作成時にブローカーに対して定義したKerberosプリンシパルの主要パーツを指定します。

    たとえば、プリンシパルkafka/kafka1.hostname.com@EXAMPLE.COMの場合、このパラメーター値はkafkaになります。

  • SET_KINIT_PATH: Kerberosは、デフォルトパスを使用してkinitプログラムを実行します。このパスを変更している場合は、このパラメーターをtrueに設定し、KINIT_PATHパラメーターを使ってカスタムアクセスパスを指定します。

  • SET_KRB5_CONF: Kerberosは、Kerberos 5の場合であれば、構成ファイルkrb5.conf (Windowsの場合はkrb5.ini)にデフォルトパスを使用してアクセスします。 このパスを変更している場合は、このパラメーターをtrueに設定し、KRB5_CONFパラメーターを使って、Kerberos構成ファイルのカスタムアクセスパスを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

KAFKA_CONSUMER_ PROPERTIES {}

Kafkaコンシューマーのカスタム構成を使用する必要がある場合、この関数に、次のパラメーターセットを1つ以上含めて、カスタマイズするプロパティを指定します。カスタマイズされたプロパティは、実行時、Studioによって使用される対応するプロパティを上書きします。

  • PROPERTY: プロパティの名前を入力します。
  • VALUE: プロパティの新しい値を入力します。

いいえ

KAFKA_CONSUMER_TIMEOUT

メッセージを消費できない場合に、その最後にタイムアウト例外が返される期間を指定します。

デフォルト値-1は、タイムアウトが発生しないことを意味します。

いいえ

SAVE_OFFSET

このパラメーターをtrueに設定すると、次のコンポーネントに、消費済みメッセージのオフセットが出力されます。

このパラメーターを選択すると、offsetという名前の読み取り専用カラムがスキーマに追加されます。

いいえ

CUSTOM_ENCODING

保存データの処理時のエンコーディングエラーに備えて、このパラメーターをtrueに設定し、次のパラメーターを使って、正しいエンコーディングを指定できます。

  • ENCODING
  • ENCODING:ENCODING_TYPE

いいえ

TSTATCATCHER_STATS

各コンポーネントレベルおよびジョブレベルで処理メタデータを収集する場合、このパラメーターをtrueに設定します。

デフォルトでは、このパラメーターはfalseに設定されます。

いいえ

LABEL

このパラメーターを使って、コンポーネントのテキストラベルを指定します。

いいえ