[Component-specific settings] (コンポーネント固有設定) (tKafkaInputAvro用) - Cloud - 7.3

Talendジョブスクリプトリファレンスガイド

Version
Cloud
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend CommandLine
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン
Last publication date
2023-09-13

コンポーネントのsetSettings {}関数で定義できるジョブスクリプトの関数とパラメーターは、以下の表のとおりです。

関数/パラメーター 説明 必須?

USE_EXISTING_CONNECTION

定義済みの接続情報を再利用する場合は、このパラメーターをtrueに設定して、CONNECTIONパラメーターを使って、関連接続コンポーネント名を指定します。

いいえ

BROKER_LIST

"\"host1:port1、host2:port2、...\""の形式で、使用されるKafkaクラスターのブローカーノードのアドレスを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

はい

AUTO_OFFSET_RESET

消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。

  • SMALLEST
  • LARGEST (デフォルト)

いいえ

KAFKA_TOPIC

このコンポーネントがメッセージフィードを受け取るトピック名を指定します。

はい

GROUP_ID

現在のコンシューマーが属すコンシューマーグループの名前を指定します。

この時点でこのコンシューマーグループが存在していない場合、実行時に作成されます。

はい

KAFKA_MAX_RATE_PER_ PARTITION_CHECK

必要に応じて、このパラメーターをtrueに設定し、KAFKA_MAX_RATE_PER_PARTITIONパラメーターを使って、処理用にバッチ単位で送信される最大メッセージ数を指定できます。

デフォルトでは、このパラメーターはfalseに設定されます。この場合、1秒間で単一のバッチに全メッセージが読み込まれますが、大量のメッセージのためにジョブが応答しなくなる可能性があります。

いいえ

USE_HTTPS

SSLまたはTLSの暗号化を有効にする場合はこのパラメーターをtrueに設定し、HTTPS_SETTINGパラメーターを使って、暗号化情報を定義するのに使用するtSetKeystoreコンポーネントを指定します。

いいえ

USE_KRB

使用するKafkaクラスターをKerberosで保護する場合、このパラメーターをtrueに設定し、次のパラメーターを使って関連セキュリティ情報を定義します。

  • JAAS_CONF: ジョブがKafkaのクライアントとして認証に使用するJAAS設定ファイルのパスを指定します。

  • KRB_SERVICE_NAME: ブローカークラスターの作成時にブローカーに対して定義したKerberosプリンシパルの主要パーツを指定します。

    たとえば、プリンシパルkafka/kafka1.hostname.com@EXAMPLE.COMの場合、このパラメーター値はkafkaになります。

  • SET_KINIT_PATH: Kerberosは、デフォルトパスを使用してkinitプログラムを実行します。このパスを変更している場合は、このパラメーターをtrueに設定し、KINIT_PATHパラメーターを使ってカスタムアクセスパスを指定します。

  • SET_KRB5_CONF: Kerberosは、Kerberos 5の場合であれば、設定ファイルkrb5.conf (Windowsの場合はkrb5.ini)にデフォルトパスを使用してアクセスします。このパスを変更している場合は、このパラメーターをtrueに設定し、KRB5_CONFパラメーターを使って、Kerberos設定ファイルのカスタムアクセスパスを指定します。

いいえ

KAFKA_CONSUMER_ PROPERTIES {}

Kafkaコンシューマーのカスタム設定を使用する必要がある場合、この関数に、次のパラメーターセットを1つ以上含めて、カスタマイズするプロパティを指定します。カスタマイズされたプロパティは、ランタイムに、Studioによって使用される対応するプロパティを上書きします。

  • PROPERTY: プロパティの名前を入力します。
  • VALUE: プロパティの新しい値を入力します。

いいえ

USE_HIERARCHICAL

指定のバイナリ(階層を含む) Avroスキーマを、現在のコンポーネントのスキーマに定義されているフラットスキーマにマッピングするには、このパラメーターをtrueに設定します。処理するAvroメッセージがフラットである場合は、このメッセージをfalseに設定します(デフォルト)。このパラメーターをtrueに設定する場合、Avroスキーマファイルを指定して、マッピングを定義する必要があります。

  • SCHEMA_FILENAME: 処理するAvroデータのスキーマを定義するファイルを指定します。
  • MAPPING {}: この関数に、1つ以上のパラメーターセットを含めて、現在のコンポーネントのスキーマカラムと、処理する階層Avroメッセージに格納されるデータ間のマッピングを定義します。
    • SCHEMA_COLUMN: スキーマカラムを指定します。
    • NODE_PATH: Avroメッセージから読み込むデータを指すJSONパスを指定します。

いいえ

LABEL

このパラメーターを使って、コンポーネントのテキストラベルを指定します。

いいえ