コンポーネント固有設定 - 7.0

tKafkaInputAvroジョブスクリプトプロパティ

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
ジョブデザインと開発 > サードパーティーシステム > ファイルコンポーネント > Parquet
データガバナンス > サードパーティーシステム > ファイルコンポーネント > Parquet
データクオリティとプレパレーション > サードパーティーシステム > ファイルコンポーネント > Parquet
EnrichPlatform
Talend CommandLine
Talend Studio

コンポーネントのsetSettings {}関数で定義できるジョブスクリプトの関数とパラメーターは、以下の表のとおりです。

関数/パラメーター 説明 必須?

USE_EXISTING_CONNECTION

定義済みの接続情報を再利用する場合は、このパラメーターをtrueに設定して、CONNECTIONパラメーターを使って、関連接続コンポーネント名を指定します。

いいえ

BROKER_LIST

"\"host1:port1,host2:port2,...\""の形式で、使用されるKafkaクラスターのブローカーノードのアドレスを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

はい

AUTO_OFFSET_RESET

消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。

  • SMALLEST
  • LARGEST (デフォルト)

いいえ

KAFKA_TOPIC

このコンポーネントがメッセージフィードを受け取るトピック名を指定します。

はい

GROUP_ID

現在のコンシューマーが属すコンシューマーグループの名前を指定します。

この時点でこのコンシューマーグループが存在していない場合、実行時に作成されます。

はい

KAFKA_MAX_RATE_PER_ PARTITION_CHECK

必要に応じて、このパラメーターをtrueに設定し、KAFKA_MAX_RATE_PER_PARTITIONパラメーターを使って、処理用にバッチ単位で送信される最大メッセージ数を指定できます。

デフォルトでは、このパラメーターはfalseに設定されます。この場合、1秒間で単一のバッチに全メッセージが読み込まれますが、大量のメッセージによりジョブがハングする可能性があります。

いいえ

USE_HTTPS

SSLまたはTLSの暗号化を有効にする場合はこのパラメーターをtrueに設定し、HTTPS_SETTINGパラメーターを使って、暗号化情報を定義するのに使用するtSetKeystoreコンポーネントを指定します。

いいえ

USE_KRB

使用するKafkaクラスターをKerberosで保護する場合、このパラメーターをtrueに設定し、次のパラメーターを使って関連セキュリティ情報を定義します。

  • JAAS_CONF: ジョブがKafkaのクライアントとして認証に使用するJAAS構成ファイルのパスを指定します。

  • KRB_SERVICE_NAME: ブローカークラスターの作成時にブローカーに対して定義したKerberosプリンシパルの主要パーツを指定します。

    たとえば、プリンシパルkafka/kafka1.hostname.com@EXAMPLE.COMの場合、このパラメーター値はkafkaになります。

  • SET_KINIT_PATH: Kerberosは、デフォルトパスを使用してkinitプログラムを実行します。このパスを変更している場合は、このパラメーターをtrueに設定し、KINIT_PATHパラメーターを使ってカスタムアクセスパスを指定します。

  • SET_KRB5_CONF: Kerberosは、Kerberos 5の場合であれば、構成ファイルkrb5.conf (Windowsの場合はkrb5.ini)にデフォルトパスを使用してアクセスします。 このパスを変更している場合は、このパラメーターをtrueに設定し、KRB5_CONFパラメーターを使って、Kerberos構成ファイルのカスタムアクセスパスを指定します。

いいえ

KAFKA_CONSUMER_ PROPERTIES {}

Kafkaコンシューマーのカスタム構成を使用する必要がある場合、この関数に、次のパラメーターセットを1つ以上含めて、カスタマイズするプロパティを指定します。カスタマイズされたプロパティは、実行時、Studioによって使用される対応するプロパティを上書きします。

  • PROPERTY: プロパティの名前を入力します。
  • VALUE: プロパティの新しい値を入力します。

いいえ

USE_HIERARCHICAL

指定のバイナリ(階層を含む) Avroスキーマを、現在のコンポーネントのスキーマに定義されているフラットスキーマにマップするには、このパラメーターをtrueに設定します。 処理するAvroメッセージがフラットである場合は、このメッセージをfalseに設定します(デフォルト)。 このパラメーターをtrueに設定する場合、Avroスキーマファイルを指定して、マッピングを定義する必要があります。

  • SCHEMA_FILENAME: 処理するAvroデータのスキーマを定義するファイルを指定します。
  • MAPPING {}: この関数に、1つ以上のパラメーターセットを含めて、現在のコンポーネントのスキーマカラムと、処理する階層Avroメッセージに格納されるデータ間のマッピングを定義します。
    • SCHEMA_COLUMN: スキーマカラムを指定します。
    • NODE_PATH: Avroメッセージから読み込むデータを指すJSONパスを指定します。

いいえ

LABEL

このパラメーターを使って、コンポーネントのテキストラベルを指定します。

いいえ