tKafkaOutputの標準プロパティ - 7.3

Kafka

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > メッセージングコンポーネント > Kafka
データガバナンス > サードパーティーシステム > メッセージングコンポーネント > Kafka
データクオリティとプレパレーション > サードパーティーシステム > メッセージングコンポーネント > Kafka

このプロパティはStandardジョブフレームワークで実行されているtKafkaOutputを設定するために使います。

Standard tKafkaOutputコンポーネントはインターネットファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Schema] (スキーマ)[Edit schema] (スキーマの編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

このコンポーネントのスキーマは読み取り専用です。公開するメッセージを保管します。

[Use an existing connection] (既存の接続を使用する)

定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)で該当する接続コンポーネントをクリックします。

Version (バージョン)

使うKafkaクラスターのバージョンを選択します。

ブローカーリスト

使用するKafkaクラスターのブローカーノードのアドレスを入力します。

このアドレスの形式はhostname:portです。この情報は、このKafkaクラスター内のホスティングノードの名前とポートです。

複数のアドレスを指定する必要がある場合は、コンマ(,)で区切ります。

トピック名

メッセージを公開するトピックの名前を入力します。このトピックは既に存在している必要があります。

[Compress the data] (データを圧縮)

[Compress the data] (データの圧縮)チェックボックスをオンにすると、出力データが圧縮されます。

SSL/TLSの使用

SSLまたはTLS暗号化接続を有効にする場合は、このチェックボックスをオンにします。

次に、同じジョブ内のtSetKeystoreコンポーネントを使用して暗号化情報を指定する必要があります。

このチェックボックスはKafka 0.9.0.1以降で使えます。

Kerberos認証の使用

使用するKafkaクラスターをKerberosで保護する場合は、このチェックボックスをオンにして、定義する関連パラメーターを表示します。

  • JAAS configuration path (JAAS設定パス): パスを入力するか、Kafkaへのクライアントの認証を実行するジョブによって使われるJAAS設定ファイルを参照します。

    このJAASファイルには、kinitモードまたはkeytabモードのいずれかを使用して、クライアント(TalendによるKafka関連ジョブ)をKafkaブローカーノードに接続する方法が指定されています。JAASファイルは、これらのジョブが実行されるマシンに保管されている必要があります。

    Talend、Kerberos、またはKafkaはこのJAASファイルを提供していません。ユーザーの組織のセキュリティ戦略に応じて、「Configuring Kafka client」の説明に従ってJAASファイルを作成する必要があります。

  • Kafka brokers principal name (Kafkaブローカーのプリンシパル名): ブローカークラスターの作成時にブローカーのために定義したKerberosのプリンシパルの主要部分を入力します。たとえば、このプリンシパル「kafka/kafka1.hostname.com@EXAMPLE.COM」の場合、このフィールドへの入力に使用する主要部分はkafkaになります。

  • Set kinit command path (kinitコマンドパス): Kerberosは、そのkinit実行可能ファイルへのデフォルトのパスを使用します。このパスを変更した場合は、このチェックボックスをオンにしてカスタムアクセスパスを入力します。

    このチェックボックスをオフにする場合は、デフォルトのパスが使用されます。

  • Set Kerberos configuration path (Kerberos設定パス): Kerberosは、たとえば、Kerberos 5の設定ファイルであるkrb5.confファイル(または、Windowsの場合はkrb5.ini)へのデフォルトのパスを使用します。このパスを変更した場合は、このチェックボックスをオンにして、Kerberos設定ファイルへのカスタムアクセスパスを入力します。

    このチェックボックスをオフにすると、必要な設定情報を見つけるために、Kerberosによって所定の戦略が適用されます。この戦略の詳細は、「Kerberos requirements」の「Locating the krb5.conf Configuration File」を参照してください。

KafkaクラスターをKerberosで保護する方法は、『SASLを使用した認証』を参照してください。

このチェックボックスはKafka 0.9.0.1以降で使えます。

詳細設定

Kafkaのプロパティ

カスタマイズする必要がある新しいKafkaプロデューサープロパティをこのテーブルに追加します。

このテーブルで定義できる新しいプロデューサープロパティの詳細は、次のWebサイトにあるKafkaのドキュメンテーションで新しいプロデューサーの設定について説明しているセクションを参照してください: http://kafka.apache.org/documentation.html#newproducerconfigs

ヘッダーを設定する

送信するメッセージにヘッダーを追加するには、このチェックボックスをオンにします。

この機能は、Kafka 1.1.0以降で使えます。

[tStatCatcher Statistics] (tStatCatcher統計情報)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルで処理メタデータが収集されます。

使用方法

使用ルール

このコンポーネントは終了コンポーネントです。受信データをシリアライズされたバイト配列に変換するには、tJavaRowまたはtJavaコンポーネントが必要です。

次のサンプルは、この変換を実行するステートメントを作成する方法を示しています。

output_row.serializedValue = input_row.users.getBytes();

このコードでは、output_row変数はtKafkaOutputに出力されるデータのスキーマを、output_row.serializedValueはそのスキーマの単一の読み取り専用カラムを、input_row変数は受信データのスキーマを、input_row.usersgetBytes()メソッドによってバイト配列に変換されるusersという名前の入力カラムを表します。