Apache Spark StreamingのtKafkaCommitプロパティ
これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtKafkaCommitを設定するために使われます。
Spark StreamingのtKafkaCommitコンポーネントは、メッセージングファミリーに属しています。
このコンポーネントはTalend Real-Time Big Data PlatformとTalend Data Fabricで利用できます。
基本設定
|
[Commit offsets from] (次からオフセットをコミット:) |
消費されたメッセージがコミットされるtKafkaInputコンポーネントを選択します。 |
使用方法
|
使用ルール |
tKafkaCommitを使用するには、tKafkaInputコンポーネントの[Basic settings] (基本設定)ビューで、[Auto-commit offests] (自動コミットオフセット)チェックボックスをオフにする必要があります。 このコンポーネントは、ローカルSparkモードのSpark v2.0以降でサポートされています。通常、オフセットのバッチをコミットするためにスタンドアロンで使用されます。 このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。 |
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。