Apache Spark StreamingのtKafkaCommitプロパティ - 7.3

Kafka

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > メッセージングコンポーネント > Kafka
データガバナンス > サードパーティーシステム > メッセージングコンポーネント > Kafka
データクオリティとプレパレーション > サードパーティーシステム > メッセージングコンポーネント > Kafka

このプロパティはSpark Streamingジョブフレームワークで実行されているtKafkaCommitを設定するために使います。

Spark Streaming tKafkaCommitコンポーネントはメッセージングファミリーのコンポーネントです。

このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで使用できます。

基本設定

[Commit offsets from] (次からオフセットをコミット:)

消費されたメッセージがコミットされるtKafkaInputコンポーネントを選択します。

使用方法

使用ルール

tKafkaCommitを使用するには、tKafkaInputコンポーネントの[Basic settings] (基本設定)ビューで、[Auto-commit offests] (自動コミットオフセット)チェックボックスをオフにする必要があります。

このコンポーネントは、ローカルSparkモードのSpark v2.0以降でサポートされています。通常、オフセットのバッチをコミットするためにスタンドアロンで使用されます。

このコンポーネントは、所属するSpark Streamingコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。