Apache Spark StreamingのtKafkaCommitプロパティ - Cloud - 8.0

Kafka

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > メッセージングコンポーネント > Kafka
データガバナンス > サードパーティーシステム > メッセージングコンポーネント > Kafka
データクオリティとプレパレーション > サードパーティーシステム > メッセージングコンポーネント > Kafka

このプロパティはSpark Streamingジョブフレームワークで実行されているtKafkaCommitを設定するために使います。

Spark Streaming tKafkaCommitコンポーネントは、メッセージングファミリーに属しています。

このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。

基本設定

[Commit offsets from] (次からオフセットをコミット:)

消費されたメッセージがコミットされるtKafkaInputコンポーネントを選択します。

使用方法

[Usage rule] (使用ルール)

tKafkaCommitを使用するには、tKafkaInputコンポーネントの[Basic settings] (基本設定)ビューで、[Auto-commit offests] (自動コミットオフセット)チェックボックスをオフにする必要があります。

このコンポーネントは、ローカルSparkモードのSpark v2.0以降でサポートされています。通常、オフセットのバッチをコミットするためにスタンドアロンで使用されます。

このコンポーネントは、所属するSpark Streamingコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。