Apache Spark Streamingジョブ用にSparkストリームを設定 - 7.3

Kafka

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > メッセージングコンポーネント > Kafka
データガバナンス > サードパーティーシステム > メッセージングコンポーネント > Kafka
データクオリティとプレパレーション > サードパーティーシステム > メッセージングコンポーネント > Kafka
Sparkジョブがどのくらいの頻度でマイクロバッチを作成し、処理するのかを定義します。

手順

  1. [Batch size] (バッチサイズ)フィールドで、ジョブがソースデータを検証して変更を特定し、新しいマイクロバッチを処理するまでの間隔を入力します。
  2. 必要な場合は、[Define a streaming timeout] (ストリーミングタイムアウトを設定)チェックボックスをオンにし、表示されたフィールドに、ストリーミングジョブが自動的に実行を停止するまでの期間を入力します。