Apache Spark Streamingジョブ用にSparkストリームを設定 - Cloud - 8.0

Kafka

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > メッセージングコンポーネント > Kafka
データガバナンス > サードパーティーシステム > メッセージングコンポーネント > Kafka
データクオリティとプレパレーション > サードパーティーシステム > メッセージングコンポーネント > Kafka
Sparkジョブがどのくらいの頻度でマイクロバッチを作成し、処理するのかを定義します。

手順

  1. [Batch size] (バッチサイズ)フィールドで、ジョブがソースデータを検証して変更を特定し、新しいマイクロバッチを処理するまでの間隔を入力します。
  2. 必要な場合は、[Define a streaming timeout] (ストリーミングタイムアウトを設定)チェックボックスをオンにし、表示されたフィールドに、ストリーミングジョブが自動的に実行を停止するまでの期間を入力します。