Apache Spark StreamingのtWindowプロパティ

[Window duration] (ウィンドウ継続時間)

適用するウィンドウ継続時間を定義する期間(ミリ秒)を引用符なしで入力します。

たとえば、Spark設定タブで定義されたバッチサイズが2秒の場合、ウィンドウ継続時間6秒は、このウィンドウが適用されるたびに3つのバッチが処理されることを意味します。

[Define the slide duration] (スライド処理時間の定義)

[Define the slide duration] (スライド処理時間の定義)チェックボックスをオンにして、表示されるフィールドに、終了時にウィンドウが適用される時間をミリ秒で引用符なしで入力します。

たとえば、[Spark configuration] (Spark設定)タブで定義されたバッチサイズが2秒の場合、4秒のスライド期間は、ウィンドウが4秒ごとに適用されることを意味します。また、ウィンドウ継続時間が6秒の場合、2回のウィンドウアプリケーションの後、1つのバッチが重複します。

このチェックボックスをオフのままにすると、スライドの所要時間は[Spark configuration] (Spark設定)タブで定義されたバッチサイズと見なされます。

ウィンドウの期間とスライドの期間は、どちらも[Spark configuration] (Spark設定)タブで定義されているバッチサイズの倍数である必要があります。

使用ルール

このコンポーネントは中間ステップとして使用されます。

このコンポーネントではデータスキーマは変更されませんが、特定のウィンドウを介してマイクロバッチの処理のペースが制御されます。

このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。