Apache Spark StreamingのtWindowプロパティ - 7.3

処理(インテグレーション)

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > 変換処理コンポーネント
データガバナンス > サードパーティーシステム > 変換処理コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > 変換処理コンポーネント

このプロパティはSpark Streamingジョブフレームワークで実行されているtWindowを設定するために使います。

Spark Streaming tWindowコンポーネントは変換処理ファミリーのコンポーネントです。

このコンポーネントのストリーミングバージョンは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで使用できます。

基本設定

[Window duration] (ウィンドウ継続時間)

適用するウィンドウの長さを定義する期間(ミリ秒単位)を引用符なしで入力します。

たとえば、Spark設定タブで定義されたバッチサイズが2秒の場合、ウィンドウの継続時間6秒は、このウィンドウが適用されるたびに3つのバッチが処理されることを意味します。

[Define the slide duration] (スライド処理時間の定義)

[Define the slide duration] (スライド処理時間の定義)チェックボックスをオンにして、表示されるフィールドに、終了時にウィンドウが適用される時間をミリ秒単位で引用符なしで入力します。

たとえば、[Spark configuration] (Spark設定)タブで定義されたバッチサイズが2秒の場合、4秒のスライド期間は、ウィンドウが4秒ごとに適用されることを意味します。また、ウィンドウ期間が6秒の場合、2回のウィンドウアプリケーションの後、1つのバッチが重複します。

このチェックボックスをオフのままにすると、スライドの所要時間は[Spark configuration] (Spark設定)タブで定義されたバッチサイズと見なされます。

ウィンドウの期間とスライドの期間は、どちらも[Spark configuration] (Spark設定)タブで定義されているバッチサイズの倍数である必要があります。

使用方法

使用ルール

このコンポーネントは中間ステップとして使用されます。

このコンポーネントはデータスキーマを変更しませんが、特定のウィンドウを介してマイクロバッチの処理のペースを制御します。

このコンポーネントは、所属するSpark Streamingコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、[Standard] (標準)ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationまたはtS3Configurationなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。