Apache SparkストリーミングのtFilterRowプロパティ - 7.3

処理(インテグレーション)

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > 変換処理コンポーネント
データガバナンス > サードパーティーシステム > 変換処理コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > 変換処理コンポーネント

このプロパティはSpark Streamingジョブフレームワークで実行されているtFilterRowを設定するために使います。

Spark Streaming tFilterRowコンポーネントは変換処理ファミリーのコンポーネントです。

このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで使用できます。

基本設定

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Logical operator used to combine conditions] (条件の結合に使用する論理演算子)

簡易な条件を結合したり、高度な条件において、両方のモードのフィルタリング結果を結合するには、論理演算子を選択します。

And: 全条件がtrueである場合、trueのブール値が戻ります。そうでない場合、falseが戻ります。論理積で2つの条件を組み合わせている場合、1番目の条件がtrueに評価される場合のみ、2番目の条件が評価されます。

Or: いずれかの条件がtrueである場合、trueのブール値が戻ります。そうでない場合、falseが戻ります論理和で2つの条件を組み合わせている場合、1番目の条件がfalseに評価される場合のみ、2番目の条件が評価されます。

[Conditions] (条件)

[+]ボタンをクリックし、必要な数の簡易な条件を追加します。選択する論理演算子に基づいて、条件が各行に対して順番どおりに評価されます。評価の際、各条件がtrueまたはfalseのブール値を返します。

[Input column] (入力カラム): 関数の対象とするスキーマのカラムを選択します。

[Function] (関数): リストから関数を選択します。

[Operator] (オペレーター): 入力カラムで値をバインドする演算子を選択します。

[Value] (値): 必要に応じて、引用符の間にフィルタリングされた値を入力します。

[Use advanced mode] (上級モードの使用)

同じコンポーネント内で複数の論理演算子を使うなど、実行する内容の操作が標準関数に含まれていない場合は、このチェックボックスをオンにします。必要に応じてテキストフィールドに正規表現を入力します。

高度な条件を複数定義する場合は、2つの条件間に論理演算子を使ってください。

&& (論理積): 両方の条件がtrueである場合、trueのブール値が戻ります。そうでない場合、falseが戻ります。1番目の条件がtrueに評価される場合のみ、2番目の条件が評価されます。

|| (論理和): どちらかの条件がtrueである場合、trueのブール値が戻ります。そうでない場合、falseが戻ります。1番目の条件がfalseに評価される場合のみ、2番目の条件が評価されます。

使用方法

使用ルール

このコンポーネントは中間ステップとして使用されます。

このコンポーネントは、所属するSpark Streamingコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、[Standard] (標準)ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationまたはtS3Configurationなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。