このプロパティはSpark Batchジョブフレームワークで実行されているtCollectAndCheckを設定するために使います。
Spark Batch tCollectAndCheckコンポーネントは、テクニカルファミリーに属しています。
このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで利用できます。
基本設定
|
[Separator] (区切り) |
転送されたデータのフィールドを区切る場合は、文字、文字列、正規表現のいずれかを入力します。 |
|
[Line separator] (行区切り) |
行の終端を識別するために使用される区切り。 |
| [Use context variable] (コンテキスト変数の使用) |
使う参照ファイルを表すコンテキスト変数を既に作成している場合は、このチェックボックスをオンにして、表示される[Variable name] (変数名)フィールドにこの変数を入力します。 変数を呼び出す構文はcontext.VariableNameです。 変数の詳細は、 Talend Studio ユーザーガイドをご覧ください。 |
|
参照データ |
使う参照データを表すためにコンテキスト変数を使わない場合は、この参照データをこのフィールドに直接入力します。 |
|
[Keep the order from the reference] (参照からの順序を保つ) |
チェックするRDDがソートされている場合は、このチェックボックスをオンにして、参照データの順序を維持します。 |
詳細設定
|
[When the reference is empty, expect no incoming value] (参照が空の場合、受信値はありません) |
デフォルトでは、このチェックボックスはオフになっています。つまり、参照データのフィールドが空の場合、テストは、テスト結果を検証するために、検証される受信データセット内にも同様に空のフィールドがあるものと想定します。 参照が空の時にテストが値を想定しないようにするには、このチェックボックスをオンにします。 |
使用方法
|
使用ルール |
このコンポーネントは終了コンポーネントとして使用され、入力リンクを必要とします。 このコンポーネントは、 [Run] (実行)ビューのコンソールにテスト結果を表示するために作成されるテストケースに自動的に追加されます。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |