Apache Spark StreamingのtCollectAndCheckプロパティ

設定

• HBase
• JDBC
• MySQL
• Redshift

表示されるドロップダウンリストで、Sparkがその詳細を使ってデータベースに接続できるようにしたい設定コンポーネントを選択します。たとえばSnowflakeのデータをチェックしたい場合は、tSnowflakeConfigurationコンポーネントを選択する必要があります。

[Type of input] (入力のタイプ)

[Path or table name] (パスまたはテーブル名)

[Separator] (区切り)

転送されたデータのフィールドを区切る場合は、文字、文字列、正規表現のいずれかを入力します。

[Line separator] (行区切り)

行の終端を識別するために使用される区切り。

[Micro batch separator] (マイクロバッチ区切り)

データストリーム内のマイクロバッチの終わりを識別するために使う区切りを入力します。

使う参照ファイルを表すコンテキスト変数を既に作成している場合は、このチェックボックスをオンにして、表示される[Variable name] (変数名)フィールドにこの変数を入力します。

変数を呼び出す構文はcontext.VariableNameです。

変数の詳細は、コンテキストと変数を使用をご覧ください。

参照データ

使う参照データを表すためにコンテキスト変数を使わない場合は、この参照データをこのフィールドに直接入力します。

[Keep the order from the reference] (参照からの順序を保つ)

チェックするRDDがソートされている場合は、このチェックボックスをオンにして、参照データの順序を維持します。

[When the reference is empty, expect no incoming value] (参照が空の場合、受信値はありません)

デフォルトでは、このチェックボックスはオフになっています。つまり、参照データのフィールドが空の場合、テストは、テスト結果を検証するために、検証される受信データセット内にも同様に空のフィールドがあるものと想定します。

参照が空の時にテストが値を想定しないようにする場合は、このチェックボックスを選択します。

使用ルール

このコンポーネントは、終了コンポーネントとして使用され、入力リンクを必要とします。

このコンポーネントは、[Run] (実行)ビューのコンソールにテスト結果を表示するために作成されるテストケースに自動的に追加されます。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。