Apache Spark BatchのtCollectAndCheckプロパティ - 7.3

Technical

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > テクニカルコンポーネント
データガバナンス > サードパーティーシステム > テクニカルコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > テクニカルコンポーネント

このプロパティはSpark Batchジョブフレームワークで実行されているtCollectAndCheckを設定するために使います。

Spark Batch tCollectAndCheckコンポーネントはテクニカルファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

設定

このチェックボックスを選択すると、設定コンポーネントから接続情報や認証情報を取得します。次のタイプの入力データをチェックするには、このチェックボックスを選択する必要があります。
  • HBase
  • JDBC
  • MySQL
  • Redshift
  • Snowflake

表示されるドロップダウンリストで、Sparkがその詳細を使ってデータベースに接続できるようにしたい設定コンポーネントを選択します。たとえばSnowflakeのデータをチェックしたい場合は、tSnowflakeConfigurationコンポーネントを選択する必要があります。

注: S3からデータを取得する場合はtS3Configurationを使用する必要はありません。[Basic settings] (基本設定)ビューの[Path or table name] (パスまたはテーブル名)フィールドにファイルのフルパスを入力するだけで結構です。

[Type of input] (入力のタイプ)

チェックする入力データのタイプをドロップダウンリストから選択します。

[Path or table name] (パスまたはテーブル名)

チェックするファイルやテーブルへのパスを二重引用符で入力します。

[Separator] (区切り)

転送されたデータのフィールドを区切る場合は、文字、文字列、正規表現のいずれかを入力します。

[Line separator] (行区切り)

行の終端を識別するために使用される区切り記号。

[Use context variable] (コンテキスト変数の使用)

使う参照ファイルを表すコンテキスト変数を既に作成している場合は、このチェックボックスをオンにして、表示される[Variable name] (変数名)フィールドにこの変数を入力します。

変数を呼び出す構文はcontext.VariableNameです。

変数の詳細は、『 Talend Studio ユーザーガイド』を参照してください。

参照データ

使う参照データを表すためにコンテキスト変数を使わない場合は、この参照データをこのフィールドに直接入力します。

注:

コンポーネントがRDDからデータセットに移行されるため、日付パターンはyyyy-MM-dd、タイムスタンプのパターンは yyyy-MM-dd HH:mm:ssに限定されます。

これはSpark 2.1以降のバージョンに適用されます。

[Keep the order from the reference] (参照からの順序を保つ)

チェックするRDDがソートされている場合は、このチェックボックスをオンにして、参照データの順序を維持します。

詳細設定

[When the reference is empty, expect no incoming value] (参照が空の場合、受信値はありません)

デフォルトでは、このチェックボックスはオフになっています。つまり、参照データのフィールドが空の場合、テストは、テスト結果を検証するために、検証される受信データセット内にも同様に空のフィールドがあるものと想定します。

参照が空の時にテストが値を想定しないようにするには、このチェックボックスをオンにします。

使用方法

使用ルール

このコンポーネントは終了コンポーネントとして使用され、入力リンクを必要とします。

このコンポーネントは、 [Run] (実行)ビューのコンソールにテスト結果を表示するために作成されるテストケースに自動的に追加されます。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationまたはtS3Configurationなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。