Apache Spark BatchのtFixedFlowInputプロパティ - Cloud - 7.3

tFixedFlowInput

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > その他のコンポーネント > tFixedFlowInput
データガバナンス > サードパーティーシステム > その他のコンポーネント > tFixedFlowInput
データクオリティとプレパレーション > サードパーティーシステム > その他のコンポーネント > tFixedFlowInput

このプロパティはSpark Batchジョブフレームワークで実行されているtFixedFlowInputを設定するために使います。

Spark Batch tFixedFlowInputコンポーネントはその他ファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Schema] (スキーマ)[Edit schema] (スキーマの編集)

スキーマとは行の説明で、処理された後に次のコンポーネントに渡されるフィールドの数を定義するものです。スキーマは組み込みか、[Repository] (リポジトリー)にリモートで保存されます。

スキーマを変更するには[Edit schema] (スキーマの編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

 

[Built-in] (組み込み): このコンポーネントに対してのみ作成されたスキーマがローカルに保管されます。関連項目: 『 Talend Studioユーザーガイド』を参照してください。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されているので、さまざまなプロジェクトやジョブデザインで再利用できます。関連項目: Talend Studioユーザーガイドを参照してください。

[Mode] (モード)

3つのオプションから、使うモードを選択します。

[Use Single Table] (単一のテーブルを使う): 生成するデータを関連する値フィールドに入力します。

[Use Inline Table] (インラインテーブルを使う): 生成する行を追加します。

[Use Inline Content] (インラインコンテンツを使う): [Row] (行)フィールドと[Field Separator] (フィールド区切り記号)フィールドで定義した区切り記号で区切って、生成するデータを入力します。

[Number of rows] (行数)

生成する行数を入力します。

[Edit schema] (スキーマの編集)ボタンを使ってスキーマダイアログボックスで定義したカラムに対応する値を、引用符の間に入力します。

詳細設定

[Set the number of partitions] (パーティション数の設定)

入力行を転送するパーティションの数を入力するには、このチェックボックスをオンにします。

このチェックボックスをオフのままにすると、各入力行がパーティションを形成します。たとえば、[Number of rows] (行数)フィールドが5の場合、各行は1つのパーティションとして処理されるため、合計で5つのパーティションになります。

使用方法

使用ルール

このコンポーネントは開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、所属するSpark Batchコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、[Standard] (標準)ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationまたはtS3Configurationなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。