AWSでS3とDatabricksを使ってジョブのデータフローを設計 - 7.2

Databricks

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン > Hadoopディストーション > Databricks
ジョブデザインと開発 > ジョブデザイン > Serverless > Databricks

手順

  1. Studioの Integration パースペクティブで、[Repository] (リポジトリー)ツリービューの[Job Designs] (ジョブデザイン)ノードから空のSpark Batchジョブを1つ作成します。
  2. ワークスペース内に使用するコンポーネントの名前を入力し、表示されるリストからこのコンポーネントを選択します。このシナリオでは、コンポーネントはtS3ConfigurationtFixedFlowInputtFileOutputParquettFileInputParquettLogRowです。
    tFixedFlowInputコンポーネントは、サンプルデータをデータフローにロードするために使われます。実際には、ファイル入力コンポーネントと処理コンポーネントを使って、処理するデータを準備する高度なプロセスを設計できます。
  3. [Row] (行) > [Main] (メイン)リンクを使って、tFixedFlowInputtFileOutputParquetに接続します。
  4. [Row] (行) > [Main] (メイン)リンクを使ってtFileInputParquettLogRowに接続します。
  5. [Trigger] (トリガー) > OnSubjobOkリンクを使ってtFixedFlowInputtFileInputParquetに接続します。
  6. tS3Configurationコンポーネントは接続しないでおきます。