コンポーネントをドロップしてリンク - 8.0

Talend Open Studio for Big Data 入門ガイド

Version
8.0
Language
日本語 (日本)
EnrichDitaval
Open Studio for Big Data
Product
Talend Open Studio for Big Data
Module
Talend Studio
Content
インストールとアップグレード
ジョブデザインと開発
使用するDBFS、Azureおよび処理コンポーネントは、データ変換のための完了プロセスを構成するために、ジョブのワークスペース内でオーケストレーションが行われます。

始める前に

  • Talend Studioを起動し、 Integration パースペクティブを開いていること。

  • 空のジョブがジョブを作成の説明に従って作成され、ワークスペース内に開いていること。

手順

  1. ジョブ内に使用するコンポーネントの名前を入力し、表示されるリストからこのコンポーネントを選択します。このシナリオでは、コンポーネントはtFileInputDelimitedコンポーネントが2つ、tMapコンポーネントが1つ、tFileOutputDelimitedコンポーネントが2つ、tDBFSConnectionコンポーネントが1つ、tDBFSGetコンポーネントが1つ、tAzureStoragePutコンポーネントが1つです。
    • DBFSコンポーネントは、Databricksファイルシステム(DBFS)に接続して、映画や監督に関するファイルをダウンロードします。
    • 2つのtFileInputDelimitedコンポーネントは、映画データと監督データをHDFSから現在のジョブのデータフローにロードするために使用されます。

    • tMapコンポーネントは入力データの変換に使用されます。

    • tFileOutputDelimitedコンポーネントはローカルシステム内の指定のディレクトリーに結果を書き込みます。

    • tAzureStoragePutコンポーネントは、変換されたデータをAzure Blobストレージコンテナーにアップロードするために使用されます。
  2. 2つのtFileInputDelimitedコンポーネントのうち1つをダブルクリックしてこのラベルを編集可能にし、movieと入力してこのコンポーネントのラベルを変更します。
  3. directorのもう一方のラベルtFileInputDelimitedコンポーネントにも同じ手順を実行します。
  4. tDBFSConnectionを右クリックし、表示されるコンテキストメニューから、[Trigger] (トリガー) > [TriggerOn Subjob Ok] (サブジョブOKでトリガー)を選択します。
  5. tDBFSGetをクリックしてtDBFSConnectiontDBFSGetに接続します。
  6. 同じ操作を繰り返し、常に[On Subjob Ok] (サブジョブOK時)リンクを使用してtDBFSGetmovieというラベルのtFileInputDelimitedコンポーネントに接続し、次に同じtFileInputDelimitedコンポーネントをtAzureStoragePutに接続します。
  7. movieのラベルが付いたtFileInputDelimitedコンポーネントを右クリックし、コンテキストメニューから[Row] (行) > [Main] (メイン)の順に選択し、tMapをクリックして2つのコンポーネントを接続します。これは、映画データがtMapに送信される際のメインリンクです。
  8. 同様に、[Row] (行) > [Main] (メイン)リンクを使用し、director tFileInputDelimitedコンポーネントをtMapに接続します。これは、監督データがルックアップデータとしてtMapに送信される際の[Lookup] (ルックアップ)リンクです。
  9. 同様に、[Row] (行) > [Main] (メイン)リンクを使用してtMapコンポーネントをtFileOutputDelimitedコンポーネントに接続し、ポップアップウィザードで、このリンクにout1という名前を付け、[OK]をクリックしてこの変更を確定します。
  10. これらのオペレーションを繰り返し、[Row] (行) > [Main] (メイン)リンクを使用してtMapコンポーネントをtFileOutputDelimitedコンポーネントに接続し、rejectという名前を付けます。

タスクの結果

ワークスペース内で、ジョブ全体は以下のようになります。