プレパレーションを取得してパイプライン内のデータに関数を適用 - Cloud

Talend Cloud Pipeline Designerプロセッサーガイド

Version
Cloud
Language
日本語 (日本)
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
ジョブデザインと開発 > パイプラインのデザイン

始める前に

  • ソースデータを保管するシステムへの接続が作成済みであること。

    ここでは、Amazon S3バケットへの接続を使用します。

  • ソースデータを保管するデータセットが追加済みであること。

    ここでは、名前、登録日、収入などを含む顧客に関するデータを使用します。

  • 接続および処理済みデータを保管する関連データセットも作成済みであること。

    ここでは、出力ログの保管にテストデータセットを使用します。

手順

  1. [Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
  2. パイプラインに意味のある名前を付けます。

    例え

    Filter on Registration and Revenue
  3. [ADD SOURCE] (ソースの追加)をクリックし、ソースデータを選択できるパネルを開きます。ここでは、データベースに保存されている顧客のリストです。

    例え

  4. データセットを選択し、[Select] (選択)をクリックしてパイプラインに追加します。
    必要であれば名前を変更します。
  5. をクリックし、パイプラインに[Run preparation] (プレパレーションを実行)プロセッサーを追加します。[Configuration] (設定)パネルが開きます。
  6. プロセッサーに意味のある名前を付けます。

    例え

    run customer preparation
  7. [Configuration] (運用設定)タブの[Preparation] (プレパレーション)フィールドで、[SELECT] (選択)をクリックします。プレパレーションの選択ウィンドウが開きます:
    1. 取得したいプレパレーションとプレパレーションのバージョンを選択して、パイプラインにそれの関数を適用します。
      注: Talend Cloud Pipeline Designerでは、SparkジョブおよびHDFSエクスポートまたはS3エクスポートと互換性がないセマンティックタイプまたはセマンティック関数に関連する関数はサポートされていません。
    2. [SELECT] (選択)をクリックして、パイプライン内で選択されたプレパレーションを取得します。
      ここでは、レコードを大文字に変更するプレパレーション件数がファーストネームとラストネームに適用されたことがわかります。
  8. をクリックして、パイプラインに[Filter] (フィルター)プロセッサーを追加します。[Configuration] (設定)パネルが開きます。
  9. プロセッサーに意味のある名前を付けます。

    例え

    filter on revenue > 500000
  10. [Filter] (フィルター)エリアで次の操作を行います。
    1. [Input] (入力)リストで.Revenueを選択し、この値に基づいて顧客をフィルタリングします。
    2. レコードのフィルタリングで関数を適用しない場合は、[Optionally select a function to apply] (適用する機能をオプションとして選択)リストで[NONE] (なし)を選択します。
    3. 50000ドルを超える収入のある顧客をフィルタリングする場合は、[Operator] (オペレーター)リストで>を選択し、[Value] (値)リストに50000と入力します。
  11. [Save] (保存)をクリックして設定を保存します。
  12. [ADD DESTINATION] (デスティネーションの追加)をクリックし、出力ログを保持するテストデータセットを選択します。
    必要であれば名前を変更します。
  13. (オプション) 最後の[Filter] (フィルター)プロセッサープレビューを表示し、フィルタリング操作後のデータを確認します。
  14. Talend Cloud Pipeline Designerの上部のツールバーで、リストから実行プロファイルを選択します(詳細は実行プロファイルを参照してください)。
  15. 実行アイコンをクリックしてパイプラインを実行します。

タスクの結果

パイプラインは実行中となり、プレパレーション関数(レコードの大文字への変更)が顧客データに適用された後に、記述した条件に従ってデータがフィルタリングされて、選択したデスティネーション内にログが書き込まれました。