リードのリストを複製して2つの出力フローを個別に処理 - Cloud

Talend Cloud Pipeline Designerプロセッサーガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
ジョブデザインと開発 > パイプラインのデザイン
EnrichPlatform
Talend Pipeline Designer

始める前に

  • ソースデータを保管するシステムへの接続が作成済みであること。

    ここではデータベース接続を例に取ります。

  • ソースデータを保管するデータセットが追加済みであること。

    ここでは、ID、名前、収入などを含むリードデータを例に取ります。このページの左パネルにある[Downloads] (ダウンロード)タブからfilter-python-customers.jsonファイルをダウンロードしてください。

  • 接続および処理済みデータを保管する関連データセットも作成済みであること。

    ここでは、Amazon S3に保存されたファイルとHDFSに保存されたファイルを例に取ります。

手順

  1. [Pipelines] (パイプライン)ページで[ADD PIPELINE] (パイプラインの追加)をクリックします。新しいパイプラインが開きます。
  2. パイプラインに意味のある名前を付けます。

    例え

    リードの複製および処理
  3. [ADD SOURCE] (ソースの追加)をクリックして、ソースデータを選択できるパネルを開きます。ここでは顧客のリストを例に取ります。
  4. データセットを選択し、[SELECT] (選択)をクリックしてパイプラインに追加します。
    必要であれば名前を変更します。
  5. をクリックして、パイプラインに[Replicate] (複製)プロセッサーを追加します。フローが複製され、設定パネルが開きます。
  6. プロセッサーに意味のある名前を付けます。

    例え

    replicate leads
  7. パイプライン上部の[ADD DESTINATION] (デスティネーションの追加)アイテムをクリックしてパネルを開くと、データをクラウドに保持する[Dataset] (データセット)を選択できます(Amazon S3)。
  8. デスティネーションに意味のある名前を付けます。

    例え

    store in cloud
  9. パイプライン底部の[ADD DESTINATION] (デスティネーションの追加)アイテムの横にあるをクリックし、[Filter] (フィルター)プロセッサーを追加します。
  10. プロセッサーに意味のある名前を付けます。

    例え

    filter on lead revenues
  11. [Filter] (フィルター)エリアで以下のようにします:
    1. [Input] (入力)リストで.Revenueを選択し、この値に基づいてリードをフィルタリングします。
    2. レコードのフィルタリングで関数を適用しない場合は、[Optionally select a function to apply] (適用する機能をオプションとして選択)リストで[NONE] (なし)を選択します。
    3. 70000ドル超の売上のリードをフィルタリングする場合は、[Operator] (オペレーター)リストで>=を選択し、[Value] (値)リストに70000と入力します。
  12. [Save] (保存)をクリックして設定を保存します。
  13. (オプション) [Filter] (フィルター)プロセッサープレビューを表示し、フィルタリングオペレーション後のデータを確認します。

    例え

  14. パイプライン下部にある[ADD DESTINATION] (デスティネーションの追加)アイテムをクリックしてパネルを開くと、データをオンプレミス(HDFS)に保持するデータセットを選択し、意味のある名前を付けることができます。

    例え

    store on premises
  15. Talend Cloud Pipeline Designerの上部のツールバーで、リストから実行プロファイルを選択します(詳細は実行プロファイルを参照してください)。
  16. 実行アイコンをクリックしてパイプラインを実行します。

タスクの結果

パイプラインは実行中で、レコードは複製されてフィルタリングされ、出力フローは指定のターゲットシステムに送信されます。