Pythonを使用して顧客レコードに複数のオペレーションを実行する - Cloud

Talend Cloud Pipeline Designerプロセッサーガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
ジョブデザインと開発 > パイプラインのデザイン
EnrichPlatform
Talend Pipeline Designer

始める前に

  • ソースデータを保管するシステムへの接続が作成済みであること。

    これがデータベース接続です。

  • ソースデータを保管するデータセットが追加済みであること。

    これが、名、姓、登録日、および収入のフィールドがある顧客のテーブルです(このページの左パネルにある[Downloads] (ダウンロード)タブからfilter-python-customers.jsonファイルをダウンロードします)。

  • 接続および処理済みデータを保管する関連データセットも作成済みであること。

    これが、HDFSに保存されているファイルです。

手順

  1. [Pipelines] (パイプライン)ページで[ADD PIPELINE] (パイプラインの追加)をクリックします。新しいパイプラインが開きます。
  2. パイプラインに意味のある名前を付けます。

    例え

    顧客をPythonで処理
  3. [ADD SOURCE] (ソースの追加)をクリックして、ソースデータを選択できるパネルを開きます。ここでは、顧客のテーブルです。

    例え

  4. データセットを選択し、[SELECT] (選択)をクリックしてパイプラインに追加します。
    必要であれば名前を変更します。
  5. をクリックして、パイプラインに[Python ] (Python行)プロセッサーを追加します。[Configuration] (運用設定)パネルが開きます。
  6. プロセッサーに意味のある名前を付けます。

    例え

    名前を集約 - ユーロに変換 - 登録日を計算
  7. [Map] (マップ)リストで[Map] (マップ)を選択します。
  8. [Python code] (Pythonコード)エリアに、以下を入力します。
    date=input['RegistrationDate'].split("/")
    year=date[2]
    
    output['id'] = input['id']
    output['fullname'] = input['Firstname'] + " " + input["Lastname"]
    output['euro_revenue'] = int(input['Revenue']) * 0.83
    output['number_year_registrated'] = 2019 - int(year)
    このコードでは、以下の処理が可能なります:
    • 姓と名のフィールドを連結する

    • 売上をユーロに変換する

    • 顧客が登録されていた年数を計算する

  9. [Save] (保存)をクリックして設定を保存します。
  10. パイプラインの[ADD DESTINATION] (デスティネーションの追加)アイテムをクリックしてパネルを開くと、処理済みのデータを保持するデータセットを選択できます。
    必要であれば名前を変更します。
  11. (オプション) [Python]プロセッサーのプレビューを確認し、オペレーションの前後のデータを比較します。
  12. Talend Cloud Pipeline Designerの上部のツールバーで、リストから実行プロファイルを選択します(詳細は実行プロファイルを参照してください)。
  13. 実行アイコンをクリックしてパイプラインを実行します。

タスクの結果

パイプラインが実行されると、Pythonコードで記述した条件に基づいてデータが処理され、指定したターゲットシステムに出力が送られます。