クエリーを使ってユーザーデバイスのリストを処理 - Cloud

Talend Cloud Pipeline Designerプロセッサーガイド

Version
Cloud
Language
日本語 (日本)
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
ジョブデザインと開発 > パイプラインのデザイン

始める前に

  • ソースデータを保管するシステムへの接続が作成済みであること。

    ここでは、テスト接続を使用します。

  • ソースデータを保管するデータセットが追加済みであること。

    ここでは、使うデバイスの種類、購入日、IPアドレスなどのユーザーに関する調査を含む.json階層ファイルを使用します(このページの左パネルにある[Downloads] (ダウンロード)タブからのquery_language-devices.jsonファイルをダウンロードします)。

  • 接続および処理済みデータを保管する関連データセットも作成済みであること。

    ここでは、S3バケット上に保管されたファイルを使用します。

手順

  1. [Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
  2. パイプラインに意味のある名前を付けます。

    例え

    Query and process a list of user devices
  3. [ADD SOURCE] (ソースの追加)をクリックして、ソースデータ(ここではユーザーデバイスに関する、階層データの調査)を選択できるパネルが開きます。

    例え

  4. データセットを選択し、[Select] (選択)をクリックしてパイプラインに追加します。
    必要であれば名前を変更します。
  5. をクリックし、[Data Shaping Language]プロセッサーをパイプラインに追加します。[Configuration] (設定)パネルが開きます。
  6. プロセッサーに意味のある名前を付けます。

    例え

    query recent devices
  7. [Data Shaping Language]エリアに、次のコードを入力します:
    FROM devices AS dv
    WHERE toDate(dv.purchase_date) > toDate("2015-01-01")
    SELECT {
    device_type = name,
    purchase_date = dv.purchase_date,
    ip_address = ip }
    このコードによって以下の処理が可能になります。
    • dvdevicesレコードのエイリアスとして定義できます

    • 2015年1月1日以降の日付に購入されたデバイスをフィルタリングできます

    • 一部のレコードの名前を変更し、フラット化できます(namedevice_typeに、 ipip_addressになります)

    クエリー言語構文の詳細は、Data Shaping Languageリファレンスガイドを参照してください。

  8. [Save] (保存)をクリックして設定を保存します。プレビューでは、新しいストラクチャーを確認できます。ストラクチャーがフラット化されたため、出力されるレコードが増加して、2015年1月1日以降に購入されたデバイスのみ表示されます。
  9. をクリックして、パイプラインに[Filter] (フィルター)プロセッサーを追加します。[Configuration] (設定)パネルが開きます。
  10. プロセッサーに意味のある名前を付けます。

    例え

    keep records about phones
  11. [Filter] (フィルター)エリアで次の操作を行います。
    1. この値に基づいて顧客をフィルタリングしたいので、[Input] (入力)リストで[.device_type]を選択します。
    2. レコードのフィルタリング時に関数を適用したくないので、[Optionally select a function to apply] (適用する機能をオプションとして選択)リストで[None] (なし)を選択します。
    3. 電話を持つユーザーをフィルタリングしたいので、[Operator] (演算子)リストで[==]を選択し、[Value] (値)リスト内にphoneと入力します。
    4. [Save] (保存)をクリックして設定を保存します。プレビューでは、フィルタリング条件(電話を持つユーザー)と一致するレコードを確認できます。
  12. パイプラインの[ADD DESTINATION] (デスティネーションの追加)アイテムをクリックしてパネルを開くと、処理済みのデータを保持するデータセットを選択できます。
    必要であれば名前を変更します。
  13. Talend Cloud Pipeline Designerの上部のツールバーで、リストから実行プロファイルを選択します(詳細は実行プロファイルを参照してください)。
  14. 実行アイコンをクリックしてパイプラインを実行します。

タスクの結果

パイプラインは実行中となり、クエリー言語を使って記述した条件に基づいてデータが処理され、指定したターゲットシステムに出力されます。