始める前に
-
ソースデータを保管するシステムへの接続が作成済みであること。
-
ソースデータを保管するデータセットが追加済みであること。
aggregate-customers.zipファイルをダウンロードして抽出します。ID、製品情報(書名、価格ほか)など、顧客データの階層リストが含まれています。
-
接続および処理済みデータを保管する関連データセットも作成済みであること。
ここでは、ファイルはHDFSに保存されているものとします。
手順
-
[Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
-
パイプラインに意味のある名前を付けます。
例
Aggregate Customer Data to Calculate Purchases
-
[ADD SOURCE] (ソースを追加)をクリックしてパネルを開きます。このパネルで、ソースデータ(この場合は書籍の購入に関する階層顧客データのリスト)を選択できます。
例
-
データセットを選択し、[Select] (選択)をクリックしてパイプラインに追加できるようにします。
必要であれば名前を変更します。
-
をクリックし、パイプラインにAggregateプロセッサーを追加します。設定パネルが開きます。
-
プロセッサーに意味のある名前を付けます。
例
calculate customer purchases
-
[Group by] (グループ基準)エリアで、集計セットに使用するフィールドを選択します。ここでは.customerIdです。
-
[Operations] (操作)エリアで次の操作を行います。
-
[Field path] (フィールドパス)リストで.customerId、[Operation] (操作)リストで[Count] (カウント)を選択します。
-
生成されたフィールド([Output field name] (出力フィールド名))に、たとえばnbOfPurchasesという名前を付けます。
-
+記号をクリックして新しいエレメントを追加し、[Field path] (フィールドパス)リストで.product.priceを、[Operation] (操作)リストで[Sum] (合計)を選択します。
-
生成されたフィールドに、たとえばtotalPriceという名前を付けます。
-
+記号をクリックして新しいエレメントを追加し、[Field path] (フィールドパス)リストで.product.nameを、[Operation] (操作)リストで[List] (リスト)を選択します。
-
生成されたフィールドに、たとえばbooksという名前を付けます。
-
[Save] (保存)をクリックして設定を保存します。
集計操作後に計算されたデータ、つまり顧客ごとの書籍数および支出金額をプレビューできます。
-
パイプラインで[ADD DESTINATION] (デスティネーションを追加)をクリックしてパネルを開きます。ここでは、出力データ(HDFS)を保持する[Dataset] (データセット)を選択できます。
-
Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
-
リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。
タスクの結果
パイプラインは実行中となり、購入は顧客ごとに集計され、出力フローは指定のターゲットシステムに送信されます。