Pigプロセスで道路状況に関するデータを結合 - 7.2

Pig

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > 変換処理コンポーネント > Pig
データガバナンス > サードパーティーシステム > 変換処理コンポーネント > Pig
データクオリティとプレパレーション > サードパーティーシステム > 変換処理コンポーネント > Pig

このシナリオは、ビッグデータ関連Talend製品にのみ適用されます。

Talendがサポートしているテクノロジーの詳細は、Talendコンポーネントを参照してください。

このシナリオのジョブは2つのtPigLoadコンポーネントを使い、特定のHadoopディストリビューションから特定の道路の交通と関連するイベントに関するデータを読み取り、tPigMapを使ってデータを結合およびフィルタリングし、2つのtPigStoreResultを使ってHadoopディストリビューション内に結果を書き込みます。

使用されるHadoopディストリビューションは交通に関するデータ(通常または渋滞など)および交通に関連するイベントに関するデータ(道路工事、雨、イベントなしなど)を保持します。この例では、使用するデータは以下のように読み取られます:

  1. /user/ychen/tpigmap/date&eventというディレクトリーに保管される交通状況データ:
    2013-01-11 00:27:53;Bayshore Freeway;jam
    2013-02-28 07:01:18;Carpinteria Avenue;jam
    2013-01-26 11:27:59;Bayshore Freeway;normal
    2013-03-07 20:48:51;South Highway;jam
    2013-02-07 07:40:10;Lindbergh Blvd;normal
    2013-01-22 17:13:55;Pacific Hwy S;normal
    2013-03-17 23:12:26;Carpinteria Avenue;normal
    2013-01-15 08:06:53;San Diego Freeway;jam
    2013-03-19 15:18:28;Monroe Street;jam
    2013-01-20 05:53:12;Newbury Road;normal
  2. /user/ychen/tpigmap/date&eventというディレクトリーに保管されるイベントデータ:
    2013-01-11 00:27:53;Bayshore Freeway;road work
    2013-02-28 07:01:18;Carpinteria Avenue;rain
    2013-01-26 11:27:59;Bayshore Freeway;road work
    2013-03-07 20:48:51;South Highway;no event
    2013-02-07 07:40:10;Lindbergh Blvd;second-hand market
    2013-01-22 17:13:55;Pacific Hwy S;no event
    2013-03-17 23:12:26;Carpinteria Avenue;no event
    2013-01-15 08:06:53;San Diego Freeway;second-hand market
    2013-03-19 15:18:28;Monroe Street;road work
    2013-01-20 05:53:12;Newbury Road;no event

データのタイムスタンプに表示されるどの特定の時間でも、交通状況を反映する1行と交通に関連するイベントを反映するもう1行が記録されます。イベントがどのように特定の道路の交通に影響を与えているかを簡単に検出できるように、データを1つのテーブル内に結合する必要があります。

注:

この例で使用されるデータは制限されたサイズのサンプルです。

このシナリオを再現するには、使用されるStudioにHadoopディストリビューションでデータを読み取ったり、書き込んだりする適切な権限があることをご確認ください。そして、以下のようにします: