tPigLoadを設定 - 7.2

Pig

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > 変換処理コンポーネント > Pig
データガバナンス > サードパーティーシステム > 変換処理コンポーネント > Pig
データクオリティとプレパレーション > サードパーティーシステム > 変換処理コンポーネント > Pig

手順

  1. tPigLoadをダブルクリックして、[Component] (コンポーネント)ビューを開きます。
  2. [Edit schema] (スキーマを編集)の横のボタンをクリックし、スキーマエディターを開きます。
  3. ボタンを4回クリックし、行を4つ追加して、名前をそれぞれrowkeyidnameageに変更します。rowkeyカラムはHBase行のキーカラムを保管するためにスキーマの上にあります。しかし、実際に行のキーカラムをロードする必要がない場合は、スキーマに他の3つのカラムのみを作成できます。
  4. [OK]をクリックしてこれらの変更を確認し、ポップアップ表示されるダイアログボックスで求められるプロパゲーションを承認します。
  5. リモートHadoopディストリビューションを使っているため、[Mode] (モード)エリアで[Map/Reduce]を選択します。
  6. [Distribution] (ディストリビューション)フィールドと[Version] (バージョン)フィールドで、お使いのHadoopディストリビューション選択します。この例では、HortonWorks Data Platform V1を使用します。
  7. [Load function] (関数のロード)フィールドで、[HBaseStorage]を選択します。未設定の対応するパラメーターが表示されます。
  8. [NameNode URI]フィールドと[Resource Manager] (リソースマネージャー)フィールドに、それらのサービスのロケーションをそれぞれ入力します。 WebHDFSを使用している場合、ロケーションはwebhdfs://masternode:portnumberとなります。WebHDFS with SSLはまだサポートされていません。
  9. [Zookeeper quorum] (Zookeeperクォーラム)フィールドと[Zookeeper client port] (Zookeeperクライエントポート)フィールドに、使用されるZookeeperサービスのロケーション情報を入力します。
  10. Zookeeper znode親の場所が接続先Hadoopクラスターで定義されている場合、[Set zookeeper znode parent] (Zookeeper znodeの親を設定する)チェックボックスをオンにし、表示されたフィールドにこのプロパティの値を入力します。
  11. [Table Name] (テーブル名)フィールドに、tPigLoadがデータを読み取るテーブルの名前を入力します。
  12. HBase行キーカラムをロードする必要がある場合は、[Load key] (キーをロード)チェックボックスを選択します。この例では、これを選択します。
  13. [Mapping] (マッピング)テーブルに、行が4つ自動で追加されました。[Column family: qualifier] (カラムファミリー: 修飾子)カラムに、定義したスキーマカラムとマッピングする必要があるHBaseカラムを入力します。このシナリオでは、idカラムをfamily1:idnameカラムをfamily2:nameageカラムをfamily1:ageと入力します。