HCatalogテーブルとパーティションのセットアップ - 7.0

ビッグデータジョブのサンプル

EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > ジョブデザイン
ジョブデザインと開発 > ジョブデザイン > Hadoopディストーション
ジョブデザインと開発 > ジョブデザイン > ジョブフレームワーク > 標準ジョブ

手順

  1. このサンプルではHCatalog_CreateTableというラベルが付いている2つ目のtHCatalogOperationコンポーネントをダブルクリックし、[Component] (コンポーネント)タブで[Basic settings] (基本設定)ビューを開きます。
  2. 1つ目のtHCatalogOperationコンポーネントと同じ手順で、同じHCatalog接続情報を定義します。
  3. [Schema] (スキーマ)リストボックスをクリックし、[Repository] (リポジトリー)を選択します。次に、フィールドのとなりの[...]ボタンをクリックして[Repository Content] (リポジトリーのコンテンツ)ダイアログボックスを開き、[Metadata] (メタデータ) > [Generic schemas] (汎用スキーマ) > access_logの順に展開して、スキーマを選択します。[OK]をクリックして選択したオプションを確定し、ダイアログボックスを閉じます。access_logの汎用スキーマが、コンポーネントに自動的に適用されます。

    また、[Repository] (リポジトリ)ツリービューでaccess_logの汎用スキーマを直接選択し、このコンポーネントにドラッグアンドドロップして適用することもできます。

  4. [Operation on] (オペレーション先)リストで[Table] (テーブル)を選択し、[Operation] (オペレーション)リストで[Drop if exist and create] (既存する場合はドロップして作成)を選択します。
  5. [Table] (テーブル)フィールドに、作成するテーブルの名前を入力します。この例では、weblogと入力します。
  6. [Set partitions] (パーティションの設定)チェックボックスをオンにし、[Edit schema] (スキーマの編集)の横にある[...]ボタンをクリックして、パーティションとパーティションスキーマを設定します。

    パーティションスキーマには、テーブルスキーマで定義したカラム名を使用できません。この例では、パーティションスキーマのカラム名はipaddressesと定義されています。

  7. このコンポーネントの設定が終わったら、Ctrl+Sを押してジョブの設定を保存します。