Big Data
Big Data Platform
Cloud Big Data
Cloud Big Data Platform
Cloud Data Fabric
Data Fabric
Real-Time Big Data Platform
手順
- [Repository] (リポジトリー)ツリーで、[Metadata] (メタデータ)ノードの下の[Hadoop (Hadoopクラスター)cluster] ノードを展開し、使用するHadoop接続を右クリックしてコンテキストメニューから[Create HCatalog] (HCatalogの作成)を選択します。
-
接続ウィザードが表示されます。ここで、[Name] (名前)、[Purpose] (目的)、[Description] (説明)など、ジェネリックプロパティを入力します。[Status] (ステータス)フィールドは、[File] (ファイル) > [Edit project properties] (プロジェクトプロパティを編集)で定義できます。
-
完了したら、[Next] (次へ)をクリックします。次の手順では、HCatalogの接続データを入力します。このうち、[Host name] (ホスト名)には、前の手順で選択したHadoop接続から継承された値が自動的に入力されます。Templetonの[Port] (ポート)と[Database] (データベース)は、デフォルトの値を使用します。
このデータベースはHiveデータベースで、Templeton (WebHcat)はHCatalogでコマンドを発行するために、RESTに類似したWeb APIとして使用します。Templeton (WebHcat)の詳細は、https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCatでApacheのドキュメンテーションをご覧ください。[ Principal] (プリンシパル)フィールドと[Realm] (領域)フィールドは、使用しているHadoop接続でKerberosセキュリティが有効な場合にのみ表示されます。これらのフィールドは、KerberosでHCatalogクライアントとHCatalogサーバーを相互に認証するために必要なプロパティです。注:
Hadoopサーバーのホスト名をクライアントやホストのコンピューターで識別可能にするには、クライアントとホストのコンピューターの関連するhostsファイルにそのホスト名でIPアドレスとホスト名のマッピングエントリーを追加する必要があります。たとえば、Hadoopサーバーのホスト名がtalend-all-hdpで、IPアドレスが192.168.x.xの場合、マッピングエントリーは192.168.x.x talend-all-hdpとなります。Windowsシステムでは、このエントリーをC:\WINDOWS\system32\drivers\etc\hostsに追加します(WindowsがCドライブにインストールされている場合)。Linuxシステムでは、このエントリーを/etc/hostsのファイルに追加します。
- 必要に応じて、これらのデフォルト値を接続先のHCatalogで使用しているポートとデータベースに変更します。
- [ Principal] (プリンシパル)と[Realm] (領域)のプロパティも必要に応じて入力します。
-
使用するHadoopまたはHCatalogディストリビューションの設定をカスタマイズする必要がある場合は、[Hadoop properties] (Hadoopのプロパティ)の横の[...]ボタンをクリックしてプロパティテーブルを開き、カスタマイズするプロパティを追加します。その後、実行時にStudioがHadoopのエンジンに使用するデフォルトのプロパティが、カスタマイズした設定に上書きされます。
[Parent Hadoop properties] (親Hadoopのプロパティ)テーブルは、現在編集中のプロパティテーブルの上部に表示されます。この親テーブルは読み取り専用で、現在のHCatalog接続のベースとなる親Hadoop接続のウィザードで定義されたHadoopのプロパティがリストされます。Hadoopのプロパティの詳細は、http://hadoop.apache.org/docs/current/に記載されているApacheのHadoopについてのドキュメンテーションを参照するか、使用するHadoopディストリビューションのドキュメンテーションをご覧ください。たとえば、次のページにはHadoopのデフォルトプロパティの一部がリストされています: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xmlHCatalogのプロパティの詳細は、HCatalogに関するApacheのドキュメンテーションをご覧ください。たとえば、次のページにはHCatalogの設定プロパティについていくつか説明されています: https://cwiki.apache.org/confluence/display/Hive/HCatalog+Configuration+Properties。このプロパティテーブルの活用方法の詳細は、再利用可能なHadoopのプロパティの設定をご覧ください。
- [Check] (チェック)をクリックして、定義した接続をテストしてみます。正しく接続できたかどうかを示すメッセージが表示されます。
-
[Finish] (終了)をクリックして変更を確定します。
作成したHCatalogの接続は、[Repository] (リポジトリー)ツリービューの[Hadoop cluster] (Hadoopクラスター)ノードの下に表示されます。注:
この[Repository] (リポジトリー)ビューは、使用しているStudioのエディションによって異なる場合があります。
環境コンテキストを使用してこの接続のパラメーターを定義する必要がある場合は、[Export as context] (コンテキストとしてエクスポート)ボタンをクリックして対応するウィザードを開き、以下のオプションから選択します。-
[Create a new repository context] (新しいリポジトリーコンテキストを作成): 現在のHadoop接続からこの環境コンテキストを作成します。つまり、ウィザードで設定するパラメーターは、これらのパラメーターに設定した値と共にコンテキスト変数として取られます。
-
[Reuse an existing repository context] (既存のリポジトリーコンテキストを再利用): 特定の環境コンテキストの変数を使用して現在の接続を設定します。
この[Export as context] (コンテキストとしてエクスポート)機能の使い方に関するステップバイステップの説明は、メタデータのコンテキストとしてエクスポート、およびコンテキストパラメーターを再利用して接続を設定をご覧ください。
-
- 新しく作成した接続を右クリックし、ドロップダウンリストから[Retrieve schema] (スキーマを取得)を選択して、目的のテーブルスキーマを確立した接続からロードします。