このタスクについて
HDFS接続の詳細を[Oozie scheduler] (Oozieスケジューラー)ビューで定義するには、次の手順に従います。
手順
-
デザインワークスペースの下にある[Oozie scheduler] (Oozieスケジューラー)ビューをクリックします。
-
[Setting] (設定)をクリックして、接続のセットアップダイアログボックスを開きます。
警告:上記に示した接続の設定はあくまでも一例です。
- オプション:
[Repository] (リポジトリ)でOozieの接続がOozie接続の一元化の説明に従ってセットアップ済みの場合は、それを容易に再利用できます。
そのためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリ)を選択し、[...] ボタンをクリックして[Repository Content] (リポジトリコンテンツ)ダイアログボックスを開き、使用するOozie接続を選択します。
- オプション:
Oozie接続が未設定の場合は、下記のテーブルで説明する手順に従って、対応するフィールドに接続情報を入力します。
フィールド/オプション 説明 [Hadoop distribution] (Hadoopディストリビューション)
接続先のHadoopディストリビューションです。このディストリビューションは、使用するHDFSファイルシステムをホストします。カスタムのHadoopディストリビューションに接続するには、[Custom] (カスタム)を選択し、[...]ボタンをクリックして[Import custom definition] (カスタム定義のインポート)ダイアログボックスを開き、このダイアログボックスでカスタムディストリビューションに必要なjarファイルをインポートします。
詳細は、カスタムHadoopディストリビューションへの接続を参照して下さい。
Hadoop version (Hadoopのバージョン)
接続先のHadoopディストリビューションのバージョンです。このリストは、[Hadoop distribution] (Hadoopディストリビューション)リストで[Custom] (カスタム)を選択した場合は表示されません。
Enable Kerberos security (Kerberosセキュリティの有効化) Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスをオンにし、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名がKerberosに保存されているクレデンシャルに照合されます。
このチェックボックスは、接続しているHadoopのディストリビューションによっては、表示されないこともあります。
User name (ユーザー名) ログイン用のユーザー名です。
Name node end point (ネームノードのエンドポイント) ネームノードのURIです。これは、HDFSファイルシステムで最も重要な要素です。
Job tracker end point (ジョブトラッカーのエンドポイント) ジョブトラッカーノードのURLです。これにより、MapReduceタスクをクラスター内の特定のノードに委託します。
Oozie end point (Oozieのエンドポイント) OozieのWebコンソールのURIで、ジョブの実行を監視します。
Hadoop Properties (Hadoopのプロパティ) 対象のHadoopでカスタム設定を使用する必要がある場合は、このテーブルでカスタマイズするプロパティを設定します。その後、ランタイムにStudioがHadoopのエンジンに使用するデフォルトのプロパティが、カスタマイズした設定に上書きされます。
Hadoopで必要なプロパティについて詳しくは、http://hadoop.apache.orgに記載されているApacheのHadoopについてのドキュメンテーションを参照するか、使用するHadoopディストリビューションのドキュメンテーションを参照して下さい。
注:このテーブルで定義した設定は、ジョブごとに有効になります。
タスクの結果
いったん、[Oozie scheduler] (Oozieスケジューラー)ビューでデプロイメントパスを定義すれば、HDFSサーバー上でジョブをすぐに実行したり、実行スケジュールを設定したりできます。