OozieスケジューラービューでのHDFS接続の詳細の定義 - 7.1

Talend Real-time Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Real-Time Big Data Platform
task
ジョブデザインと開発
EnrichPlatform
Talend Studio

Talend Oozieでは、Studioで作成したジョブの実行スケジュールを設定することができます。

HDFSサーバー上でジョブを実行したり、実行スケジュールを設定したりする前に、HDFS接続の設定を定義する必要があります。これには、[Oozie scheduler] (Oozieスケジューラー)ビューを使って、ジョブのデプロイ先のパスを指定します。

手順

  1. デザインワークスペースの下にある[Oozie scheduler] (Oozieスケジューラー)ビューをクリックします。
  2. [Setting] (設定)をクリックして、接続のセットアップダイアログボックスを開きます。
  3. Oozie接続をセットアップします。
    • [Repository] (リポジトリー)でOozieの接続がOozie接続の一元化の説明に従ってセットアップ済みの場合は、それを容易に再利用できます。そのためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...] ボタンをクリックして[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開き、使用するOozie接続を選択します。

    • Oozie接続が未設定の場合は、下記のテーブルで説明する手順に従って、対応するフィールドに接続情報を入力します。

      フィールド/オプション 説明

      [Hadoop distribution] (Hadoopディストリビューション)

      接続先のHadoopディストリビューションです。このディストリビューションは、使用するHDFSファイルシステムをホストします。カスタムのHadoopディストリビューションに接続するには、[Custom] (カスタム)を選択し、[...]ボタンをクリックして[Import custom definition] (カスタム定義のインポート)ダイアログボックスを開き、このダイアログボックスでカスタムディストリビューションに必要なjarファイルをインポートします。

      詳細は、カスタムHadoopディストリビューションへの接続を参照してください。

      Hadoop version (Hadoopのバージョン)

      接続先のHadoopディストリビューションのバージョンです。このリストは、[Hadoop distribution] (Hadoopディストリビューション)リストで[Custom] (カスタム)を選択した場合は表示されません。

      Enable Kerberos security (Kerberosセキュリティの有効化)

      Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスをオンにし、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された資格情報に対して認証を実行できます。

      このチェックボックスは、接続しているHadoopのディストリビューションによっては、表示されないこともあります。

      User name (ユーザー名)

      ログイン用のユーザー名です。

      Name node end point (ネームノードのエンドポイント)

      ネームノードのURIです。これは、HDFSファイルシステムで最も重要な要素です。

      Job tracker end point (ジョブトラッカーのエンドポイント)

      ジョブトラッカーノードのURLです。これにより、MapReduceタスクをクラスター内の特定のノードに委託します。

      Oozie end point (Oozieのエンドポイント)

      OozieのWebコンソールのURIで、ジョブの実行を監視します。

      Hadoop Properties (Hadoopのプロパティ)

      対象のHadoopでカスタム設定を使用する必要がある場合は、このテーブルでカスタマイズするプロパティを設定します。その後、ランタイムにStudioがHadoopのエンジンに使用するデフォルトのプロパティが、カスタマイズした設定に上書きされます。

      Hadoopで必要なプロパティについて詳しくは、http://hadoop.apache.orgに記載されているApacheのHadoopについてのドキュメンテーションを参照するか、使用するHadoopディストリビューションのドキュメンテーションを参照して下さい。

      注:

      このテーブルで定義した設定は、ジョブごとに有効になります。

タスクの結果

いったん、[Oozie scheduler] (Oozieスケジューラー)ビューでデプロイメントパスを定義すれば、HDFSサーバー上でジョブをすぐに実行したり、実行スケジュールを設定したりできます。