OozieスケジューラービューでのHDFS接続の詳細の定義 - 7.0

Talend Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
task
ジョブデザインと開発
EnrichPlatform
Talend Studio

このタスクについて

HDFS接続の詳細を[Oozie scheduler] (Oozieスケジューラー)ビューで定義するには、次の手順に従います。

手順

  1. デザインワークスペースの下にある[Oozie scheduler] (Oozieスケジューラー)ビューをクリックします。
  2. [Setting] (設定)をクリックして、接続のセットアップダイアログボックスを開きます。
    警告:

    上記に示した接続の設定はあくまでも一例です。

  3. オプション: [Repository] (リポジトリー)でOozieの接続がOozie接続の一元化の説明に従ってセットアップ済みの場合は、それを容易に再利用できます。

    そのためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックして[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開き、使用するOozie接続を選択します。

  4. オプション: Oozie接続が未設定の場合は、下記のテーブルで説明する手順に従って、対応するフィールドに接続情報を入力します。
    フィールド/オプション 説明

    [Hadoop distribution] (Hadoopディストリビューション)

    接続先のHadoopディストリビューションです。このディストリビューションは、使用するHDFSファイルシステムをホストします。カスタムのHadoopディストリビューションに接続するには、[Custom] (カスタム)を選択し、[...]ボタンをクリックして[Import custom definition] (カスタム定義のインポート)ダイアログボックスを開き、このダイアログボックスでカスタムディストリビューションに必要なjarファイルをインポートします。

    詳細は、カスタムHadoopディストリビューションへの接続を参照してください。

    [Hadoop version] (Hadoopのバージョン)

    接続先のHadoopディストリビューションのバージョンです。このリストは、[Hadoop distribution] (Hadoopディストリビューション)リストで[Custom] (カスタム)を選択した場合は表示されません。

    Enable Kerberos security (Kerberosセキュリティの有効化)

    Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスを選択し、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された資格情報に対して認証を実行できます。

    このチェックボックスは、接続しているHadoopのディストリビューションによっては、表示されないこともあります。

    User name (ユーザー名)

    ログイン用のユーザー名です。

    Name node end point (ネームノードのエンドポイント)

    ネームノードのURIです。これは、HDFSファイルシステムで最も重要な要素です。

    Job tracker end point (ジョブトラッカーのエンドポイント)

    ジョブトラッカーノードのURLです。これにより、MapReduceタスクをクラスター内の特定のノードに委託します。

    Oozie end point (Oozieのエンドポイント)

    OozieのWebコンソールのURIで、ジョブの実行を監視します。

    Hadoop Properties (Hadoopのプロパティ)

    対象のHadoopでカスタム設定を使用する必要がある場合は、このテーブルでカスタマイズするプロパティを設定します。その後、ランタイムにStudioがHadoopのエンジンに使用するデフォルトのプロパティが、カスタマイズした設定に上書きされます。

    Hadoopで必要なプロパティについて詳しくは、http://hadoop.apache.orgに記載されているApacheのHadoopについてのドキュメンテーションを参照するか、使用するHadoopディストリビューションのドキュメンテーションを参照してください。

    注:

    このテーブルで定義した設定は、ジョブごとに有効になります。

タスクの結果

いったん、[Oozie scheduler] (Oozieスケジューラー)ビューでデプロイメントパスを定義すれば、HDFSサーバー上でジョブをすぐに実行したり、実行スケジュールを設定したりできます。