OozieスケジューラービューでHDFS接続の詳細を定義(非推奨) - Cloud - 7.3

Talend Studioユーザーガイド

Version
Cloud
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発
対象製品...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

StudioにおけるOozieのサポートは、Talend 7.2以降、非推奨となります。

Talend Administration Centerを使用して、ビッグデータジョブの実行を開始、監視、およびスケジューリングします。

手順

  1. デザインワークスペースの下にある[Oozie scheduler] (Oozieスケジューラー)ビューをクリックします。

  2. [Setting] (設定)をクリックして、接続のセットアップダイアログボックスを開きます。

  3. Oozie接続をセットアップします。
    • [Repository] (リポジトリー)でOozieの接続がOozie接続の一元管理(非推奨)の説明に従ってセットアップ済みの場合は、それを容易に再利用できます。そのためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックして[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開き、使用するOozie接続を選択します。

    • Oozie接続が未設定の場合は、下記のテーブルで説明する手順に従って、対応するフィールドに接続情報を入力します。

      フィールド/オプション 説明

      [Hadoop distribution] (Hadoopディストリビューション)

      接続先のHadoopディストリビューションです。このディストリビューションは、使用するHDFSファイルシステムをホストします。カスタムのHadoopディストリビューションに接続するには、[Custom] (カスタム)を選択し、[...]ボタンをクリックして[Import custom definition] (カスタム定義のインポート)ダイアログボックスを開き、このダイアログボックスでカスタムディストリビューションに必要なjarファイルをインポートします。

      詳細は、カスタムHadoopディストリビューションへの接続をご覧ください。

      [Hadoop version] (Hadoopのバージョン)

      接続先のHadoopディストリビューションのバージョンです。このリストは、[Hadoop distribution] (Hadoopディストリビューション)リストで[Custom] (カスタム)を選択した場合は表示されません。

      [Enable Kerberos security] (Kerberosセキュリティを有効化)

      Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスをオンにし、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された認証情報に対して認証を実行できます。

      接続しているHadoopのディストリビューションによってはこのチェックボックスが表示されないこともあります。

      [User name] (ユーザー名)

      ログイン用のユーザー名です。

      [Name node end point] (ネームノードのエンドポイント)

      ネームノードのURIです。これは、HDFSファイルシステムで最も重要なエレメントです。

      [Job tracker end point] (ジョブトラッカーのエンドポイント)

      ジョブトラッカーノードのURLです。これにより、MapReduceタスクをクラスター内の特定のノードに委託します。

      [Oozie end point] (Oozieのエンドポイント)

      OozieのWebコンソールのURIで、ジョブの実行を監視します。

      [Hadoop Properties] (Hadoopのプロパティ)

      対象のHadoopでカスタム設定を使用する必要がある場合は、このテーブルでカスタマイズするプロパティを設定します。その後、ランタイムにStudioがHadoopのエンジンに使用するデフォルトのプロパティが、カスタマイズした設定に上書きされます。

      Hadoopで必要なプロパティについて詳しくは、http://hadoop.apache.orgに記載されているApacheのHadoopについてのドキュメンテーションを参照するか、使用するHadoopディストリビューションのドキュメンテーションをご覧ください。

      注:

      このテーブルで定義した設定は、ジョブごとに有効になります。

タスクの結果

いちど[Oozie scheduler] (Oozieスケジューラー)ビューでデプロイパスを定義すれば、HDFSサーバー上でジョブをすぐに実行したり、実行スケジュールを設定したりできます。