Oozie接続の一元管理(非推奨) - Cloud

Talend Cloud Real-Time Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
ジョブデザインと開発
EnrichPlatform
Talend Management Console
Talend Studio

このタスクについて

Oozie scheduler (Oozieスケジューラー)を使用してHadoop上のジョブの実行・監視を頻繁に行う場合は、Oozieの設定を[Repository] (リポジトリ)ツリービューの[Metadata] (メタデータ)フォルダーに一元化することができます。

前提条件:

  • 使用するHadoopディストリビューションを起動し、ディストリビューションとOozieへの適切なアクセス権があるかどうかを確認します。

  • [Hadoop cluster] (Hadoopクラスター)ノードからHadoopディストリビューションへの接続を作成します。詳細は、Hadoop接続の一元化を参照して下さい。

Oozie scheduler (Oozieスケジューラー)は、ジョブの実行スケジュールを立てたり、HDFS上でジョブをデプロイ・実行したり、実行を監視するために使います。Oozie接続を作成するには、次の手順に従います。

手順

  1. [Repository] (リポジトリ)ツリービューで、[Metadata] (メタデータ)ノードの下の[Hadoop cluster] (Hadoopクラスター)ノードを展開し、使用するHadoop接続を右クリックしてコンテキストメニューから[Create Oozie] (Oozieの作成)を選択します。
  2. 接続ウィザードが表示されます。ここで、[Name] (名前)[Purpose] (目的)[Description] (説明)など、ジェネリックプロパティを入力します。[Status] (ステータス)フィールドは、[File] (ファイル) > [Edit project properties] (プロジェクトプロパティの編集)で定義することができます。
  3. 完了したら、[Next] (次へ)をクリックします。次の手順では、Oozieの接続データを入力します。[End Point] (エンドポイント)フィールドには、使用するHadoop接続のネームノードのホスト名とOozieのポート番号に基づいて生成された、OozieのWebアプリケーションのURLが自動的に入力されます。このWebアプリケーションは、WebブラウザでOozie Web Console (Oozie Webコンソール)を使ってスケジュールしたジョブの実行ステータスを確認するためにも使用できます。
    選択したHadoopディストリビューションでKerberosセキュリティを有効にすると、[User name] (ユーザー名)フィールドが無効になります。
    このOozie URLは必要に応じて変更することができます。
  4. 使用するHadoopディストリビューションの設定をカスタマイズする必要がある場合は、[Hadoop properties] (Hadoopプロパティ)のとなりの[...]ボタンをクリックして対応するプロパティテーブルを開き、カスタマイズするプロパティを追加します。その後、ランタイムにStudioがHadoopのエンジンに使用するデフォルトのプロパティが、カスタマイズした設定に上書きされます。
    [Parent Hadoop properties] (親Hadoopプロパティ)テーブルは、現在編集中のプロパティテーブルの上に表示されます。この親テーブルは読み取り専用で、現在のOozie接続のベースとなる親Hadoop接続のウィザードで定義されたHadoopプロパティがリストされます。
    HadoopのOozie関連のプロパティについて詳しくは、https://oozie.apache.org/docsに記載されているOozieについてのApacheのHadoopのドキュメンテーションを参照するか、使用するHadoopディストリビューションのドキュメンテーションを参照して下さい。たとえば、次のページにはOozie関連のHadoopプロパティの一部がリストされています: https://oozie.apache.org/docs/4.1.0/AG_HadoopConfiguration.html
    このプロパティテーブルの活用方法の詳細は、再利用可能なHadoopプロパティの設定を参照して下さい。
  5. [User name] (ユーザー名)フィールドに、Oozieにログインするためのユーザー名を入力します。このフィールドを空白にすると、クライアントマシンへのユーザー名を使った匿名アクセスが可能になります。
  6. [Check] (確認)をクリックして、接続を確認します。
    正しく接続できたかどうかを示すメッセージが表示されます。
  7. [Finish] (終了)をクリックして、変更を確定します。
    作成したOozieの接続は、[Repository] (リポジトリ)ツリービューの[Hadoop cluster] (Hadoopクラスター)ノードの下に表示されます。
    注:

    この[Repository] (リポジトリ)ビューは、使用しているStudioのエディションによって異なる場合があります。

タスクの結果

ここで、[Oozie scheduler] (Oozieスケジューラー)ビューでジョブの[Oozie scheduler] (Oozieスケジューラー)を設定するときに、一元化されたOozie設定を再利用できます。

[Oozie scheduler] (Oozieスケジューラー)でジョブのスケジュールを設定する方法について詳しくは、Oozieを経由したジョブの実行(非推奨)を参照して下さい。

環境コンテキストを使用してこの接続のパラメーターを定義する必要がある場合は、[Export as context] (コンテキストとしてエクスポート)ボタンをクリックして対応するウィザードを開き、以下のオプションから選択します。
  • [Create a new repository context] (新しいリポジトリコンテキストの作成): 現在のHadoop接続からこの環境コンテキストを作成します。つまり、ウィザードで設定するパラメーターは、これらのパラメーターに設定した値と共にコンテキスト変数として取られます。

  • [Reuse an existing repository context] (既存のリポジトリコンテキストを再利用): 特定の環境コンテキストの変数を使用して現在の接続を設定します。

コンテキストの実装をキャンセルする必要がある場合は、[Revert context] (コンテキストから戻す)をクリックします。使用中のコンテキスト変数の値は、このウィザードに直接入力されます。

この[Export as context] (コンテキストとしてエクスポート)機能の使い方の手順を追った説明は、コンテキストとしてのメタデータのエクスポートとコンテキストパラメーターを再利用した接続の設定を参照して下さい。