Oozie接続の一元管理(非推奨) - Cloud - 7.3

Talend Studioユーザーガイド

Version
Cloud
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発
Last publication date
2024-02-13
対象製品...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

このタスクについて

Oozie scheduler (Oozieスケジューラー)を使用してHadoop上のジョブの実行・監視を頻繁に行う場合は、Oozieの設定を[Repository] (リポジトリー)ツリービューの[Metadata] (メタデータ)フォルダーに一元化できます。

前提条件:

  • 使用するHadoopディストリビューションを起動し、ディストリビューションとOozieへの適切なアクセス権があるかどうかを確認します。

  • [Hadoop cluster] (Hadoopクラスター)ノードからHadoopディストリビューションへの接続を作成します。詳細は、Hadoop接続の一元化をご覧ください。

Oozie scheduler (Oozieスケジューラー)は、ジョブの実行スケジュールを立てたり、HDFS上でジョブをデプロイ・実行したり、実行を監視するために使います。Oozie接続を作成するには、次の手順に従います。

手順

  1. [Repository] (リポジトリー)ツリービューで、[Metadata] (メタデータ)ノードの下の[Hadoop cluster] (Hadoopクラスター)ノードを展開し、使用するHadoop接続を右クリックしてコンテキストメニューから[Create HDFS] (HDFSの作成)を選択します。
  2. 接続ウィザードが表示されます。ここで、[Name] (名前)[Purpose] (目的)[Description] (説明)など、ジェネリックプロパティを入力します。[Status] (ステータス)フィールドは、[File] (ファイル) > [Edit project properties] (プロジェクトプロパティを編集)で定義できます。
  3. 完了したら、[Next] (次へ)をクリックします。次の手順では、Oozieの接続データを入力します。[End Point] (エンドポイント)フィールドには、使用するHadoop接続のネームノードのホスト名とOozieのポート番号に基づいて生成された、OozieのWebアプリケーションのURLが自動的に入力されます。このWebアプリケーションは、WebブラウザーでOozie Web Console (Oozie Webコンソール)を使ってスケジュールしたジョブの実行ステータスを確認するためにも使用できます。
    選択したHadoopディストリビューションでKerberosセキュリティを有効にすると、[User name] (ユーザー名)フィールドが無効になります。
    このOozie URLは必要に応じて変更できます。
  4. 使用するHadoopディストリビューションのの設定をカスタマイズする必要がある場合は、[Hadoop properties] (Hadoopのプロパティ)の横にある[...]ボタンをクリックして対応するプロパティテーブルを開き、カスタマイズするプロパティを追加します。その後、ランタイムにStudioがHadoopのエンジンに使用するデフォルトのプロパティが、カスタマイズした設定に上書きされます。
    [Parent Hadoop properties] (親Hadoopのプロパティ)テーブルは、現在編集中のプロパティテーブルの上部に表示されます。この親テーブルは読み取り専用で、現在のOozie接続のベースとなる親Hadoop接続のウィザードで定義されたHadoopのプロパティがリストされます。
    HadoopのOozieに関連するプロパティの詳細は、Oozieに関するApache Hadoopのドキュメンテーションか、使用するHadoopディストリビューションのドキュメンテーションをご覧ください。たとえば、このページにはOozie二関連するHadoopのプロパティがいくつか記載されています。
    このプロパティテーブルの活用方法の詳細は、再利用可能なHadoopのプロパティの設定をご覧ください。
  5. [User name] (ユーザー名)フィールドに、Oozieにログインするためのユーザー名を入力します。このフィールドを空白にすると、クライアントマシンへのユーザー名を使った匿名アクセスが可能になります。
  6. [Check] (確認)をクリックして、接続を確認します。
    正しく接続できたかどうかを示すメッセージが表示されます。
  7. [Finish] (終了)をクリックして変更を確定します。
    作成したOozieの接続は、[Repository] (リポジトリー)ツリービューの[Hadoop cluster] (Hadoopクラスター)ノードの下に表示されます。
    注:

    この[Repository] (リポジトリー)ビューは、使用しているStudioのエディションによって異なる場合があります。

タスクの結果

ここで、[Oozie scheduler] (Oozieスケジューラー)ビューでジョブの[Oozie scheduler] (Oozieスケジューラー)を設定する時に、一元化されたOozie設定を再利用できます。

[Oozie scheduler] (Oozieスケジューラー)でジョブのスケジュールを設定する方法について詳しくは、Oozieを経由したジョブの実行(非推奨)をご覧ください。

環境コンテキストを使用してこの接続のパラメーターを定義する必要がある場合は、[Export as context] (コンテキストとしてエクスポート)ボタンをクリックして対応するウィザードを開き、以下のオプションから選択します。
  • [Create a new repository context] (新しいリポジトリーコンテキストを作成): 現在のHadoop接続からこの環境コンテキストを作成します。つまり、ウィザードで設定するパラメーターは、これらのパラメーターに設定した値と共にコンテキスト変数として取られます。

  • [Reuse an existing repository context] (既存のリポジトリーコンテキストを再利用): 特定の環境コンテキストの変数を使用して現在の接続を設定します。

コンテキストの実装をキャンセルする必要がある場合は、[Revert Context] (コンテキストを復元)をクリックします。使用中のコンテキスト変数の値は、このウィザードに直接入力されます。

この[Export as context] (コンテキストとしてエクスポート)機能の使い方に関するステップバイステップの説明は、メタデータのコンテキストとしてエクスポート、およびコンテキストパラメーターを再利用して接続を設定をご覧ください。