カスタムHadoopディストリビューションへの接続 - 7.0

Talend Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
task
ジョブデザインと開発
EnrichPlatform
Talend Studio

このタスクについて

この[Custom] (カスタム)オプションを選択したら、ボタンをクリックして[Import custom definition] (カスタム定義のインポート)ダイアログボックスを表示し、次の手順に従います。

カスタムバージョンはTalendによって正式にサポートされていない点に留意してください。 Talendとそのコミュニティでは、Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは不明です。したがって、Hadoopの経験が豊富でどのような問題でも自力で解決できない限り、そのような接続を設定することはお勧めしません。

手順

  1. 必要に応じて、[Import from existing version] (既存のバージョンからインポート)と[Import from zip] (ZIPからインポート)のいずれかを選択して、接続するカスタムHadoopディストリビューションを設定します。
    • 接続先のカスタムHadoopディストリビューションの設定用ZIPファイルがある場合は、[Import from zip] (ZIPからインポート)を選択します。Talend Exchangeでは、Talendコミュニティのメンバーがすぐに使える設定用ZIPファイルを共有しています。ファイルはこの[Hadoop configuration] (Hadoop設定)リストからダウンロードし、接続に直接使用することができます。 ただし、Hadoop関連の各種プロジェクトは継続的に進展しているため、このリストには対応するディストリビューションの設定zipが見つからないことがあります。その場合は、[Import from existing version] (既存のバージョンからインポート)オプションを使って、既存のディストリビューションをベースとして取得し、ディストリビューションに必要なjarを追加することをお勧めします。

      このzipファイルは単に設定ファイルであり、Talend Exchangeからは直接インストールできません。Talend Exchangeの詳細は、Exchangeの環境設定(Talend > Exchange)を参照して下さい。

    • あるいは、[Import from existing version](既存のバージョンからインポート)を選択して、公式にサポートされているHadoopディストリビューションをインポートし、これをベースとして次のウィザードでカスタマイズします。このアプローチを採用するには、使用するHadoopディストリビューションの設定についての知識が必要です。

    このウィザードのチェックボックスを使って、インポートするHadoopのエレメントを選択します。接続を作成するときの状況によって、これらすべてのチェックボックスがウィザードに表示されないこともあります。たとえば、Oozieの接続を作成するときは、[Oozie]チェックボックスだけが表示されます。
  2. [Import from existing version] (既存のバージョンからインポート)と[Import from zip] (ZIPからインポート)のどちらを選択した場合でも、インポートするHadoopのエレメントのチェックボックスをそれぞれオンにして下さい。
  3. [OK]をクリックすると、ポップアップ警告が表示されます。前に実装したjarファイルのカスタムセットアップを上書きする場合は、[Yes] (はい)をクリックします。
    完了すると、[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスがアクティブになります。
    このダイアログボックスには、インポートするHadoopのモジュールとそのjarファイルがリストされます。
  4. [Import from zip] (ZIPからインポート)を選択した場合は、[OK]をクリックしてインポートの設定を確定します。
    [Import from existing version](既存のバージョンからインポート)を選択した場合は、jarファイルを追加してバージョンをカスタマイズします。カスタマイズするHadoopのモジュールのタブ(たとえば[HDFS/HCatalog/Oozie]タブなど)で[+]ボタンをクリックし、[Select libraries] (ライブラリーの選択)ダイアログボックスを開きます。
  5. [External libraries] (外部ライブラリー)オプションを選択して、ビューを表示します。
  6. インポートするjarファイルを参照して選択します。
  7. [OK]をクリックして変更を確定し、[Select libraries] (ライブラリーの選択)ダイアログボックスを閉じます。
    完了すると、設定したHadoopの要素のタブのリストに、選択したjarファイルが表示されます。
    カスタムHadoopセットアップを別のStudioと共有する必要がある場合は、ボタンを使って、このカスタム接続を[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ウィンドウからエクスポートすることができます。
  8. [Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスで[OK]をクリックして設定のカスタマイズを確定します。これで、[Custom] (カスタム)オプションを選択した設定ビューに戻ります。

タスクの結果

カスタムHadoopバージョンの設定を完了し、Hadoopの接続設定ビューに戻ったら、その接続に必要なその他のパラメーターを引き続き入力することができます。

接続先のカスタムHadoopバージョンにYARNが含まれており、それを使用する場合は、[Distribution] (ディストリビューション)リストの横にある[Use YARN] (YARNを使用する)チェックボックスをオンにします。

カスタムHadoopクラスターへの接続をセットアップする方法についてHDFSを例に説明するビデオが、以下のリンクで入手できます。これは、サポートされていないHadoopディストリビューションとも呼ばれています: 「サポートされていないHadoopディストリビューションをStudioに追加する方法