カスタムHadoopディストリビューションへの接続 - 7.1

Talend Real-time Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Real-Time Big Data Platform
task
ジョブデザインと開発
EnrichPlatform
Talend Studio

[Distribution] (ディストリビューション)ドロップダウンリストから[Custom] (カスタム)オプションを選択すると、Studioから提供される[Distribution] (ディストリビューション)リストにはないHadoopディストリビューションに接続します。

このタスクについて

この[Custom] (カスタム)オプションを選択したら、ボタンをクリックして[Import custom definition] (カスタム定義のインポート)ダイアログボックスを表示し、以下のようにします:

Talend はカスタムバージョンを公式にサポートしていません。 Talend とそのコミュニティでは、Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは不明です。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行って下さい。

手順

  1. 必要に応じて、[Import from existing version] (既存のバージョンからインポート)または[Import from zip] (Zipからインポート)のいずれかを選択して、接続するカスタムHadoopディストリビューションを設定します。
    • 接続先のカスタムHadoopディストリビューションの設定用ZIPファイルがある場合は、[Import from zip] (ZIPからインポート)を選択します。 Talend Exchangeでは、 Talend コミュニティのメンバーがすぐに使える設定用ZIPファイルを共有しています。ファイルはこのHadoop設定リストからダウンロードし、接続に直接使用することができます。ただし、さまざまなHadoop関連のプロジェクトが継続的に進展しているため、このリストから対応するディストリビューションの設定Zipが見つからないことがあります。その場合は、[Import from existing version] (既存のバージョンからインポート)オプションを使って、既存のディストリビューションをベースとして取得し、ディストリビューションに必要なjarを追加することをお勧めします。

      このzipファイルは単に設定ファイルであり、 Talend Exchangeからは直接インストールできません。 Talend Exchangeの詳細は、Exchangeの環境設定(Talend > Exchange)を参照して下さい。

    • または、[Import from existing version] (既存のバージョンからインポート)を選択して、正式にサポートされているHadoopディストリビューションをインポートし、これをベースとして次のウィザードでカスタマイズします。このアプローチを採用するには、使用するHadoopディストリビューションの設定についての知識が必要です。

    このウィザードのチェックボックスを使って、インポートするHadoopのエレメントを選択します。接続を作成するときの状況によって、これらすべてのチェックボックスがウィザードに表示されないこともあります。たとえば、Oozieの接続を作成するときは、[Oozie]チェックボックスだけが表示されます。
  2. [Import from existing version] (既存のバージョンからインポート)と[Import from zip] (ZIPからインポート)のどちらを選択した場合でも、インポートするHadoopのエレメントのチェックボックスをそれぞれオンにしてください。
  3. [OK]をクリックすると、ポップアップ警告が表示されます。前に実装したjarファイルのカスタムセットアップを上書きする場合は、[Yes] (はい)をクリックします。
    完了すると、[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスがアクティブになります。
    このダイアログボックスには、インポートするHadoopのモジュールとそのjarファイルがリストされます。
  4. [Import from zip] (ZIPからインポート)を選択した場合は、[OK]をクリックしてインポートの設定を確定します。
    [Import from existing version](既存のバージョンからインポート)を選択した場合は、jarファイルを追加してバージョンをカスタマイズします。カスタマイズするHadoopエレメントのタブ(たとえば[HDFS/HCatalog/Oozie]タブなど)で[+]ボタンをクリックし、[Select libraries] (ライブラリーの選択)ダイアログボックスを開きます。
  5. [External libraries] (外部ライブラリ)オプションを選択して、ビューを表示します。
  6. インポートするjarファイルを参照して選択します。
  7. [OK]をクリックして変更を確定し、[Select libraries] (ライブラリーの選択)ダイアログボックスを閉じます。
    完了すると、設定したHadoopの要素のタブのリストに、選択したjarファイルが表示されます。
    カスタムHadoopセットアップを別のStudioと共有する必要がある場合は、ボタンを使って、このカスタム接続を[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ウィンドウからエクスポートできます。
  8. [Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスで[OK]をクリックして設定のカスタマイズを確定します。これで、[Custom] (カスタム)オプションを選択した設定ビューに戻ります。

タスクの結果

カスタムHadoopバージョンの設定を完了し、Hadoopの接続設定ビューに戻ったら、その接続に必要なその他のパラメーターを引き続き入力することができます。

接続先のカスタムHadoopバージョンにYARNが含まれており、それを使用する場合は、[Distribution] (ディストリビューション)リストのとなりにある[Use YARN] (YARNを使用する)チェックボックスをオンにします。

カスタムHadoopクラスターへの接続をセットアップする方法についてHDFSを例に説明するビデオが、以下のリンクで入手できます。これはサポートされていないHadoopディストリビューションとも呼ばれています: 「サポートされていないHadoopディストリビューションをStudioに追加する方法」