カスタムHadoopディストリビューションへの接続 - 7.3

Amazon EMR distribution

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン > Hadoopディストーション > Amazon EMR

プロパティの表で説明しているとおり、[Distribution] (ディストリビューション)ドロップダウンリストから[Custom] (カスタム)オプションを選択すると、Studioから提供される[Distribution] (ディストリビューション)リストにはないHadoopディストリビューションに接続できます。

この[Custom] (カスタム)オプションを選択したら、ボタンをクリックして[Import custom definition] (カスタム定義のインポート)ダイアログボックスを表示し、以下のようにします:

手順

  1. 必要に応じて、[Import from existing version] (既存のバージョンからインポート)または[Import from zip] (Zipからインポート)のいずれかを選択して、接続するカスタムHadoopディストリビューションを設定します。
    • 接続先とするカスタムHadoopディストリビューションのZIPファイルがある場合は、[Import from zip] (ZIPからインポート)を選択します。 Talend コミュニティにはこの種のZIPファイルが提供されており、http://www.talendforge.org/exchange/index.phpからダウンロードできます。

    • または、[Import from existing version] (既存のバージョンからインポート)を選択して、正式にサポートされているHadoopディストリビューションをインポートし、これをベースとして次のウィザードでカスタマイズします。

    このウィザードのチェックボックスを使って、インポートするHadoopのエレメントを選択します。接続を作成する時の状況によって、これらすべてのチェックボックスがウィザードに表示されないことがあります。たとえば、この接続をHiveコンポーネントに作成する場合、[Hive]チェックボックスのみが表示されます。
  2. [Import from existing version] (既存のバージョンからインポート)[Import from zip] (ZIPからインポート)のどちらを選択した場合でも、インポートするHadoopのエレメントのチェックボックスをそれぞれオンにしてください。
  3. [OK]をクリックすると、ポップアップ警告が表示されます。[Yes]をクリックして以前に実装したjarファイルのカスタムセットアップを上書きします。
    完了すると、[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスがアクティブになります。
    このダイアログボックスには、インポートするHadoopのモジュールとそのjarファイルがリストされます。
  4. [Import from zip] (ZIPからインポート)を選択した場合は、[OK]をクリックしてインポートの設定を確定します。
    [Import from existing version](既存のバージョンからインポート)を選択した場合は、jarファイルを追加してバージョンをカスタマイズします。カスタマイズするHadoopエレメントのタブ(たとえばHDFS/HCatalogタブなど)で[+]ボタンをクリックし、[Select libraries] (ライブラリーの選択)ダイアログボックスを開きます。
  5. [External libraries] (外部ライブラリー)オプションを選択して、ビューを表示します。
  6. インポートするjarファイルを参照して選択します。
  7. [OK]をクリックして変更を確定し、[Select libraries] (ライブラリーの選択)ダイアログボックスを閉じます。
    完了すると、設定したHadoopのエレメントのタブのリストに、選択したjarファイルが表示されます。
    カスタムHadoopセットアップを別のStudioと共有する必要がある場合は、ボタンを使って、このカスタム接続を[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ウィンドウからエクスポートできます。
  8. [Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスで[OK]をクリックして設定のカスタマイズを確定します。これによりコンポーネントの[Basic settings] (基本設定)ビューの[Distribution] (ディストリビューション)リストに戻ります。

タスクの結果

カスタムHadoopバージョンの設定を完了し、[Distribution] (ディストリビューション)リストに戻っているため、接続で必要になるその他のパラメーターを続けて入力できます。

接続先のカスタムHadoopバージョンにYARNが含まれており、それを使用する場合は、[Distribution] (ディストリビューション)リストのとなりにある[Use YARN] (YARNを使用する)チェックボックスをオンにします。

カスタムHadoopクラスターへの接続をセットアップする方法についてHDFSを例に説明するビデオが、以下のリンクで入手できます。これはサポートされていないHadoopディストリビューションとも呼ばれています: 「サポートされていないHadoopディストリビューションをStudioに追加する方法」