カスタムHadoopディストリビューションへの接続 - Cloud - 7.3

Talend Studioユーザーガイド
Version
Cloud
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発
対象製品...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

[Distribution] (ディストリビューション)ドロップダウンリストから[Custom] (カスタム)オプションを選択すると、Studioから提供される[Distribution] (ディストリビューション)リストにはないHadoopディストリビューションに接続します。

このタスクについて

この[Custom] (カスタム)オプションを選択したら、ボタンをクリックして[Import custom definition] (カスタム定義をインポート)ダイアログボックスを表示し、以下のようにします:

Talend はカスタムバージョンを公式にサポートしていません。 Talend とそのコミュニティでは、Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。

手順

  1. 必要に応じて、[Import from existing version] (既存のバージョンからインポート)または[Import from zip] (Zipからインポート)のいずれかを選択して、接続するカスタムHadoopディストリビューションを設定します。

    • 接続先のカスタムHadoopディストリビューションの設定用ZIPファイルがある場合は、[Import from zip] (ZIPからインポート)を選択します。 Talend Exchangeでは、 Talend コミュニティのメンバーがすぐに使える設定用ZIPファイルを共有しています。ファイルはこの[Hadoop configuration] (Hadoop設定)リストからダウンロードし、接続に直接使用できます。ただし、さまざまなHadoop関連のプロジェクトが継続的に進展しているため、このリストから対応するディストリビューションの設定Zipが見つからないことがあります。その場合は、[Import from existing version] (既存のバージョンからインポート)オプションを使って、既存のディストリビューションをベースとして取得し、ディストリビューションに必要なjarを追加することをお勧めします。

      このzipファイルは単に設定ファイルであり、Talend Exchangeからは直接インストールできません。Talend Exchangeの詳細は、Talend Exchange接続を設定(非推奨)をご覧ください。

    • または、[Import from existing version] (既存のバージョンからインポート)を選択して、正式にサポートされているHadoopディストリビューションをインポートし、これをベースとして次のウィザードでカスタマイズします。このアプローチを採用するには、使用するHadoopディストリビューションの設定についての知識が必要です。

    このウィザードのチェックボックスを使って、インポートするHadoopのエレメントを選択します。接続を作成する時の状況によって、これらすべてのチェックボックスがウィザードに表示されないこともあります。たとえば、この接続をHiveに作成する場合、Hiveチェックボックスのみが表示されます。
  2. [Import from existing version] (既存のバージョンからインポート)と[Import from zip] (ZIPからインポート)のどちらを選択した場合でも、インポートするHadoopのエレメントのチェックボックスをそれぞれオンにしてください。
  3. [OK]をクリックすると、ポップアップ警告が表示されます。前に実装したjarファイルのカスタムセットアップを上書きする場合は、[Yes] (はい)をクリックします。
    完了すると、[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスがアクティブになります。
    このダイアログボックスには、インポートするHadoopのモジュールとそのjarファイルがリストされます。
  4. [Import from zip] (ZIPからインポート)を選択した場合は、[OK]をクリックしてインポートの設定を確定します。
    [Import from existing version](既存のバージョンからインポート)を選択した場合は、jarファイルを追加してバージョンをカスタマイズします。カスタマイズするHadoopエレメントのタブ(たとえば[HDFS/HCatalog/Oozie]タブなど)で[+]ボタンをクリックし、[Select libraries] (ライブラリーを選択)ダイアログボックスを開きます。
  5. [External libraries] (外部ライブラリー)オプションを選択して、ビューを表示します。
  6. インポートするjarファイルを参照して選択します。
  7. [OK]をクリックして変更を確定し、[Select libraries] (ライブラリーを選択)ダイアログボックスを閉じます。
    完了すると、設定したHadoopのエレメントのタブのリストに、選択したjarファイルが表示されます。
    カスタムHadoopセットアップを別のStudioと共有する必要がある場合は、ボタンを使って、このカスタム接続を[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ウィンドウからエクスポートできます。
  8. [Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスで[OK]をクリックして設定のカスタマイズを確定します。これで、[Custom] (カスタム)オプションを選択した設定ビューに戻ります。

タスクの結果

カスタムHadoopバージョンの設定を完了し、Hadoopの接続設定ビューに戻ったら、その接続に必要なその他のパラメーターを引き続き入力できます。

接続先のカスタムHadoopバージョンにYARNが含まれており、それを使用する場合は、[Distribution] (ディストリビューション)リストのとなりにある[Use YARN] (YARNを使用する)チェックボックスをオンにします。

カスタムHadoopクラスターへの接続をセットアップする方法についてHDFSを例に説明するビデオが、以下のリンクで入手できます。これはサポートされていないHadoopディストリビューションとも呼ばれています: サポートされていないHadoopディストリビューションをStudioに追加する方法。