カスタムHadoopディストリビューションへの接続 - Cloud - 8.0

Talend Studioユーザーガイド

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発
Last publication date
2024-02-13
対象製品...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

[Distribution] (ディストリビューション)ドロップダウンリストから[Custom] (カスタム)オプションを選択すると、Talend Studioから提供される[Distribution] (ディストリビューション)リストにはないHadoopディストリビューションに接続します。

このタスクについて

この[Custom] (カスタム)オプションを選択したら、ボタンをクリックして[Import custom definition] (カスタム定義をインポート)ダイアログボックスを表示し、以下のようにします:

Talendはカスタムバージョンを公式にサポートしていません。Talendとそのコミュニティでは、Talend Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。

手順

  1. 必要に応じて、[Import from existing version] (既存のバージョンからインポート)または[Import from zip] (Zipからインポート)のいずれかを選択して、接続するカスタムHadoopディストリビューションを設定します。
    • 接続先のカスタムHadoopディストリビューションの設定用ZIPファイルがある場合は、[Import from zip] (ZIPからインポート)を選択します。

    • または、[Import from existing version] (既存のバージョンからインポート)を選択して、正式にサポートされているHadoopディストリビューションをインポートし、これをベースとして次のウィザードでカスタマイズします。このアプローチを採用するには、使用するHadoopディストリビューションの設定についての知識が必要です。

    このウィザードのチェックボックスを使って、インポートするHadoopのエレメントを選択します。接続を作成する時の状況によって、これらすべてのチェックボックスがウィザードに表示されないことがあります。たとえばSparkでこの接続を作成する場合は、[Spark]チェックボックスのみ表示されます。
  2. [Import from existing version] (既存のバージョンからインポート)[Import from zip] (ZIPからインポート)のどちらを選択した場合でも、インポートするHadoopのエレメントのチェックボックスをそれぞれオンにしてください。
  3. OKをクリックすると、ポップアップ警告が表示されます。前に実装したjarファイルのカスタムセットアップを上書きする場合は、[Yes] (はい)をクリックします。
    完了すると、[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスがアクティブになります。
    このダイアログボックスには、インポートするHadoopのモジュールとそのjarファイルがリストされます。
  4. [Import from zip] (ZIPからインポート)を選択した場合は、OKをクリックしてインポートの設定を確定します。
    [Import from existing version](既存のバージョンからインポート)を選択した場合は、jarファイルを追加してバージョンをカスタマイズします。カスタマイズするHadoopエレメントのタブ([Spark]タブなど)で[+]ボタンをクリックし、[Select libraries] (ライブラリーを選択)ダイアログボックスを開きます。
  5. [External libraries] (外部ライブラリー)オプションを選択して、ビューを表示します。
  6. インポートするjarファイルを参照して選択します。
  7. OKをクリックして変更を確定し、[Select libraries] (ライブラリーを選択)ダイアログボックスを閉じます。
    完了すると、設定したHadoopのエレメントのタブのリストに、選択したjarファイルが表示されます。
    カスタムHadoopセットアップを別のTalend Studioと共有する必要がある場合は、ボタンを使って、このカスタム接続を[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ウィンドウからエクスポートできます。
  8. [Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスでOKをクリックして設定のカスタマイズを確定します。これで、[Custom] (カスタム)オプションを選択した設定ビューに戻ります。

タスクの結果

カスタムHadoopバージョンの設定を完了し、Hadoopの接続設定ビューに戻ったら、その接続に必要なその他のパラメーターを引き続き入力できます。

接続先のカスタムHadoopバージョンにYARNが含まれており、それを使用する場合は、[Distribution] (ディストリビューション)リストの横にある[Use YARN] (YARNを使用する)チェックボックスをオンにします。

カスタムHadoopクラスターへの接続をセットアップする方法についてHDFSを例に説明するビデオが、以下のリンクで入手できます。これはサポートされていないHadoopディストリビューションとも呼ばれています: サポートされていないHadoopディストリビューションをStudioに追加する方法