最新のビッグデータプラットフォームをダイナミックに追加する - Cloud

Talend Cloud Real-Time Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
ジョブデザインと開発
EnrichPlatform
Talend Management Console
Talend Studio

Studioで使用するビッグデータプラットフォームにサポートがない場合は、以下に説明する手順に従ってこのディストリビューションを追加し、Studioで使用できるようにします。

最新バージョンのStudioでは、この手順を使ってClouderaとHortonworksのディストリビューションのみを追加することができます。この手順では、Clouderaを使用してダイナミックディストリビューションをStudioに追加する方法を説明します。

この機能により、Talend Studioのリリース時にはまだリリースされていなかったClouderaまたはHortonworksのバージョンを使用する際の俊敏性と柔軟性が向上します。何回かクリックしてこのバージョンを追加するだけで準備は完了します。

この方法で追加されたダイナミックディストリビューションは一般に、ユーザーのディストリビューションのTalend認証メジャーリリースのマイナーバージョンです。Talendはディストリビューションベンダーの互換性ステートメントに依拠して、Studioとこれらのマイナーバージョンとの互換性を確認します。また、この方法で、これらのマイナーバージョンおよびTalend認証バージョン Talend認証ディストリビューションバージョン、および認証バージョンと互換バージョンに関するTalendの一般的なサポートポリシーは、Talendジョブでサポートされているビッグデータプラットフォームディストリビューションのバージョンを参照して下さい。
  • HDP 3.xのダイナミックディストリビューションは、テクニカルプレビューにあります。

  • ディストリビューションのバージョンリストに、[Builtin] (組み込み)というラベルの付いたバージョンがいくつかあります。Studioのリリース時に、これらのバージョンがダイナミックディストリビューションメカニズムを使用してTalendによって追加され、Studioとともに提供されました。これらはTalendによって認定されており、したがって、公式にサポートされており、すぐに使用することができます。

始める前に

前提条件:
  • Talendソリューションの1つとビッグデータ。

手順

  1. Integrationパースペクティブで、[File] (ファイル) > [Edit project properties] (プロジェクトプロパティの編集)をクリックして[Project settings] (プロジェクト設定)ダイアログボックスを開きます。
  2. [General] (全般)ノードを展開し、[Dynamic distribution settings] (ダイナミックディストリビューションの設定)をクリックしてビューを開きます。
  3. [Distribution] (ディストリビューション)ドロップダウンリストから[Cloudera]を選択します。
  4. ダウンロードするダイナミックディストリビューションjarファイルを保存するローカルNexusリポジトリを設定します。
    必須ではありませんが、このステップにより、他のユーザーまたは他のStudioインスタンスが同じjarファイルをダウンロードする時間が大幅に短縮されます。
    1. ローカルNexusリポジトリ上にプロキシを設定し、このプロキシを専用のTalendプロキシにリンクします: https://talend-update.talend.com/nexus/content/groups/dynamicdistribution/
      このTalendプロキシへの接続に使用する資格情報は次のとおりです。
      • ユーザー名: studio-dl-client
      • パスワード: studio-dl-client

      ローカルプロキシを作成するときに、このローカルプロキシに固有の資格情報を定義する必要があります。Nexusプロキシの作成方法のサンプルは、NexusのドキュメンテーションからProxy settingsを参照して下さい。

    2. [Dynamic distribution settings] (ダイナミックディストリビューション設定)ビューで、[Override default setup] (デフォルト設定の上書き)チェックボックスを選択して、[Repository] (リポジトリー)フィールドを有効にします。
    3. [Repository] (リポジトリー)フィールドに、ローカルプロキシのURLと、このプロキシに定義した資格情報を入力します。
  5. [Dynamic distribution setup] (ダイナミックディストリビューションの設定)ボタンをクリックしてダイナミックディストリビューション設定ウィザードを開きます。
  6. [Create new dynamic configuration] (ダイナミック設定の新規作成)ラジオボタンを選択し、[Refresh] (最新の情報に更新)をクリックして接続先Clouderaリポジトリで利用可能なClouderaバージョンを[Version] (バージョン)ドロップダウンリストに表示します。
  7. Studioで使用する設定を生成する対象のClouderaバージョンを選択します。
  8. [Finish] (終了)をクリックします。

    Studioではこのディストリビューションの設定ファイルをClouderaリポジトリから取得し始めます。この取得にはしばらく時間がかかることがあります。

    完了したら[Dynamic distribution setup] (ダイナミックディストリビューションのセットアップ)ウィザードは自動的に閉じ、[Dynamic distribution settings] (ダイナミックディストリビューションの設定)ビューに戻ります。新しく生成された「ダイナミック」ディストリビューションは、[Version] (バージョン)リストに表示されます。

  9. 必要に応じてこのオペレーションを繰り返し、別のバージョンをさらに追加することもできます。または、[OK]をクリックして[Project settings] (プロジェクト設定)ダイアログボックスを閉じます。

タスクの結果

この新しいバージョンは、Studioと共に提供される組み込みディストリビューションと同様に使用できます。以下のような処理が可能です。
  • このダイナミックディストリビューションへの接続を[Repository] (リポジトリー)で設定し、Talendジョブでこの接続を再利用します。

  • このダイナミックディストリビューションをジョブで直接使用します。ジョブをビルドしてZip内に実行可能ファイルを生成し、実行可能ファイルをWindowsで実行する必要がある場合は、.batスクリプトを使用せず、.ps1スクリプトを使用します。

ジョブをエクスポートする場合は通常、[Repository] (リポジトリー)で定義した接続などの依存関係と共にエクスポートできますが、ダイナミックディストリビューションへの接続は同様にエクスポートすることができません。接続をエクスポートする必要がある場合は、ダイナミックビッグデータプラットフォームディストリビューションの設定をエクスポートまたはインポートするを参照して下さい。