Hadoop接続の一元化 - Cloud - 7.3

Talend Studioユーザーガイド

Version
Cloud
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発
Last publication date
2023-09-13
対象製品...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

このタスクについて

特定のHadoopディストリビューションへの接続を[Repository] (リポジトリー)でセットアップすると、同じHadoopディストリビューションを使用するたびに接続を設定する必要がなくなります。

[Hadoop cluster] (Hadoopクラスター)ノードからHDFS、HiveなどHadoopの個々のエレメントへの接続を作成する前に、Hadoopの接続を定義する必要があります。

前提条件:
  • Talend Studioがインストールされているクライアントマシンが、使用するHadoopクラスターのノードのホスト名を認識できることを確認する必要があります。そのためには、そのHadoopクラスターのサービスに使用するIPアドレス/ホスト名のマッピングエントリーをクライアントマシンのhostsファイルに追加します。

    たとえば、Hadoopネームノードサーバーのホスト名がtalend-cdh550.weave.localで、IPアドレスが192.168.x.xの場合、マッピングエントリーは192.168.x.x talend-cdh550.weave.localとなります。

  • 使用するHadoopクラスターが正しく構成され、実行されています。

  • Integrationパースペクティブがアクティブであること。

  • StudioからMapRに接続する場合は、Studioと同じマシンにMapRクライアントがインストールされており、MapRクライアントのライブラリーがそのマシンのPATH変数に追加されていることを確認します。MapRのドキュメンテーションによると、各OSバージョンに対応するMapRクライアントのライブラリーは、MAPR_INSTALL\/hadoop\hadoop-VERSION/lib/nativeにあるとされています。たとえば、Windows版のライブラリーは、\lib\native\MapRClient.dllにあるMapRクライアントのjarファイルにあります。詳細は、MapRからhttp://www.mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-maprをご覧ください。

[Repository] (リポジトリー)でHadoop接続を作成するには、以下のようにします:

手順

  1. StudioのRepository (リポジトリー)ツリービューで、Metadata (メタデータ)を展開し、Hadoop cluster (Hadoopクラスター)を右クリックします。
  2. コンテキストメニューから[Create Hadoop cluster] (Hadoopクラスターの作成)を選択し、[Hadoop cluster connection] (Hadoopクラスターの接続)ウィザードを開きます。
  3. [Name] (名前)[Description] (説明)など、この接続に関する一般情報を入力し、[Next] (次へ)をクリックして[Hadoop Configuration Import Wizard] (Hadoop設定インポートウィザード)ウィンドウを開きます。ここで手動または自動モードを選択して接続を設定します。