Sparkが使用するファイルシステムへの接続の設定 - 7.3

処理(インテグレーション)

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > 変換処理コンポーネント
データガバナンス > サードパーティーシステム > 変換処理コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > 変換処理コンポーネント

Google DataprocまたはHDInsightを使用している場合は、このセクションをスキップしてください。これら2つのディストリビューションの場合、この接続は[Spark configuration] (Spark設定)タブで設定するためです。

手順

  1. tHDFSConfigurationをダブルクリックして、その[Component] (コンポーネント)ビューを開きます。

    Sparkはこのコンポーネントを使って、ジョブに依存するjarファイルの転送先HDFSシステムに接続します。

  2. HDFS接続メタデータを[Repository] (リポジトリー)内の[Hadoop cluster] (Hadoopクラスター)ノードの下で定義した場合は、[Property type] (リポジトリータイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックして、[Repository content] (リポジトリーのコンテンツ)ウィザードから定義済みのHDFS接続を選択します。

    再利用可能なHDFS接続の設定に関する詳細は、Talend Data Fabric Studioユーザーガイドを参照してください。

    再利用可能なHDFS接続の設定に関する詳細は、 Talend Help Center (https://help.talend.com)でHDFSメタデータの一元管理を検索してください。

    この手順を完了すると、tHDFSConfigurationの設定に関する以下の手順はスキップできます。必須フィールドはすべて自動入力されているためです。

  3. [Version] (バージョン)エリアで、接続する必要のあるHadoopディストリビューションとそのバージョンを選択します。
  4. [NameNode URI]フィールドで、クラスターのNameNodeサービスをホストするマシンのロケーションを入力します。 WebHDFSを使用している場合、ロケーションはwebhdfs://masternode:portnumberとなります。WebHDFS with SSLはまだサポートされていません。
  5. [Username] (ユーザー名)フィールドで、使用するHDFSシステムへの接続に使う認証情報を入力します。ユーザー名は、[Spark configuration] (Spark設定)タブで入力したユーザー名と同じにする必要があります。