Sparkで使うS3サービスに接続を設定 - 7.2

Databricks

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン > Hadoopディストーション > Databricks
ジョブデザインと開発 > ジョブデザイン > Serverless > Databricks

手順

  1. tS3Configurationをダブルクリックして[Component] (コンポーネント)ビューを開きます。
    Sparkはこのコンポーネントを使って、ジョブが実際のビジネスデータを書き込むS3システムに接続します。Databricks on AWSをサポートするtS3Configurationもその他の設定コンポーネントも配置していない場合、このビジネスデータはDatabricksファイルシステム(DBFS)で書かれます。

    例え

  2. [Access key] (アクセスキー)[Secret key] (シークレットキー)フィールドに、S3への認証に使うキーを入力します。
  3. [Bucket name] (バケット名)フィールドに、ビジネスデータの保管に使うバケットとこのバケット内のフォルダーの名前を入力します(例: mybucket/myfolder)。このフォルダーが存在しない場合はオンザフライで作成されますが、バケットがランタイムで既に存在している必要があります。