Sparkで使うS3サービスに接続を設定 - Cloud - 8.0

Amazon S3

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > Amazonサービス > Amazon S3
データガバナンス > サードパーティーシステム > Amazonサービス > Amazon S3
データクオリティとプレパレーション > サードパーティーシステム > Amazonサービス > Amazon S3

手順

  1. tS3Configurationをダブルクリックして[Component] (コンポーネント)ビューを開きます。
    Sparkはこのコンポーネントを使って、ジョブが実際のビジネスデータを書き込むS3システムに接続します。Databricks on AWSをサポートするtS3Configurationもその他の設定コンポーネントも配置していない場合、このビジネスデータはDatabricksファイルシステム(DBFS)で書かれます。

  2. [Access key] (アクセスキー)[Secret key] (シークレットキー)フィールドに、S3への認証に使うキーを入力します。
  3. [Bucket name] (バケット名)フィールドに、ビジネスデータの保管に使うバケットとこのバケット内のフォルダーの名前を入力します(例: mybucket/myfolder)。このフォルダーが存在しない場合はオンザフライで作成されますが、バケットがランタイムで既に存在している必要があります。