メイン コンテンツをスキップする 補完的コンテンツへスキップ

クラウドファイルストレージ(S3)にデータを書き込む

始める前に

  • ユーザーまたはユーザーグループにAmazon S3リソースにアクセスするための適切なアクセス権限が付与されていることを確認します。

    アクセス権限がない場合は、以下のオプションのいずれかを試すことができます。
    1. (推奨) Amazonアカウントを管理する管理者に問い合わせ、ユーザーに正しいS3アクセス権限を付与してもらいます。
    2. 権限が付与されている場合は、Amazonのドキュメンテーションに従ってアクセスポリシーを設定してください。
    3. (非推奨) IAMコンソールを使用して、AmazonS3FullAccessポリシーをグループ/ユーザーにアタッチします。これにより、特定のバケットに対して無制限にS3リソースを読み書きできるようになります。ただし、これは緊急処置であり、Talendでは推奨されていません。
    情報メモ注: 十分なアクセス権限のないS3リソースにアクセスしようとした時に表示されるデフォルトエラーは、[Bad Gateway] (不正ゲートウェイ)になります。

  • financial_transactions.avroファイルをダウンロードします。

  • Talend Management ConsoleからMoteur distant Gen2とその実行プロファイルを作成します。

    ユーザーがアプリをすばやく開始できるよう、Talend Management ConsoleにはMoteur Cloud pour le designとそれに対応する実行プロファイルがデフォルトで組み込まれていますが、データの高度な処理のためにはセキュアなMoteur distant Gen2をインストールすることをお勧めします。

手順

  1. Amazon S3のドキュメンテーションの説明に従って、financial_transactions.avroファイルをAmazon S3バケットにアップロードします。
  2. Talend Cloud Pipeline Designerのホームページで[Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  3. パネルが開いたら、接続に名前(S3 connectionなど)を付けます。
  4. [Engine] (エンジン)リストで自分のMoteur distant Gen2を選択します。
    情報メモ重要: Moteur distant Gen2のステータスが稼働中を意味する[AVAILABLE] (利用可能)でない場合は、リストで[Connection type] (接続タイプ)を選択することも、新しい接続を保存することもできません。使用可能な接続タイプのリストは、選択したエンジンによって異なります。
  5. [Connection type] (接続タイプ)リストで[S3 connection] (S3接続)を選択します。
    [Add a new connection] (新しい接続を追加)ウィザード。
  6. 認証情報を入力し、接続をチェックします。
  7. [Add dataset] (データセットを追加)をクリックし、前にS3バケットにアップロードしたファイルをポイントします。
  8. [Add a new dataset] (新しいデータセットを追加)パネルで、S3バケットの接続情報を入力します。
    1. たとえば、データセットの名前はfinancial data on S3のようにします。
    2. [AWS bucket name] (AWSバケット名)フィールドで、S3バケットの名前を選択するか入力します。
    3. [Object name] (オブジェクト名)フィールドに、S3バケットに以前にアップロードしたfinancial_transactions.avroファイルのパスを入力します。
    4. [Format] (フォーマット)リストで、[Auto decet] (自動検出)をクリックしてフォーマットを自動的に検出し、リストでAvroを選択します。
  9. [View sample] (サンプルを表示)をクリックして、データが有効かつプレビュー可能であることを確認します。
    [Add a new dataset] (データセットを追加)ウィザード。
  10. [Validate] (検証)をクリックしてデータセットを保存します。

タスクの結果

[Datasets] (データセット)ページで、新しいデータセットがリストに追加され、以前に作成したユースケースを再現できます。
キャンバスのパイプライン。
このパイプラインを実行する前に、S3で既存のデータを上書きするか、デスティネーションデータセット設定タブでマージするかを選択します。
[Configuration] (設定)タブからパイプライン実行の詳細を設定。

パイプラインが実行されると、更新されたデータがAmazon S3にあるファイルで表示されます。

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

こちらにフィードバックをお寄せください