メイン コンテンツをスキップする 補完的コンテンツへスキップ

クラウドデータスウェアハウス(Snowflake)にデータを書き込む

Availability-noteBeta

始める前に

  • financial_transactions.avroファイルをダウンロードしてAmazon S3バケットにアップロード済みであること。

  • クラウドストレージ(S3)にデータを書き込むの説明に従ってパイプラインを再現および複製済みであること。作業は、複製されたそのパイプラインで行われます。
  • Talend Management ConsoleからMoteur distant Gen2とその実行プロファイルを作成済みであること。

    ユーザーがアプリをすばやく開始できるよう、Talend Management ConsoleにはMoteur Cloud pour le designとそれに対応する実行プロファイルがデフォルトで組み込まれていますが、データの高度な処理のためにはセキュアなMoteur distant Gen2をインストールすることをお勧めします。

手順

  1. Talend Cloud Pipeline Designerのホームページで[Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  2. 開いたパネルでSnowflakeを選択し、[Next] (次へ)をクリックします。
  3. [Engine] (エンジン)リストで自分のMoteur distant Gen2を選択します。
  4. [Connection type] (接続タイプ)リストで[Database] (データベース)を、[Database] (データベース)リストでSnowflakeをそれぞれ選択します。
  5. データベースJDBC URLと認証情報を入力します。
  6. 必要に応じて接続をチェックし、[Next] (次へ)をクリックします。
  7. 接続に名前(この例ではSnowflake connection)を付け、[Validate] (検証)をクリックします。
  8. [Add dataset] (データセットを追加)をクリックし、Snowflakeテーブルへの接続情報を入力します:
    1. データセットに表示名(financial data on Snowflakeなど)を付けます。
    2. [Type] (タイプ)リストで、[Table or view name] (テーブル名またはビュー名)を選択します。
    3. [Table name] (テーブル名)リストで、Snowflakeテーブルの名前を選択または入力します。
    4. [Column selection] (カラム選択)フィールドで、取得したい特定のテーブルカラムを選択するか、[Select all] (すべて選択)をクリックして既存のカラムをすべて取得します。この例では、transaction_amountフィールドとtransaction_codeフィールドが選択されています。
  9. [View sample] (サンプルを表示)をクリックして、データが有効かつプレビュー可能であることを確認します。
    Snowflakeデータサンプルのプレビュー。
  10. [Validate] (検証)をクリックしてデータセットを保存します。[Datasets] (データセット)ページに新しいデータセットがリストに追加されます。これはパイプラインでデスティネーションデータセットとして使用できます。
    S3ソース、Python 3プロセッサー、Filterプロセッサー、Aggregateプロセッサー、Snowflakeデスティネーションを伴うパイプライン。

    入力スキーマがフラットでないため、デスティネーションの横にあるデータマッピングアイコンはこの時点では無効になっています。

  11. +アイコンをクリックしてAggregateプロセッサーの後にField selectorプロセッサーを追加し、保持したいフィールドを選択してスキーマをフラットにします。設定パネルが開きます。
  12. [Simple] (シンプル)選択モードで、[Edit] (編集)をクリックして[Select fields] (フィールドを選択)ウィンドウを開きます:
    1. 保持してフラット化したいフィールドであるdescriptionとtotal_amountを選択します。
    2. [Edit] (編集)をクリックしてウィンドウを閉じます。
    3. [Save] (保存)をクリックすると、設定が保存され、フラット化されたフィールドがプレビューされます。
    財務レコードの再編成後のField selectorプロセッサーのプレビュー。
  13. 入力スキーマがフラットになったので、[Add a Mapper] (マッパーを追加)アイコンが有効になり、パイプラインにData mappingプロセッサーを追加できるようになります。設定パネルが開きます。
    キャンバスにData mappingプロセッサーを追加するためのアイコン。
  14. [Configuration] (設定)タブで[Open mapping] (マッピングを開く)をクリックし、Data mappingプロセッサーを開きます。
    入力フィールドの一部は、その名前に基づいて自動的に出力フィールドとマッピングされます。そのようなフィールドをレビューし、スキーマの残りの部分のマッピングを開始します。
    1. total_amount入力フィールドをtransaction_amount出力フィールドにマッピングします。
    2. description入力フィールドをtransaction_code出力フィールドにマッピングします。
    3. [Validate] (検証)をクリックしてマッピングを確定します。
    マッピングされたレコードのプレビューを備えたデータマッパーページ。

    total_amount入力フィールドのコンテンツは、データベースで設定されている操作(挿入、アップデート、アップサート、削除)に従ってtransaction_amount出力フィールドのコンテンツに追加されます。

    description入力フィールドのコンテンツは、transaction_code出力フィールドのコンテンツに追加されます。

    マッピングの結果は[Data preview] (データ プレビュー)エリアでチェックできます。
    以前と同じパイプラインで、Snowflakeデスティネーションの前にData mapperプロセッサーを追加したもの。
  15. このパイプラインを実行する前に、Snowflakeデータセットの設定タブで[Upsert] (アップサート)を選択し、Snowflakeテーブルに新しいデータをアップデートして挿入します。transaction_amountフィールドを操作キーとして定義します。
    Snowflakeデスティネーション設定パネルでアップサートアクションが選択されている状態。
  16. Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
  17. リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。

タスクの結果

パイプラインが実行されると、アップデートされたデータがSnowflakeデータベーステーブルに表示されるようになります。

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

こちらにフィードバックをお寄せください