このシナリオは、パイプラインでコネクターを簡単にセットアップして使用できるようにすることを目的としています。お使いの環境とユースケースに適応させてください。
手順
- [Connections] (接続) > [Add connection] (接続を追加)をクリックします。
-
開いたパネルで、作成する接続のタイプを選択します。
例
Marketo -
[Engine] (エンジン)リストでエンジンを選択します。
注:
- データの高度処理の場合は、Cloud Engine for DesignではなくRemote Engine Gen2を使用することをお勧めします。
- Talend Management Consoleから作成されたRemote Engine Gen2がないか、存在していても稼働中ではないステータスの場合は、リストで接続の[Connection type] (接続タイプ)を選択することも、新しい接続を保存することもできません。
- 使用可能な接続タイプのリストは、選択したエンジンによって異なります。
-
作成する接続のタイプを選択します。
ここではMarketoを選択します。
- Marketoのプロパティの説明に従って、Marketoアカウントにアクセスするための接続のプロパティを入力し、目的の接続にチェックを入れ、[ADD DATASET] (データセットを追加)をクリックします。
-
[Add a new dataset] (新しいデータセットを追加)パネルで、データセットに名前を付けます。この例では、マーケティングキャンペーン中に収集した顧客データがエンティティに含まれています。
例
Marketo上の顧客 -
必要なプロパティを入力してデータベースにあるテーブルにアクセスし、[VIEW SAMPLE] (サンプルを表示)をクリックしてデータセットサンプルのプレビューを表示します。
- [Validate] (検証)をクリックしてデータセットを保存します。
-
同じ操作で、パイプラインでデスティネーションとして使うSnowflakeのデータベースとテーブルを追加します。Snowflakeのプロパティの説明に従って、接続のプロパティを入力します。
この例では、CAMPAIGN_FULLNAMESという名前のSnowflakeテーブルが使われます。
- [Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
-
パイプラインに意味のある名前を付けます。
例
From Marketo to Snowflake - concatenate & insert - [ADD SOURCE] (ソースを追加)をクリックし、パネルが開いたら、[customers on marketo] (marketo上の顧客)というソースデータセットを選択します。
- をクリックし、パイプラインにプロセッサーを追加します。たとえばPythonプロセッサーを追加すると、ファーストネームとラストネームが連結され、意味のある名前が与えられます。
- パイプラインで[ADD DESTINATION] (デスティネーションを追加)アイテムをクリックしてパネルを開き、自分の出力データの挿入先となるSnowflakeテーブルを選択します。
- デスティネーションにload in Snowflakeなど、意味のある名前を付けます。
- デスティネーションの[Configuration] (運用設定)タブで[MAIN] (メイン)をクリックし、[Action] (アクション)リストで[INSERT] (挿入)を選択します。これでパイプライン実行時にデータをテーブルが挿入されます。
- [Save] (保存)をクリックして設定を保存します。
-
オプションとして、最後のプロセッサーをクリックし、処理データをプレビューします。
- Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
- リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。
タスクの結果
パイプラインは実行中となり、Marketoに保存されていた顧客データは処理され、出力フローは定義したSnowflakeターゲットテーブルに挿入されます。