パイプラインの作成 - Cloud

Talend Cloud Pipeline Designerユーザーガイド

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Pipeline Designer
task
ジョブデザインと開発 > パイプラインのデザイン
デプロイメント > デプロイ中 > パイプラインの実行
データガバナンス > データのフィルタリング
データクオリティとプレパレーション > データのフィルタリング
データクオリティとプレパレーション > データセットの管理
管理と監視 > ログの監視
管理と監視 > 実行の監視
パイプラインを最初から作成する方法について説明します。

手順

  1. ホームページで[Pipelines] (パイプライン) > [ADD PIPELINE] (パイプラインの追加)をクリックします。
  2. 上のツールバーで、パイプラインに名前を付けます。
  3. ソースを追加するには、キャンバスで[ADD SOURCE] (ソースの追加)プレースホルダーをクリックします。
  4. パイプラインで使用するデータセットを選択します:
    • データセットを既に作成している場合は、[Select a source] (ソースの選択)パネルのリストから選択して[SELECT] (選択)をクリックします。
    • 作成していない場合は、データセットの作成の説明に従って[ADD DATASET] (データセットの追加)をクリックし、新しいデータセットを追加します。
  5. アイコンをクリックして、必要に応じて1つまたは複数の処理コンポーネントを選択します(フィルタリング、クレンジング、集計など)。
    [Add a processor] (プロセッサーの追加)パネルでは、メインリストからプロセッサーを選択するか、テキストボックスに名前や説明を入力できます。
  6. デスティネーション(データを消費し、選択したシステムに送信するターゲットコンポーネント)を追加する場合は、キャンバスで[ADD DESTINATION] (デスティネーションの追加)プレースホルダーをクリックします。
  7. デスティネーションデータセットを選択します:
    • データセットを既に作成している場合は、[Select a destination] (デスティネーションの選択)パネルのリストから選択して[SELECT] (選択)をクリックします。
    • 作成していない場合は、データセットの作成の説明に従って[ADD DATASET] (データセットの追加)をクリックし、新しいデータセットを追加します。
    S3入力からデータを消費し、データを正規化およびフィルタリングして、選択した一部のデータをHDFSクラスターに送信し、リジェクトされたデータを別のHDFSクラスターに送信するパイプラインの例をここに示します。

    パイプラインを実行する前には、デザインプロセスの各ステップでデータのプレビューを確認できます。