始める前に
-
ソースデータを保管するシステムへの接続が作成済みであること。
ここでは、テスト接続を使用します。
-
ソースデータを保管するデータセットが追加済みであること。
type_converter-datacleansing-taxi.zipファイルをダウンロードして抽出します。階層タクシーデータ(乗車時刻、下車時刻、料金など)が含まれています。
-
接続および処理済みデータを保管する関連データセットも作成済みであること。
ここではテストデータセットを使用します。
手順
-
[Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
-
パイプラインに意味のある名前を付けます。
例
Fill empty cells with appropriate value
-
[ADD SOURCE] (ソースを追加)をクリックしてパネルを開きます。このパネルで、ソースデータを選択できます。ここでは、空のレコードを持つカラムが含まれているタクシー関連のデータ(.store_and_fwd_flag)です。
例
-
データセットを選択し、[Select] (選択)をクリックしてパイプラインに追加できるようにします。
必要であれば名前を変更します。
-
をクリックし、パイプラインにData cleansingプロセッサーを追加します。設定パネルが開きます。
-
プロセッサーに意味のある名前を付けます。
例
fill empty cells with N/A value
-
[Configuration] (設定)エリアで以下の操作を行います。
-
購入価格に税額を追加する場合は、[Function name] (ファンクション名)リストで[Fill cells with value] (セルに値を入力)を選択します。
-
レコードが空のフィールドに該当する場合は、[Fields to process] (処理するフィールド)リストで.store_and_fwd_flagを選択します。
-
空のレコードをすべてN/A値に置換する場合は、[Use with] (次を使用)リストで[Value] (値)を選択し、その[Value] (値)フィールドにN/Aと入力します。
-
[Save] (保存)をクリックして設定を保存します。
プロセッサーのプレビューに注目し、クレンジング前のデータとクレンジング後のデータを比較します。
-
[ADD DESTINATION] (デスティネーションを追加)をクリックし、クレンジング済みデータを保持するデータセットを選択します。
必要であれば名前を変更します。
-
Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
-
リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。
タスクの結果
パイプラインは実行中となり、空のレコードは指定した固定値で置換され、出力フローは指定のターゲットシステムに送信されます。