ビッグデータバッチジョブを作成 - 8.0

Talend Data Mapperユーザーガイド

Version
8.0
Language
日本語
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン
Last publication date
2024-03-28

tHMapInputと2つの出力コンポーネントを持つジョブを作成し、JSONファイルを2つのCSVファイルに変換します。

このタスクについて

この例では入力にローカルファイルを使用していますが、HDFS接続を作成することもできます。詳細は、HDFSコンポーネントをご覧ください。

手順

  1. Integrationパースペクティブで[Job Designs] (ジョブデザイン)ノードを右クリックし、[Create Big Data Batch Job] (ビッグデータバッチジョブを作成)をクリックします。
  2. ジョブの名前、目的、説明を入力して[Finish] (終了)をクリックします。
  3. 次のコンポーネントをデザインワークスペースに追加します。
    • tHMapInput
    • tFileOutputDelimited
  4. tHMapInputをクリックして[Components] (コンポーネント)タブに移動し、コンポーネントを設定します。
    1. ローカルファイルで作業している場合は、[Define a storage configuration component] (ストレージ設定コンポーネントを定義)をオフにします。
    2. [Input] (入力)フィールドに、入力ファイルへのパスを入力します。

      "c:/users/jsmith/documents/courses.json"
  5. tFileOutputDelimitedをダブルクリックして設定を行います:
    1. [Define a storage configuration component] (ストレージ設定コンポーネントを定義)をオフにします。
    2. [Edit schema] (スキーマを編集)の横にある[...]ボタンをクリックし、カラムを2つ作成してそれぞれidtitleという名前を付けます。
    3. 出力ファイルが作成されるフォルダーへのパスを入力します。

      "c:/users/jsmith/documents/modules"
  6. tFileOutputDelimitedコンポーネントを右クリックし、[Copy] (コピー)をクリックしてデザインワークスペースに貼り付けて、同じ設定で2番目のコンポーネントを作成します。
  7. tFileOutputDelimited_2を右クリックし、[Folder] (フォルダー)フィールドの値を変更します。

    "c:/users/jsmith/documents/sections"
  8. [Row] (行) > [Main] (メイン)で、modulessectionsという名前の接続でtHMapInputを2つのtFIleOutputDelimitedコンポーネントにリンクさせ、ターゲットコンポーネントからスキーマを取得するかどうか尋ねられた場合は[Yes] (はい)をクリックします。
    ジョブは次のようになります。
  9. tHMapInputジョブをダブルクリックし、ウィザードに従ってマップを生成します。
    1. ビッグデータバッチジョブの入力ストラクチャーを作成で作成されたストラクチャーを選択して[Next] (次へ)をクリックします。
    2. [Start/End with] (開始/終了文字)を選択します。
      この例では、次の正規表現が[Start/End with] (開始/終了文字)フィールド: \{\s*(\'course\'|\"course\")に自動的に追加されます。
    3. オプション: [...]ボタンをクリックしてサンプル入力ファイルを追加し、[Run] (実行)をクリックして見つかったレコードをチェックします。
      この場合、見つかるレコードは3つです。

    4. [Finish] (終了)をクリックします。

タスクの結果

マップが生成されます。このマップは、前に作成され、tFileOutputDelimitedコンポーネントで定義されたスキーマから出力ストラクチャーを生成した入力ストラクチャーを使用します。これでエレメントをマッピングできるようになります。