2番目のジョブの作成 - 7.2

ビッグデータジョブの例

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン
ジョブデザインと開発 > ジョブデザイン > Hadoopディストーション
ジョブデザインと開発 > ジョブデザイン > ジョブフレームワーク > 標準ジョブ
以下の手順に従って2番目のジョブを作成します。このジョブは、アクセスログファイルをHCatalogにアップロードします。

手順

  1. サンプルジョブの役割と実行順序がわかるように、このジョブにB_HCatalog_Loadという名前を付けます。
  2. [Palette] (パレット)からデザインワークスペースに、tApacheLogInputtFilterRowtHCatalogOutputtLogRowの各コンポーネントをドロップします。
  3. tApacheLogInputコンポーネントとtFilterRowコンポーネントを[Row] (行) > [Main] (メイン)接続でリンクします。次に、tFilterRowコンポーネントとtHCatalogOutputコンポーネントを[Row] (行) > [Filter] (フィルター)接続でリンクします。

    このデータフローによって、分析対象のログファイルがHCatalogデータベースにロードされ、"301"エラーコードが付いたレコードは削除されます。

  4. tFilterRowコンポーネントとtLogRowコンポーネントを[Row] (行) > [Reject] (リジェクト)接続でリンクします。

    このフローによって、コンソールに、"301"エラーコード付きのレコードが出力されます。

  5. これらのコンポーネントに、その機能が推測できるようなラベルを付けます。