Talend StudioのSparkまたはYARNでジョブを実行 - 8.0

プロジェクトの作成は、Talend Studioを使用するための最初のステップです。プロジェクトによって仕事をよりよく整理できるようになります。

1. [Create a new project] (新しいプロジェクトを作成)を選択します。
2. プロジェクトの名前を入力します。

   例

   TalendDemo
3. [Create] (作成)をクリックします。
4. [Finish] (終了)をクリックします。

Talend Studioでは、ビッグデータ処理のためにSparkやMapReduceでBatchジョブやStreamingジョブを作成できます。

1. [Repository] (リポジトリー)で、[Job Designs] (ジョブデザイン)を右クリックします。
   1. [Create Big Data Batch Job] (ビッグデータバッチジョブを作成)をクリックします。
2. [Name] (名前)フィールドに、名前を入力します。

   例

   ReadHDFS_Spark_or_YARN
3. フレームワークととして次のいずれかを選択します。
   • Spark
   • MapReduce (非推奨)
4. オプション: [Purpose] (目的)フィールドに目的を入力します。

   例

   Read and sort customer data
5. オプション: [Description] (説明)フィールドに説明を入力します。

   例

   Read and sort customer data stored in HDFS from a Big Data Batch Job running on Spark or YARN
   ヒント: [Purpose] (目的)と[Description] (説明)を入力して整理します。
6. [Finish] (終了)をクリックします。

tHDFSConfigurationコンポーネントを使えば、HDFSファイルシステムをSparkに接続させることができます。

1. [Repository] (リポジトリー)で[Metadata] (メタデータ) > [Hadoop Cluster] (Hadoopクラスター)を展開した後に、目的のHadoopクラスターメタデータを展開します。
   1. HadoopクラスターのメタデータがあるHDFSフォルダーを展開します。
   2. HDFSメタデータを[Designer] (デザイナー)にドラッグ＆ドロップします。
   3. tHDFSConfigurationコンポーネントを選択します。
      [Hadoop Configuration Update Confirmation] (Hadoop設定情報のアップデートの確認)ウィンドウが開きます。
2. [OK]をクリックします。

事前定義済みHDFSメタデータを使えば、SparkのHDFSファイルシステムからデータを読み取ることができます。

1. [Designer] (デザイナー)に入力コンポーネントを追加します。

   例

   tFileInputDelimitedコンポーネントを追加します。
2. コンポーネントをダブルクリックします。
   [Storage] (ストレージ)の下で、コンポーネントがtHDFSConfigurationコンポーネント情報と共に設定されます。

   
3. [Edit schema] (スキーマを編集)の横にある[...]ボタンをクリックします。
   
4. プラスボタンをクリックしてデータカラムを追加します。

   例

   1. CustomerID
   2. FirstName
   3. LastName
5. [Types] (タイプ)カラムを選択します。

   例

   CustomerIDには、Integer Typeを選択します。
6. [OK]をクリックします。
7. [File Name] (ファイル名)フィールドにファイルパスと目的のファイルの名前を入力します。

tHDFSConfigurationコンポーネントを使えば、HDFSファイルシステムをYARNに接続させることができます。

1. [Repository] (リポジトリー)で[Metadata] (メタデータ) > [Hadoop Cluster] (Hadoopクラスター)を展開した後に、目的のHadoopクラスターメタデータを展開します。
   1. HadoopクラスターのメタデータがあるHDFSフォルダーを展開します。
   2. HDFSメタデータを[Designer] (デザイナー)にドラッグ＆ドロップします。
   3. 入力コンポーネントを選択します。

   例

   tFileInputDelimitedコンポーネントを選択します。
   [Hadoop Configuration Update Confirmation] (Hadoop設定情報のアップデートの確認)ウィンドウが開きます。
2. [OK]をクリックします。

事前定義済みHDFSメタデータを使えば、YARNのHDFSファイルシステムからデータを読み取ることができます。

1. 入力コンポーネントをダブルクリックします。
   コンポーネントがHDFSのメタデータ情報と共に設定されます。
2. [Edit schema] (スキーマを編集)の横にある[...]ボタンをクリックします。
3. プラスボタンをクリックしてデータカラムを追加します。

   例

   1. CustomerID
   2. FirstName
   3. LastName
4. [Types] (タイプ)カラムを選択します。

   例

   CustomerIDには、Integer Typeを選択します。
5. [OK]をクリックします。
6. [File Name] (ファイル名)フィールドにファイルパスと目的のファイルの名前を入力します。