テストケースを使用したSparkジョブのテスト - 7.3

Talend Big Data Platform Studio ユーザーガイド

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発
テストケースを使用したジョブのテストで説明されているテストフレームワークは、継続的インテグレーションの開発中にSparkジョブにも適用できます。これは、Sparkジョブが大きなデータセットを処理するために実際に実行された時に想定どおりに機能することを確認するためです。

Sparkテストケースを完了するには、テストケースを使用したジョブのテストに説明されているのと同じ手順に従う必要があります。ただし、Sparkジョブには異なる専用のテストスケルトンがあることにご注意ください。

デフォルトでは、Sparkテストスケルトンには以下が含まれています。

  • 1つ以上のtFixedFlowInputコンポーネント(またはSpark Streamingジョブの場合はtBoundedStreamInput)。入力ファイルをロードするジョブ内の入力フローの数によります。

  • 読み取り専用のINPUTおよびOUTPUTアイコン。テストする部分の最初と最後を示すために使用します。

  • 1つ以上のtCollectAndCheckコンポーネント。一時出力ファイルを参照ファイルと比較するためのジョブ内の出力フローの数によります。比較されたファイルペアが同一であればテストは成功、そうでなければ失敗と見なされます。

また、[Spark configuration] (Spark設定)タブでは[Local] (ローカル)モードがデフォルトで使用されます。入力フローと出力フローの数に応じて、入力ファイルと参照ファイルを指定するために、いくつかのコンテキスト変数が自動的に作成されます。また、tFixedFlowInputまたはtBoundedStreamInput[Basic settings] (基本設定)タブで[Use context variable] (コンテキスト変数の使用)ラジオボタンが利用できます。これは自動的に選択され、新しいコンテキスト変数の1つが選択できるようになっています。

ジョブのテストケースを作成する前に、ジョブのすべてのコンポーネントが設定済みであることをご確認ください。

継続的インテグレーションの詳細とTalendを使用して導入する方法は、Talend Help Center(https://help.talend.com)でソフトウェア開発ライフサイクルのベストプラクティスを検索してください。