テストケースを使用したSparkジョブのテスト - 7.0

Talend Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
task
ジョブデザインと開発
EnrichPlatform
Talend Studio

テストケースを使用したジョブのテストで説明されているテストフレームワークは、継続的インテグレーションの開発中にSparkジョブにも適用できます。これは、Sparkジョブが大きなデータセットを処理するために実際に実行されたときに想定どおりに機能することを確認するためです。

Sparkテストケースを完了するには、テストケースを使用したジョブのテストに説明されているのと同じ手順に従う必要があります。ただし、Sparkジョブには異なる専用のテストスケルトンがあることに注意して下さい。

デフォルトでは、Sparkテストスケルトンには以下が含まれています。

  • 1つ以上のtFixedFlowInputコンポーネント(またはSparkストリーミングジョブの場合はtBoundedStreamInput)。入力ファイルをロードするジョブ内の入力フローの数によります。

  • 読み取り専用のINPUTおよびOUTPUTアイコン。テストする部分の最初と最後を示すために使用します。

  • 1つ以上のtCollectAndCheckコンポーネント。一時出力ファイルを参照ファイルと比較するためのジョブ内の出力フローの数によります。比較されたファイルペアが同一であればテストは成功、そうでなければ失敗と見なされます。

また、[Spark configuration] (Spark設定)タブでは[Local] (ローカル)モードがデフォルトで使用されます。入力フローと出力フローの数に応じて、入力ファイルと参照ファイルを指定するために、いくつかのコンテキスト変数が自動的に作成されます。また、tFixedFlowInputまたはtBoundedStreamInput[Basic settings] (基本設定)タブで[Use context variable] (コンテキスト変数の使用)ラジオボタンが利用できます。これは自動的に選択され、新しいコンテキスト変数の1つが選択できるようになっています。

ジョブのテストケースを作成する前に、ジョブのすべてのコンポーネントが設定済みであることを確認して下さい。

継続的インテグレーション、およびそれをTalendに実装する方法の詳細は、『Software Development Life Cycle Best Practices Guide』を参照して下さい。