テストケースを使用したSparkジョブのテスト - Cloud

Talend Cloud Real-Time Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
ジョブデザインと開発
EnrichPlatform
Talend Management Console
Talend Studio
テストケースを使用したジョブとサービスのテストで説明されているテストフレームワークは、継続的インテグレーションの開発中にSparkジョブにも適用できます。これは、Sparkジョブが大きなデータセットを処理するために実際に実行されたときに想定どおりに機能することを確認するためです。

Sparkテストケースを完了するには、テストケースを使用したジョブとサービスのテストに説明されているのと同じ手順に従う必要があります。ただし、Sparkジョブには異なる専用のテストスケルトンがあることに注意して下さい。

デフォルトでは、Sparkテストスケルトンには以下が含まれています。

  • 1つ以上のtFixedFlowInputコンポーネント(またはSparkストリーミングジョブの場合はtBoundedStreamInput)。入力ファイルをロードするジョブ内の入力フローの数によります。

  • 読み取り専用のINPUTおよびOUTPUTアイコン。テストする部分の最初と最後を示すために使用します。

  • 1つ以上のtCollectAndCheckコンポーネント。一時出力ファイルを参照ファイルと比較するためのジョブ内の出力フローの数によります。比較されたファイルペアが同一であればテストは成功、そうでなければ失敗と見なされます。

また、[Spark configuration] (Spark設定)タブでは[Local] (ローカル)モードがデフォルトで使用されます。入力フローと出力フローの数に応じて、入力ファイルと参照ファイルを指定するために、いくつかのコンテキスト変数が自動的に作成されます。また、tFixedFlowInputまたはtBoundedStreamInput[Basic settings] (基本設定)タブで[Use context variable] (コンテキスト変数の使用)ラジオボタンが利用できます。これは自動的に選択され、新しいコンテキスト変数の1つが選択できるようになっています。

ジョブのテストケースを作成する前に、ジョブの全てのコンポーネントが設定済みであることを確認してください。

継続的インテグレーションの詳細とTalendを使用して導入する方法は、Talend Help Center(https://help.talend.com)でソフトウェア開発ライフサイクルのベストプラクティスを検索してください。