このページ上

メインコンテンツをスキップする

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

AWSでS3とDatabricksを使ってジョブのデータフローを設計

Studio TalendのIntegrationパースペクティブで、[Repository] (リポジトリー)ツリービューの[Job Designs] (ジョブデザイン)ノードから空のSpark Batchジョブを1つ作成します。
ワークスペース内に使用するコンポーネントの名前を入力し、表示されるリストからこのコンポーネントを選択します。このシナリオでは、コンポーネントは、tS3Configuration、tFixedFlowInput、tFileOutputParquet、tFileInputParquet、tLogRowです。
tFixedFlowInputコンポーネントは、サンプルデータをデータフローにロードするために使われます。実際には、ファイル入力コンポーネントと処理コンポーネントを使って、処理するデータを準備する高度なプロセスを設計できます。
[Row] (行) > [Main] (メイン)リンクを使って、tFixedFlowInputをtFileOutputParquetに接続します。
[Row] (行) > [Main] (メイン)リンクを使ってtFileInputParquetをtLogRowに接続します。
[Trigger] (トリガー) > OnSubjobOkリンクを使ってtFixedFlowInputをtFileInputParquetに接続します。
tS3Configurationコンポーネントは、接続しないでおきます。