在 Talend Administration Center 中运行作业 - 8.0

Talend Data Fabric 入门指南
Version
8.0
Language
中文(简体)
Operating system
Data Fabric
Product
Talend Data Fabric
Module
Talend Administration Center
Talend Installer
Talend Runtime
Talend Studio
Content
安装和升级
数据质量和准备 > 分析数据
数据质量和准备 > 清理数据
设计和开发
Last publication date
2023-07-26

在Talend Administration Center 的 Job Conductor (作业控制台) 页面中，您可以定义一个执行任务来收集 MapReduce 和 Spark Batch 作业 的脚本生成、部署和执行阶段。

开始之前

  • 要使用的 Databricks 集群已正确配置，并且正在运行。

  • 您已创建之前部分中描述的用例作业，并从 Studio 成功运行。

步骤

  1. 使用您在 设置您的第一个用户和工程 中创建的帐户登录 Talend Administration Center。
  2. 在 Talend Administration Center 的 Menu (菜单) 树视图中，单击 Job Conductor (作业控制台) 显示 Job conductor (作业控制台) 页面。
  3. 从 Job Conductor (作业控制台) 页面的工具栏单击 Add (添加) > Normal Task (常规任务) 清除 Execution task (执行任务) 配置面板。
  4. 在 Label (标签) 字段中，输入为待触发任务指定的名称。例如 getting_started。
  5. 单击 图标打开作业筛选器，以搜索要从 Job conductor (作业控制台) 运行的作业，并使用其 Latest (最新) 版本从筛选器选中它。

    例如，它可以是在 使用 Apache Spark Batch 作业连接影片和导演信息 中所述的 Spark Batch 作业。

    选中作业后，Project (工程)、Branch (分支)、Name (名称)、Version (版本) 和 Context (上下文) 字段会自动填充所选作业的相关信息。

  6. 选中 Regenerate Job on change (更改时重新生成作业) 复选框，以便每次对作业本身进行修改时，在部署和执行任务前重新生成所选作业。

    请注意，如果选择了 Latest version (最新版本)，则在 Studio 中创建新版本的作业时，即使未选中 Regenerate Job on change (更改时重新生成作业) 复选框，也会重新生成作业。

  7. 选择应在其上部署任务的服务器。

    在本场景中，服务器是您在 将 Talend Runtime Container 连接到 Talend Administration Center 中配置的 Talend Runtime 服务。

  8. 单击 Save (保存) 确认配置。

    此新任务将添加到任务列表。

  9. 在 Job conductor (作业控制台) 页面中，单击 getting_started 任务将其选中，然后在工具栏上单击 Generate (生成) 以允许任务从 Talend Studio Repository (存储库) 抓取相关工程中的相关作业脚本并生成代码。

    完成后，任务的状态将更改为 Ready to deploy (已准备好部署)，这意味着生成的代码现已准备妥当，可部署在执行服务器上。

  10. 单击 Deploy (部署) 以在执行服务器上部署作业。

    完成后，状态将更改为 Ready to run (已准备好运行)。这意味着服务器已收到作业，现在可以执行。

  11. 单击 Run (运行) 执行作业。

    完成后，状态将切换回 Ready to run (已准备好运行)，这意味着可以根据需要再次运行作业。

    如果任务未正确完成，请检查 Error Status (错误状态) 列以及任务日志，获取作业完成信息。

    完成后，您可以在 Microsoft Azure Storage Explorer 等工具中检查输出是否已写入 ADLS 文件系统。