在 Talend Administration Center 中运行作业 - 7.1

Talend Big Data 入门指南

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Big Data
task
数据治理
设计和开发
EnrichPlatform
Talend Administration Center
Talend Installer
Talend Runtime
Talend Studio

Talend Administration CenterJob Conductor (作业控制台) 页面中,您可以定义一个执行任务来收集 MapReduce 和 Spark Batch 作业 的脚本生成、部署和执行阶段。

开始之前

  • 确保执行 Talend 作业的客户端计算机可识别要使用的 Hadoop 集群节点的主机名。为此,请在客户端计算机的 hosts 文件中添加该 Hadoop 集群服务的 IP 地址/主机名映射条目。

    在本用例中,这台机器是安装 Talend Runtime 的计算机。

  • 要使用的 Hadoop 集群已正确配置,并且正在运行。

  • 集群管理员为要使用的用户名提供了读取/写入权限,用于访问 HDFS 中的相关数据和目录。

  • 您已创建之前部分中描述的用例作业,并从 Studio 成功运行。

过程

  1. 使用您在 设置您的第一个用户和工程 中创建的帐户登录 Talend Administration Center
  2. Talend Administration CenterMenu (菜单) 树视图中,单击 Job Conductor (作业控制台) 显示 Job conductor (作业控制台) 页面。
  3. Job Conductor (作业控制台) 页面的工具栏单击 Add (添加) > Normal Task (常规任务) 清除 Execution task (执行任务) 配置面板。
  4. Label (标签) 字段中,输入为待触发任务指定的名称。例如 getting_started
  5. 单击 图标打开作业筛选器,以搜索要从 Job conductor (作业控制台) 运行的作业,并使用其 Latest (最新) 版本从筛选器选中它。

    例如,可以是 使用 MapReduce 作业连接影片和导演信息 中所述的 MapReduce 作业。

    选中作业后,Project (工程)Branch (分支)Name (名称)Version (版本)Context (上下文) 字段会自动填充所选作业的相关信息。

  6. 选中 Regenerate Job on change (更改时重新生成作业) 复选框,以便每次对作业本身进行修改时,在部署和执行任务前重新生成所选作业。

    请注意,如果选择了 Latest version (最新版本),则在 Studio 中创建新版本的作业时,即使未选中 Regenerate Job on change (更改时重新生成作业) 复选框,也会重新生成作业。

  7. 选择应在其上部署任务的服务器。

    在本场景中,服务器是您在 将 Talend Runtime Container 连接到 Talend Administration Center 中配置的 Talend Runtime 服务。

  8. 单击 Save (保存) 确认配置。

    此新任务将添加到任务列表。

  9. Job conductor (作业控制台) 页面中,单击 getting_started 任务将其选中,然后在工具栏上单击 Generate (生成) 以允许任务从 Talend Studio Repository (存储库) 抓取相关工程中的相关作业脚本并生成代码。

    完成后,任务的状态将更改为 Ready to deploy (已准备好部署),这意味着生成的代码现已准备妥当,可部署在执行服务器上。

  10. 单击 Deploy (部署) 以在执行服务器上部署作业。

    完成后,状态将更改为 Ready to run (已准备好运行)。这意味着服务器已收到作业,现在可以执行。

  11. 单击 Run (运行) 执行作业。

    完成后,状态将切换回 Ready to run (已准备好运行),这意味着可以根据需要再次运行作业。

    如果任务未正确完成,请检查 Error Status (错误状态) 列以及任务日志,获取作业完成信息。

    完成后,您可以检查 (例如在 HDFS 系统的 Web 控制台中) 输出是否已被写入了 HDFS 中。