エンジンで実行されているパイプラインの確認 - Cloud

Talend Remote Engine Gen2クイックスタートガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
インストールとアップグレード
デプロイメント > デプロイ中 > パイプラインの実行
EnrichPlatform
Talend Management Console
Talend Pipeline Designer

お使いの Remote Engine Gen2で実行されているパイプラインやプレパレーションを確認したい場合は、次の操作を行います。

トラブルシューティング1: Livyポート80を外部ポートにマッピングして、Livyのweb UIにアクセスする

手順

  1. 以下のコマンドを実行してRemote Engine Gen2を停止します:
    Windowsシステムの場合はremote-engine.bat stop
    Unixシステムの場合は./remote-engine.sh stop
  2. エンジンのインストールディレクトリーにあるdocker-compose.ymlを開き、livy セクションに以下を追加します(8001はポートの一例です。利用可能な任意のポートを使用できます):
    ports: - 8001:80/tcp
  3. 変更を保存し、エンジンを再起動してこれらの変更を反映させます。
  4. お使いのブラウザーでLivyのユーザーインターフェイスにアクセスします: http://localhost:8001/ui

    現在実行されているパイプラインやプレパレーション(Livyでの名称はバッチセッション)と、エンドステータス(成功、失敗、強制終了)とそのログを含む以前の実行が表示されます。

  5. リアルタイムで実行されるパイプラインやプレパレーションに関連するLivyログを表示する場合は、次のコマンドを実行します:
    docker logs -f remote-engine_livy_1

原因

実行中の各パイプラインやプレパレーションには、4040から始まる動的ネットワークポートが割り当てられます。同時実行数によっては、4040から始まる十分な範囲のポートをdocker-compose.ymlファイルのlivyセクションに公開し、実行中のホストからSpark Web UIにアクセスできるようにする必要があります。

トラブルシューティング2: Spark web UIポートを公開して、エンジンで実行されたSparkパイプラインの実行プランを確認します。

手順

  1. 以下のコマンドを実行してRemote Engine Gen2を停止します:
    Windowsシステムの場合はremote-engine.bat stop
    Unixシステムの場合は./remote-engine.sh stop
  2. docker-compose.ymlを開き、livyセクションに次を追加します(実行中の3つの同時パイプラインやプレパレーションのSpark UIを表示させる例):
    ports: - 4040:4040/tcp - 4041:4041/tcp - 4042:4042/tcp