エンジンで実行されているパイプラインの確認 - Cloud

Talend Remote Engine Gen2クイックスタートガイド

Version
Cloud
Language
日本語
Product
Talend Cloud
Module
Talend Management Console
Talend Pipeline Designer
Content
インストールとアップグレード
デプロイメント > デプロイ中 > パイプラインの実行
Last publication date
2024-01-25

お使いの Remote Engine Gen2で実行されているパイプラインやプレパレーションを確認したい場合は、次の操作を行います。

トラブルシューティング1: Livyポート80を外部ポートにマッピングして、Livyのweb UIにアクセスする

手順

  1. 以下のコマンドを実行してRemote Engine Gen2を停止します。
    Windowsシステムの場合はremote-engine.bat stop
    Unixシステムの場合は./remote-engine.sh stop
  2. エンジンディレクトリーにある次のファイルを開きます:
    default/docker-compose.yml - AWS米国、AWS欧州、AWSアジアパシフィック、Azureリージョンでエンジンを使用している場合

    eap/docker-compose.yml - Early Adopter Program (早期導入者プログラム)の一部としてエンジンを使用している場合

  3. livyセクションに以下を追加します(8001をポートの例として使いますが、どの利用可能なポートでも使用できます):
    ports:
    	- 8001:80/tcp
  4. 変更を保存し、エンジンを再起動してこれらの変更を反映させます。
  5. お使いのブラウザーでLivyのユーザーインターフェイスにアクセスします: http://localhost:8001/ui

    現在実行されているパイプラインやプレパレーション(Livyでの名称はバッチセッション)と、エンドステータス(成功、失敗、強制終了)とそのログを含む以前の実行が表示されます。

  6. リアルタイムで実行されるパイプラインやプレパレーションに関連するLivyログを表示する場合は、次のコマンドを実行します:
    docker logs -f remote-engine_livy_1

原因

実行中の各パイプラインやプレパレーションには、4040から始まる動的ネットワークポートが割り当てられます。同時実行数によっては、4040から始まる十分な範囲のポートをdocker-compose.ymlファイルのlivyセクションに公開し、実行中のホストからSpark Web UIにアクセスできるようにする必要があります。

トラブルシューティング2: Spark web UIポートを公開して、エンジンで実行されたSparkパイプラインの実行プランを確認します。

手順

  1. 以下のコマンドを実行してRemote Engine Gen2を停止します。
    Windowsシステムの場合はremote-engine.bat stop
    Unixシステムの場合は./remote-engine.sh stop
  2. docker-compose.ymlを開き、livyセクションに次を追加します(実行中の3つの同時パイプラインやプレパレーションのSpark UIを表示させる例):
    ports:
    	- 4040:4040/tcp
    	- 4041:4041/tcp
    	- 4042:4042/tcp