エンジンで実行されているパイプラインの確認
お使いの Moteur distant Gen2で実行されているパイプラインやプレパレーションを確認したい場合は、次の操作を行います。
トラブルシューティング1: Livyポート80を外部ポートにマッピングして、Livyのweb UIにアクセスする
手順
原因
実行中の各パイプラインやプレパレーションには、4040から始まる動的ネットワークポートが割り当てられます。同時実行数によっては、4040から始まる十分な範囲のポートをdocker-compose.ymlファイルのlivyセクションに公開し、実行中のホストからSpark Web UIにアクセスできるようにする必要があります。
トラブルシューティング2: Spark web UIポートを公開して、エンジンで実行されたSparkパイプラインの実行プランを確認します。
手順
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。