通知とログを使用したパイプラインのデバッグ

通知とログを使い、実行が失敗したパイプラインのエラーを見つけて修正する方法について説明します。

始める前に

以前完全なパイプラインの作成を行いました。
パイプラインを実行しましたが、実行に失敗しました。

手順

失敗したパイプラインを開きます。

このパイプラインには、顧客に関するデータベーステーブル、Python 3プロセッサー(名前の連結、通貨の変換、日付の処理を実行)、処理されたデータを保管するHDFSトピックが含まれています。
実行状況を知らせるエラーメッセージを表示するには、上のツールバーのアイコンをクリックします。

このウィンドウで、エラーメッセージをクリックして展開できます。
エラーに関する詳細と分類を取得するには、通知ウィンドウから[View Logs] (ログを表示)リンクをクリックするか、[Pipeline Details] (パイプラインの詳細)パネルの[Metrics] (メトリクス)タブに移動して[View Logs] (ログを表示)ボタンをクリックします。

デフォルトではログがすべて表示されます。
ログをソートし、エラーメッセージのみを読み取るためには、[Error] (エラー)チェックボックスをオンにします。

このエラーはPython 3プロセッサーの7行目で不正な演算子の使用にリンクしていることがわかります。
エラーが見つかったので、Python 3プロセッサーを選択して設定を編集します。

7行目にある2017年が不要な演算子で囲まれているため、これがパイプラインが失敗する原因となっています。output['number_year_registrated'] = 2017 - int(year)と行を編集し、変更を保存します。
上のツールバーの実行アイコンをクリックしてパイプラインを再実行します。

タスクの結果

パイプラインが確定し、正しく実行されます。実行の成功を通知するメッセージが見られなかった場合は、上のツールバーの

アイコンをクリックして表示してください。

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

こちらにフィードバックをお寄せください