このタスクについて
Clouderaナビゲーターに対するサポートがTalend MapReduceジョブとSparkジョブに追加されました。
ジョブの実行にCloudera V5.5+を使用している場合は、Clouderaナビゲーターを利用して特定のデータフローの来歴をトレースし、このジョブに使用されているコンポーネントおよびコンポーネント間のスキーマの変更を含め、このデータがMapReduceまたはSparkジョブによってどう生成されたかを確認することができます。
たとえば、以下のMapReduceジョブをデザインしたとし、そこでそれに関する来歴情報を生成するとします。
次のようにする必要があります。
手順
タスクの結果
この時点までに、Clouderaナビゲーターへの接続がセットアップ済みとなっています。このジョブを実行するときには、Clouderaナビゲーター内に来歴が自動的に生成されています。
ジョブを正常に実行するには、[Hadoop configuration] (Hadoop設定)タブでさらにその他のパラメーターを設定する必要があります。詳細は、Studioの『入門ガイド』でMapReduceジョブの例を参照して下さい。
ジョブの実行が完了したら、このジョブによって書かれたデータをClouderaナビゲーターで検索し、Clouderaナビゲーターでこのデータの来歴を確認します。
この来歴グラフをStudio内のジョブと比較すると、すべてのコンポーネントがこのグラフに表示されていることが確認できます。また、各コンポーネントのアイコンを展開し、使用されているスキーマを読むことができます。
Cloudera NavigatorではClouderaSDKライブラリーを使用して機能が提供されるため、このSDKライブラリーのバージョンと互換性があるはずです。Cloudera NavigatorのバージョンはClouderaディストリビューションにインストールされているCloudera Managerによって決定され、互換性のあるSDKがナビゲーターのバージョンに基づいて自動的に使用されます。
ただし、すべてのCloudera Navigatorバージョンに互換性のあるSDKバージョンが存在するわけではありません。Cloudera SDKのバージョンおよび対応しているNavigatorのバージョンの詳細については、Cloudera NavigatorとSDKバージョンの互換性に関するClouderaのドキュメントを参照して下さい。
StudioによってサポートされているCloudera Navigatorのバージョンは、TalendジョブでサポートされているCloudera Navigatorのバージョンを参照して下さい。