tDataprepRunの標準プロパティ - 7.3

Data Preparation

Version
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Data Preparation
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > データプレパレーションコンポーネント
データガバナンス > サードパーティーシステム > データプレパレーションコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > データプレパレーションコンポーネント
Last publication date
2024-02-22

これらのプロパティは、標準ジョブのフレームワークで実行されているtDataprepRunを設定するために使われます。

標準tDataprepRunコンポーネントは、Talend Data Preparationファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。

基本設定

URL

Talend Data Preparation WebアプリケーションのURLを二重引用符の間に入力します。

Talend Cloud Data Preparationを使用している場合は、対応するデータセンターのURLを使用してアプリケーションにアクセスします。たとえば、AWS USデータセンターの場合はhttps://tdp.us.cloud.talend.comです。

利用できるデータセンターのURLは、Talend CloudのリージョンとURLをご覧ください。

[Username] (ユーザー名)

Talend Data Preparation Webアプリケーションへのログインに使用するメールアドレスを二重引用符で囲んで入力します。

[Password] (パスワード)

[...]ボタンをクリックして、Talend Data Preparation Webアプリケーションのユーザーパスワードを二重引用符で囲んで入力します。

Talend Cloud Data Preparationを使用しており、

  • SSOが有効な場合は、アクセストークンをフィールドに入力します。
  • SSOが有効でない場合は、アクセストークンまたはパスワードをフィールドに入力します。

デフォルトのプレパレーション選択プロパティを使っている場合:

[Preparation] (プレパレーション)

[Preparation] (プレパレーション)フィールドを完成させるには、次のいずれかを行います。
  • [Choose an existing preparation] (既存のプレパレーションを選択)をクリックし、ポップアップダイアログボックスで以前に作成したプレパレーションの1つを選択する。このダイアログボックスには、各プレパレーションの名前、パス、作成者、最終変更日が表示されます。

  • [Or create a new one] (または新規に作成)をクリックして、入力データを基に新しいプレパレーションを作成する。

このボタンをクリックすると、[Preparation] (プレパレーション)フィールドで定義したIDに対応するプレパレーションをTalend Data Preparationで編集できます。

[Version] (バージョン)

複数のバージョンのプレパレーションを作成した場合は、ジョブで使用するプレパレーションを1つ選択できます。[Version] (バージョン)フィールドを完成させるには、[Choose a Version] (バージョンを選択)をクリックして、プレパレーションの現在のバージョンを含む既存のバージョンのリストから選択します。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。

Talendが提供するR2020-06 Studioのマンスリーアップデート(またはそれ以降のバージョン)をインストールしている場合は、tDataprepRunが提供しているダイナミックスキーマ機能を利用できます。ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、Talend Studioユーザーガイドをご覧ください。

注: ダイナミックスキーマ機能は、新しいプレパレーションの作成時はサポートされません。不明なカラムの取得を目的に設計されており、用途をこの目的に限ることをお勧めします。

[Fetch Schema] (スキーマを取得)

このボタンをクリックすると、[Preparation] (プレパレーション)フィールドで定義したプレパレーションからスキーマを取得できます。

ダイナミックプレパレーション選択を使っている場合:

[Dynamic preparation selection] (ダイナミックプレパレーションの選択)

このチェックボックスをオンにして、コンテキスト変数を使ってプレパレーションパスとバージョンを定義します。プレパレーションはランタイムに動的に選択されます。

[Preparation path] (プレパレーションパス)

コンテキスト変数を使ってプレパレーションパスを定義します。パスは先頭に/があるなしにかかわらず、サポートされます。

[Preparation version] (プレパレーションバージョン)

コンテキスト変数で、使うプレパレーションのバージョンを定義します。プレパレーションバージョンは番号で参照されます。その結果、たとえばプレパレーションのバージョン#2を実行するには、予想値は"2"となります。現在のバージョンのプレパレーションを使う場合、予想値は "Current state"となります。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。

[Fetch Schema] (スキーマを取得)

このボタンをクリックすると、[Preparation path] (プレパレーションパス)フィールドでコンテキスト変数によって定義したプレパレーションからスキーマを動的に取得できます。フェッチが成功すると、以前に設定されたスキーマが上書きされます。フェッチが失敗すると、現在のスキーマが保持されます。

詳細設定

[Limit Preview] (プレビュー制限)

プレビュー制限を課す行数を指定します。

このオプションは、新しいプレパレーションを作成する場合にのみ使用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

グローバル変数

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用方法

使用ルール

このコンポーネントは、中間ステップです。入力フロート出力フローが必要になります。

制限事項

  • tDataprepRunコンポーネントの設定後にデータセットをアップデートする場合、スキーマを再度取得する必要があります。

  • データセットのURL内でコンテキスト変数が使用されている場合は、ボタンを使ってTalend Data Preparationで直接プレパレーションを編集することはできません。