tDBFSPutの標準プロパティ - Cloud - 8.0

Databricks

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン > Hadoopディストーション > Databricks
ジョブデザインと開発 > ジョブデザイン > Serverless > Databricks
Last publication date
2024-02-28

これらのプロパティは、標準ジョブのフレームワークで実行されているtDBFSPutを設定するために使われます。

標準tDBFSPutコンポーネントは、ビッグデータファミリーとファイルファミリーに属しています。

このフレームワークのコンポーネントは、すべてのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。

基本設定

[Property type] (プロパティタイプ)

[Built-in] (組み込み)[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。

[Use an existing connection] (既存の接続を使用)

このチェックボックスをオンにして、[Component List] (コンポーネントリスト)で、定義済みの接続詳細を再利用するHDFS接続コンポーネントをクリックします。

ジョブに親ジョブと子ジョブが含まれている場合、[Component List] (コンポーネントリスト)には同じジョブレベルの接続コンポーネントのみが表示されます。

[Endpoint] (エンドポイント)

[Endpoint] (エンドポイント)フィールドに、Azure DatabricksワークスペースのURLアドレスを入力します。このURLは、AzureポータルのDatabricksワークスペースページの[Overview] (概要)のブレードにあります。このURLは、https://adb-$workspaceId.$random.azuredatabricks.netといった形式になります。

[Token] (トークン)

[Token] (トークン)フィールドの横にある[...]ボタンをクリックして、Databricksユーザーアカウントに生成された認証トークンを入力します。このトークンは、Databricksワークスペースの[User settings] (ユーザー設定)ページで生成または検索できます。詳細は、公式AzureドキュメンテーションからのPersonal access tokens (パーソナルアクセストークン)をご覧ください。

[DBFS directory] (DBFSディレクトリー)

DBFSファイルシステムで使用するデータをポイントするパスを[DBFS directory] (DBFSディレクトリー)フィールドに入力します。

[Local directory] (ローカルディレクトリー)

DBFSにロードされるファイルが保管されるローカルディレクトリー。

[Overwrite file] (ファイルの上書き)

新しいファイルで既存のファイルを上書きするオプションです。

[Include subdirectories] (サブディレクトリーを含める)

選択した入力ソースタイプにサブディレクトリーが含まれる場合、このチェックボックスをオンにします。

[Files] (ファイル)

[Files] (ファイル)エリアで以下のフィールドを完成させます。

- [File mask] (ファイルマスク): ローカルディレクトリーから選択するファイル名を入力します。正規表現を利用できます。

- [New name] (新しい名前): ロードしたファイルに新しい名前を付けます。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。

エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスをオフにします。

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

使用方法

使用ルール

このコンポーネントは、DBFS接続とデータ抽出を組み合わせます。したがって通常は、ユーザーが定義したローカルディレクトリーからDBFSにデータをコピーするために単一コンポーネントサブジョブとして使われます。

スタンドアロンで実行され、他のコンポーネント用の入力フローや出力フローを生成しません。多くの場合、コンテキストに応じて、OnSubjobOkまたはOnComponentOkリンクを使ってジョブに接続します。