tDeltaLakeConnectionの標準プロパティ - Cloud - 8.0

Delta Lake

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > テクニカルコンポーネント > Delta Lake components
データガバナンス > サードパーティーシステム > テクニカルコンポーネント > Delta Lake components
データクオリティとプレパレーション > サードパーティーシステム > テクニカルコンポーネント > Delta Lake components
Last publication date
2023-10-18

このプロパティはStandardジョブフレームワークで実行されているtDeltaLakeConnectionを設定するために使います。

[Standard] (標準) tDeltaLakeConnectionコンポーネントは、データベースファミリーとELTファミリーに属しています。

このフレームワークのコンポーネントは、すべてのサブスクリプションベースのTalend製品で利用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、動的データベースコンポーネントをご覧ください。

基本設定

データベース

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

    このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

JDBC URL

使用するDelta LakeデータベースのJDBC URL。先頭はjdbc:spark://です(既に表示されています)。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合、Delta LakeデータベースのJDBC URLは(既に入力されているとおり)jdbc:databricks//で始まります。

関連情報は、JDBC and ODBC drivers and configuration parametersConfigure JDBC URLをご覧ください。

注: Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートがインストールされている場合、Delta Lakeコンポーネントの移行操作は行われません。この場合、既存のジョブのJDBC URLがjdbc:databricks//で始まるよう、そのJDBC URLとその関連設定を手動でアップデートしなければならいことがあります。

[Drivers] (ドライバー)

必要なドライバーJARをロードするには、このテーブルに記入してください。これを行うには、テーブルの下の[+]ボタンをクリックして、必要に応じてドライバーJAR用行数を増やします。セルを選択し、セルの右側にある[...]ボタンをクリックして、[Module] (モジュール)ダイアログボックスを開くと使用するドライバーJARを選択できます。Delta Lakeデータベースでは、(既に入力されているとおり)SparkJDBC42-2.6.14.1018.jarというJARドライバーが使われます。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合、(既に入力されているとおり)atabricks-jdbc-{version_number}.jarドライバーが使われます。

詳細は、[Importing a database driver] (データベースドライバのインポート)をご覧ください。

注: Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートがインストールされている場合、Delta Lakeコンポーネントの移行操作は行われません。この場合、既存のジョブでatabricks-jdbc-{version_number}.jarが使われるよう、ドライバーとその関連設定を手動でアップデートしなければならいことがあります。

[Driver Class] (ドライバークラス)

指定したドライバーのクラス名を二重引用符で囲んで入力します。SparkJDBC42-2.6.14.1018.jarドライバーの場合、入力する名前はcom.simba.spark.jdbc.Driverです(既に表示されています)。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合は、databricks-jdbc-{version_number}.jarドライバーが使われ、入力されるドライバークラスは(既に入力されているとおり)com.databricks.client.jdbc.Driverとなります。

注: Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートがインストールされている場合、Delta Lakeコンポーネントの移行操作は行われません。この場合、既存のジョブでcom.databricks.client.jdbc.Driverというドライバークラスが使われるよう、ドライバークラスとその関連設定を手動でアップデートしなければならいことがあります。

[User Id] (ユーザーID)[Password] (パスワード)

データベースユーザー認証データ。関連情報は、JDBC and ODBC drivers and configuration parametersUsername and password authenticationをご覧ください。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Use or register a shared DB Connection] (共有データベース接続を使用または登録)

このチェックボックスをオンにして、データベース接続の共有、または親もしくは子ジョブによって共有されているデータベース接続の取得を行い、[Shared DB Connection Name] (共有データベース接続名)フィールドが表示されたら、共有データベース接続の名前を入力します。これにより、1つのデータベース接続(データベーススキーマの設定は除く)を複数のデータベース接続コンポーネントの間で共有できます。ジョブレベルが異なっていても、親と子のどちらであっても可能です。

このオプションは、tRunJobコンポーネントの[Use dynamic Job] (ダイナミックジョブを使用)および[Use an independent process to run subJob] (サブジョブを独立したプロセスで実行)オプションには対応していません。いずれかのオプションを有効にしてtRunJobコンポーネントで共有接続を使用すると、ジョブが失敗する原因となります。

このチェックボックスは、[Specify a data source alias] (データソースエイリアスを指定)チェックボックスがオンになっている場合は利用できません。

[Specify a data source alias] (データソースエイリアスを指定)

このチェックボックスをオンにして、[Data source alias] (データソースエイリアス)フィールドが表示されたら、データソース設定で定義した共有接続プールを使用するために、 Talend Runtime側で作成したデータソースのエイリアスを指定します。このオプションは、 Talend Runtime内にジョブをデプロイして実行する時にのみ機能します。

このチェックボックスは、[Use or register a shared DB Connection] (共有データベース接続を使用または登録)チェックボックスがオンになっている場合は利用できません。

詳細設定

[Use Auto-Commit] (自動コミットの使用)

自動コミットモードを有効にする場合は、このチェックボックスをオンにします。

[Auto Commit] (自動コミット)

トランザクションの実行時に変更が自動的にデータベースにコミットされるようにする場合は、このチェックボックスをオンにします。

このチェックボックスがオンの場合は、対応するコミットコンポーネントを使用して変更をデータベースにコミットできません。同様に、対応するコミットコンポーネントの使用中は、このチェックボックスをオフにしておく必要があります。デフォルトでは、自動コミットファンクションは無効になっており、変更は対応するコミットコンポーネントを使用して明示的にコミットする必要があります。

自動コミットファンクションは、各SQLステートメントを実行の直後に1回のトランザクションとしてコミットしますが、コミットコンポーネントは、すべてのステートメントが実行されるまでコミットしません。このため、ジョブ内でトランザクションの管理にゆとりを必要とする場合は、コミットコンポーネントの使用を推奨します。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

このコンポーネントは一般的に、他のtDeltaLake*コンポーネントと共に使います。