Apache Spark BatchのtIcebergTableプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtIcebergTableを設定するために使われます。
Spark BatchのtIcebergTableコンポーネントは、ビッグデータファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。
このコンポーネントは、Talendが提供する8.0.1-R2024-07以降のStudioマンスリーアップデートをインストール済みである場合に利用できます。詳細は管理者にお問い合わせください。
基本設定
| [Schema] (スキーマ)と[Edit schema] (スキーマを編集) | スキーマは行の説明のことで、処理された後に次のコンポーネントに渡されるフィールド(カラム)の数を定義するものです。ドロップダウンリストから、スキーマのタイプを選択します:
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if not exists] (存在しない場合は作成)を選択した場合のみ利用できます。 |
| [Table name] (テーブル名) | 作業したいIcebergテーブルの名前を入力します。 |
| [Action on table] (テーブルでのアクション) | Icebergテーブルで実行したいアクションをドロップダウンリストから選択します:
|
| Create as select | クエリー実行の最初にテーブルを作成する場合は、このチェックボックスを選択します。このクエリーは、As select queryパラメーターで指定する必要があります。詳細は、Apache IcebergのドキュメンテーションでCreate table as selectをご覧ください。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if it does not exist] (存在しない場合は作成)を選択した場合のみ利用できます。 |
| [Set table comment] (テーブルコメントを設定) | このチェックボックスを選択すると、テーブルにコメントを追加できます。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if it does not exist] (存在しない場合は作成)を選択した場合のみ利用できます。 |
| [Set table location] (テーブルのロケーションを設定) | 作成するテーブルを保存したいロケーションパスを指定する場合は、このチェックボックスを選択します。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if it does not exist] (存在しない場合は作成)を選択した場合のみ利用できます。 |
| パーティションの設定 | このチェックボックスを選択してプラスボタンをクリックすると、テーブル内にパーティションを作成できます。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if it does not exist] (存在しない場合は作成)を選択した場合のみ利用できます。 |
| [Set table properties] (テーブルのプロパティを設定) | このチェックボックスを選択し、プラスボタンをクリックして、キーと値の形式に従って追加の設定プロパティを入力します。たとえば、format-versionのようなプロパティを追加できます。利用可能な設定プロパティの詳細は、Apache IcebergのドキュメンテーションでConfigurationをご覧ください。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Create] (作成)または[Create if it does not exist] (存在しない場合は作成)を選択した場合のみ利用できます。 |
| [Purge] (消去) | テーブルのコンテンツを削除する場合は、このチェックボックスを選択します。詳細は、IcebergのドキュメンテーションでDROP TABLE PURGEをご覧ください。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Drop] (ドロップ)または[Drop if exists] (存在する場合はドロップ)を選択した場合のみ利用できます。 |
| As select query | テーブルを置換するために実行するSQL SELECTクエリーを入力します。詳細は、Apache IcebergのドキュメンテーションでCreate table as selectをご覧ください。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストからReplace as selectを選択した場合のみ利用できます。 |
| [Alter table action] (テーブルアクションを変更) | テーブルに対して実行したいアクションをドロップダウンリストから選択します:
ブランチとタグの詳細は、IcebergのドキュメンテーションでBranches and tagsをご覧ください。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Alter] (変更)を選択した場合のみ利用できます。 |
| [Set snapshot] (スナップショットを設定) | このチェックボックスを選択すると、ブランチやタグの作成元としたいスナップショットを指定できます。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Alter] (変更)を選択した場合、およびブランチまたはタグの作成を実行した場合のみ利用できます。 |
| [Set retain] (保持を設定) | このチェックボックスを選択すると、ブランチやタグの保持期間を指定できます。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Alter] (変更)を選択した場合、およびブランチまたはタグの作成を実行した場合のみ利用できます。 |
| [Set min snapshots to keep] (保持する最小スナップショットを設定) | このチェックボックスを選択すると、ブランチで保持する最小スナップショットを指定できます。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Alter] (変更)を選択した場合、およびブランチの作成を実行した場合のみ利用できます。 |
| [Set max snapshot age] (最大スナップショット年齢を設定) | このチェックボックスを選択すると、ブランチのスナップショット最大年齢を指定できます。 このパラメーターは、[Action on table] (テーブルでのアクション)ドロップダウンリストから[Alter] (変更)を選択した場合、およびブランチの作成を実行した場合のみ利用できます。 |
グローバル変数
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
| 使用ルール | このコンポーネントは通常、他のIcebergコンポーネントと共に使われます。 |