tApacheKuduOutputの標準プロパティ - Cloud - 8.0

Kudu

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > Kudu
データガバナンス > サードパーティーシステム > DBコンポーネント > Kudu
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > Kudu

これらのプロパティは、[Standard] (標準)ジョブのフレームワークで実行されているtApacheKuduOutputを設定するために使われます。

[Standard] (標準)tApacheKuduOutputコンポーネントは、ビッグデータファミリーに属しています。

このフレームワークのコンポーネントは、すべてのサブスクリプションベースのTalend製品で利用できます。

注: このコンポーネントは、TalendのR2022-01以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。

基本設定

[Property type] (プロパティタイプ)

[Built-in] (組み込み)[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。

[Master addresses] (マスターアドレス)

このフィールドの下にあるプラスボタンをクリックしてマスターアドレスを追加および設定します。

  • [Master node host name] (マスターノードホスト名): Apache Kuduクラスターマスターノードを識別するIPアドレスまたはホスト名を入力します。
  • [Master node port] (マスターノードポート): Apache Kuduクラスターマスターノードと関連付けられているポートを入力します。

同じApache Kuduクラスターのマスターノードを複数追加する場合は、別々の行に追加してください。

[Table name] (テーブル名)

データの書き込み先となるApache Kuduテーブルの名前を入力します。また、このフィールドの横にある[...]ボタンをクリックすればApache Kuduテーブルの名前を選択できます。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Write operation] (書き込み操作)

実行する書き込み操作を指定します。現在、このコンポーネントは Apache Kuduテーブルにのみデータを挿入します。

[Create if not exist] (存在しない場合は作成)

このオプションを選択すると、[Table name] (テーブル名)フィールドで指定されたテーブルが存在しない場合にテーブルが作成されます。

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

[Max batch size] (最大バッチサイズ)

バッチで処理できる最大行数を指定します。

[Set primary key(s)] (プライマリキーを設定)

このオプションを選択すると、プライマリキーを手動で追加できます。このオプションが選択されない場合は、最初のフィールドがプライマリキーとして使われます。

新しいテーブルを作成している場合、そのテーブルの作成後は定義したプライマリキーを変更できなくなります。

[Generate default partitioning] (デフォルトパーティショニングを生成)

このオプションを選択すると、データの挿入時にデフォルトのパーティションが生成されます。

このオプションは、[Basic settings] (基本設定)ビューで[Create if not exist] (存在しない場合は作成)ビューが選択された場合に利用できます。

[Hash partitioning columns] (パーティショニングカラムをハッシュ)

このフィールドの下にあるプラスボタンをクリックすると、どの行がハッシュパーティション分割されているかを基準にカラムが追加されます。指定されるカラムは、データ内に存在し、スキーマで定義されている必要があります。

デフォルトでは、新しく作成されたテーブルはパーティション分割されています。新しく作成されたテーブルのパーティショニング方法を定義することをお勧めします。関連情報はHash partitioningをご覧ください。

このフィールドは、[Basic settings] (基本設定)ビューで[Create if not exist] (存在しない場合は作成)ビューが選択され、[Generate default partitioning] (デフォルトパーティショニングを生成)が選択されていない場合に利用できます。

[Bucket number] (バケット番号)

パーティションの格納に使うバケットの番号を入力します。バケットはオンザフライで作成されます。

ランタイムでは、[Hash partitioning columns] (パーティショニングカラムをハッシュ)フィールドで指定されたハッシュ値によって行がこれらのバケットのいずれかに分散されます。この [Hash partitioning columns] (パーティショニングカラムをハッシュ)テーブルを空のままにすると、テーブルの作成中にはハッシュパーティション分割が適用されません。

このフィールドは、[Basic settings] (基本設定)ビューで[Create if not exist] (存在しない場合は作成)ビューが選択された場合に利用できます。

関連情報はHash partitioningをご覧ください。

[Global Variables] (グローバル変数)

グローバル変数

NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用方法

使用ルール

このコンポーネントは終了コンポーネントとして使用され、入力リンクを必要とします。