tELTHiveOutput標準プロパティ - Cloud - 8.0

ELT Hive

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > ELTコンポーネント > ELT Hiveコンポーネント
データガバナンス > サードパーティーシステム > ELTコンポーネント > ELT Hiveコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > ELTコンポーネント > ELT Hiveコンポーネント

このプロパティはStandardジョブフレームワークで実行されている tELTHiveOutputを設定するために使います。

[Standard] (標準) tELTHiveOutputコンポーネントは、ELTファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Action on data] (データへのアクション)

Hiveテーブルに書き込むデータに対して実行するアクションを選択します。

[Insert] (挿入)オプションを使用すると、Hiveテーブルに書き込まれるデータが存在する場合は、既存のデータに追加されます。

[Schema] (スキーマ)

スキーマとは行の説明のことで、処理して次のコンポーネントに渡すフィールドの数を定義します。スキーマは[Built-in] (組み込み)か、[Repository] (リポジトリー)にリモートで保存されます。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Edit Schema] (スキーマを編集)

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Default table name] (デフォルトテーブル名)

データを書き込む出力テーブルのデフォルト名を入力します。

[Default schema name] (デフォルトスキーマ名)

使う出力テーブルが関連しているデフォルトのデータベーススキーマの名前を入力します。

[Table name from connection name is variable] (接続名からのテーブル名は変数です)

このコンポーネントへの接続の名前がコンテキスト変数などの変数に設定されている場合は、このチェックボックスをオンにします。

別のテーブル名を使用

このチェックボックスをオンにして、表示された[Table name] (テーブル名)フィールドで、別のテーブル名を二重引用符で囲んで定義します。

このテーブルがデフォルトのテーブルとは異なるデータベーススキーマに関連している場合は、そのデータベーススキーマの名前も入力する必要があります。構文はschema_name.table_nameです。

[The target table uses the Parquet format] (ターゲットテーブルはParquet形式を使います)

データの書き込みが必要なテーブルがPARQUETテーブルの場合は、このチェックボックスをオンにします。

[Compression] (圧縮)リストが表示されたら、PARQUETファイルの処理に必要な圧縮モードを選択します。デフォルトモードは[Uncompressed] (圧縮なし)です。

[Field Partition] (フィールドパーティション)

[Partition Column] (パーティションカラム)に、データを書き込むHiveテーブルのパーティション列の名前を二重引用符で囲んで入力します。

[Partition Value] (パーティション値)には、対応するパーティションカラムに使う値を二重引用符で囲んで入力します。

Mapping (マッピング)

使用するデータベースにメタデータマッピングファイルを指定します。メタデータマッピングファイルは、データベースとJavaの間のデータ型変換に使用します。メタデータマッピングの詳細は、タイプのマッピングに関する関連ドキュメンテーションを参照してください。
注: Hiveマッピングを使用して、Databricks Delta Lakeをサポートできます。

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

グローバル変数

[Global Variables] (グローバル変数)

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、Die on error (エラー時強制終了)がオフになっている場合にのみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + Spaceを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、『 Talend Studio ユーザーガイド』を参照してください。

使用方法

[Usage rule] (使用ルール)

tELTHiveMapは、tELTHiveInputおよびtELTHiveOutputと一緒に使用してください。これらのコンポーネントと共に使用する出力リンクは、テーブル名の構文と正確に対応している必要があります。

Hiveデータベースへの接続に使用しているStudioisがWindowsマシンにインストールされている場合は、このStudioがインストールされているディスクのルートにtmpというフォルダーを手動で作成する必要があります。

注:

ELTコンポーネントは実際のデータフローを処理せず、スキーマ情報しか処理しません。

Dataprocとの併用

ELT Hiveコンポーネントでは、使用するGoogle Cloud DataprocクラスターにTezをインストールする必要があります。

  • このGoogle Cloud Platformドキュメンテーションで説明されている初期化アクションを使用します: Apache Tez on Dataproc

  • Google Cloud Dataprocクラスターにおける初期化アクションの一般的なコンセプトの詳細は、関連するGoogleドキュメンテーション: 初期化アクションを参照してください。