tELTHiveOutputの標準プロパティ - Cloud - 8.0

[Action on data] (データでのアクション)

Hiveテーブルに書き込むデータに対して実行するアクションを選択します。

[Insert] (挿入)オプションを使用すると、Hiveテーブルに書き込まれるデータが存在する場合は、既存のデータに追加されます。

[Schema] (スキーマ)

スキーマとは行の説明のことで、処理して次のコンポーネントに渡すフィールドの数を定義します。スキーマは[Built-in] (組み込み)か、[Repository] (リポジトリー)にリモートで保存されます。

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Edit Schema] (スキーマを編集)

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Default table name] (デフォルトテーブル名)

データを書き込む出力テーブルのデフォルト名を入力します。

[Default schema name] (デフォルトスキーマ名)

使う出力テーブルが関連しているデフォルトのデータベーススキーマの名前を入力します。

[Table name from connection name is variable] (接続名からのテーブル名は変数である)

このコンポーネントへの接続の名前がコンテキスト変数などの変数に設定されている場合は、このチェックボックスをオンにします。

別のテーブル名を使用

このチェックボックスをオンにして、表示された[Table name] (テーブル名)フィールドで、別のテーブル名を二重引用符で囲んで定義します。

このテーブルがデフォルトのテーブルとは異なるデータベーススキーマに関連している場合は、そのデータベーススキーマの名前も入力する必要があります。構文はschema_name.table_nameです。

[The target table uses the Parquet format] (ターゲットテーブルはParquet形式を使います)

データの書き込みが必要なテーブルがPARQUETテーブルの場合は、このチェックボックスをオンにします。

[Compression] (圧縮)リストが表示されたら、PARQUETファイルの処理に必要な圧縮モードを選択します。デフォルトモードは[Uncompressed] (圧縮なし)です。

[Field Partition] (フィールドパーティション)

[Partition Column] (パーティションカラム)に、データを書き込むHiveテーブルのパーティション列の名前を二重引用符で囲んで入力します。

[Partition Value] (パーティション値)には、対応するパーティションカラムに使う値を二重引用符で囲んで入力します。

[Mapping] (マッピング)

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

グローバル変数

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用ルール

tELTHiveMapは、tELTHiveInputおよびtELTHiveOutputと一緒に使用してください。これらのコンポーネントと共に使用する出力リンクは、テーブル名の構文と正確に対応している必要があります。

Hiveデータベースへの接続に使用しているStudioisがWindowsマシンにインストールされている場合は、このStudioがインストールされているディスクのルートにtmpというフォルダーを手動で作成する必要があります。

Dataprocとの併用

ELT Hiveのコンポーネントでは、使用するGoogle Cloud DataprocクラスターにTezをインストールする必要があります。