tCassandraOutputBulkExec標準プロパティ - 7.3

Cassandra

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > NoSQLコンポーネント > Cassandra
データガバナンス > サードパーティーシステム > NoSQLコンポーネント > Cassandra
データクオリティとプレパレーション > サードパーティーシステム > NoSQLコンポーネント > Cassandra

このプロパティはStandardジョブフレームワークで実行されているtCassandraOutputBulkExecを設定するために使います。

Standard tCassandraOutputBulkExecコンポーネントはビッグデータファミリーとデータベースNoSQLファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Property type] (プロパティタイプ)

[Built-In] (組み込み)または[Repository] (リポジトリー)のいずれか。

[Built-In] (組み込み): プロパティデータは一元的に保存されません。

[Repository] (リポジトリー): プロパティを保存するリポジトリーファイルを選択します。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

再使用するスキーマに整数またはファンクションのデフォルト値が指定されている場合は、これらのデフォルト値を引用符で囲まないようにご注意ください。引用符で囲まれている場合は手動で削除します。

詳細は、Talend Studioユーザーガイドでテーブルスキーマに関連する説明を参照してください。

[Table type] (テーブルタイプ)

作成するテーブルに使用するデータモデルタイプを選択します。CQL (実際には CQL3)またはnon-CQL(CQL3以前のCassandraのレガシースリフトベースのAPI)にできます。

このドロップダウンリストは、使用している[DB version] (DB バージョン)がCassandra 2.0.0(非推奨)の場合にのみ使用できます。Cassandra 2.0.0以降のバージョンでは、CQLがこのコンポーネントで使用できる唯一のモデルとなるため、このリストは利用できなくなります。

[DB Version] (DBバージョン)

使用するCassandraバージョンを選択します。

警告:
  • Cassandra 2.0.0 (非推奨)はJVM1.7でのみ機能します。

[Host] (ホスト)

Cassandraサーバーのホスト名またはIPアドレス。

[Port] (ポート)

Cassandraサーバーのリスニングポート番号。

[Required authentication] (認証の要求)

このチェックボックスをオンにすると、Cassandra認証の認証情報が提供されます。

[Username] (ユーザー名)

このフィールドにCassandra認証のユーザー名を入力します。

[Password] (パスワード)

このフィールドにCassandra認証のパスワードを入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Keyspace]

SSTableの書き込み先にキースペースの名前を入力します。

[Column family] (カラムファミリー)

SSTableの書き込み先にカラムファミリーの名前を入力します。

[Partitioner] (パーティショナー)

Cassandraクラスター全体でのデータの分散方法を決定するパーティショナーを選択します。

  • ランダム

  • Murmur3

  • [Order preserving] (オーダー保存): キーがUTF8文字列であると想定されているため、推奨されません。

パーティショナーの詳細は、http://wiki.apache.org/cassandra/Partitionersを参照してください。

[Schema statement] (スキーマステートメント)

使用するカラムファミリーのスキーマを定義し、オンザフライで作成するステートメントを入力します。

  • このステートメントは、サーバーに送信する前の、このコンポーネントで定義した[SSTable directory] (SSTableディレクトリー)にクエリー結果をローカルで保管するCassandraプリペアドステートメントです。プリペアドステートメントの詳細は、『プリペアドステートメント』を参照してください。

  • Cassandraカラムファミリーは、同種のレコードの行のコレクションのコンテナーになります。そのスキーマには、定義したコンポーネントスキーマと厳密に同じカラムが含まれている必要があります。つまり、両方のスキーマのカラム名とカラムの順序を同一にする必要があります。

このスキーマステートメントの例は、[Schema statement] (スキーマステートメント)フィールドに提供されています:
create table ks.tb (id int, name text, birthday timestamp, primary key(id, birthday)) with clustering order by (birthday desc)
[id][name]、および[birthday]カラムを含む[tb]というカラムファミリーがキースペース[ks]の下に作成されます。

カラムファミリーの詳細は、『標準カラムファミリー』を参照してください。

このフィールドはCassandraデータベースのバージョンが2.0.0以降の場合にのみ使用できます。2.0.0(非推奨)の場合は、 [Table type] (テーブルタイプ)ドロップダウンリストから[CQL]を選択した場合にのみ使用できます。

[Insert statement] (ステートメントを挿入)

入力フローから使用するカラムファミリーのカラムにデータを書き込む方法を指示するステートメントを入力します。

このステートメントは、サーバーに送信する前の、このコンポーネントで定義した[SSTable directory] (SSTableディレクトリー)にクエリー結果をローカルで保管するCassandraプリペアドステートメントです。プリペアドステートメントの詳細は、『プリペアドステートメント』を参照してください。

この挿入ステートメントの例は、[Insert statement] (挿入ステートメント)フィールドで提供されています:
insert into ks.tb (id, name, birthday) values (?, ?, ?)
キースペース[ks][tb]と呼ばれるカラムファミリーで[id][name][birthday]カラムのデータがそれぞれ書き込まれます。ステートメント内の疑問符は、3列のカラムのバインド変数マーカーになります。バインド変数とその使用方法の詳細は、バインドされたパラメーターを参照してください。

このフィールドはCassandraデータベースのバージョンが2.0.0以降の場合にのみ使用できます。2.0.0(非推奨)の場合は、 [Table type] (テーブルタイプ)ドロップダウンリストから[CQL]を選択した場合にのみ使用できます。

[Column name comparator] (カラム名比較演算子)

カラムのソートに使うカラム名のデータ型を選択します。

比較演算子の詳細は、http://www.datastax.com/docs/1.1/ddl/column_family#about-data-types-comparators-and-validatorsを参照してください。

[SSTable directory] (SSTableディレクトリー)

SSTableのローカルディレクトリーを指定します。SSTableへの完全パスは、指定されたキースペース名とカラムファミリー名が追加されたローカルディレクトリーになります。

たとえば、ローカルディレクトリーを/home/talend/sstable、キースペース名としてtestk、カラムファミリー名としてtestcを指定すると、SSTableへの完全パスは/home/talend/sstable/testk/testc/となります。

[Buffer size] (バッファーサイズ)

Cassandraに書き込まれる前にSSTableが到達する必要があるサイズを指定します。

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

[Global Variables] (グローバル変数)

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、Die on error (エラー時強制終了)がオフになっている場合にのみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + Spaceを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、『 Talend Studio ユーザーガイド』を参照してください。

使用方法

[Usage rule] (使用ルール)

このコンポーネントは、データベースにロードするデータが特定の変換を必要としない場合に主に使います。

制限事項

現在、このコンポーネントを実行すると、ジョブ全体が終了します。