Apache Spark BatchのtTeradataInputプロパティ

[Property type] (プロパティタイプ)

[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。次のフィールドは、取得したデータを使用して自動的に完了されます。

[Use an existing configuration] (既存の設定を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

このアイコンをクリックすると、データベース接続ウィザードが開き、コンポーネント[Basic settings] (基本設定)ビューに設定したデータベース接続パラメーターが保存されます。

データベース接続パラメーターの設定と保存の詳細は、データベースメタデータを一元管理をご覧ください。

[Host] (ホスト)

データベースサーバーのIPアドレス

[Database] (データベース)

データベースの名前

[Username] (ユーザー名)と[Password] (パスワード)

データベースユーザー認証データ。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Table Name] (テーブル名)

データを読み取るテーブルの名前を入力します。

このフィールドは、[Read from] (読み取り元)ドロップダウンリストから[Table] (テーブル)を選択した場合のみ利用できます。

[Read from] (読み取り元)

[Query type] (クエリータイプ)と[Query] (クエリー)

スキーマ定義に対応する必要がある、フィールドの適切な順序に特に注意を払うデータベースクエリーステートメントを指定します。

Spark V2.0以降を使用している場合、Spark SQLはデータベーステーブルのプレフィックスを認識しません。つまり、たとえば、このテーブルが属するスキーマを示すプレフィックスを追加せずに、テーブル名のみを入力する必要があります。

たとえば、system.mytableテーブルでクエリーを実行する必要がある場合(systemプレフィックスはmytableテーブルが属するスキーマを示す)、mytableのみを入力する必要があります。

クエリーでプッシュダウン述語を使用して、データベースからのデータをフィルタリングできます。SparkはFilter演算子をサポートしています。

これらのフィールドは、[Read from] (読み取り元)ドロップダウンリストから[Query] (クエリー)を選択した場合のみ利用できます。

[Additional JDBC parameters] (追加のJDBCパラメーター)

既存のDB接続で接続の追加プロパティを指定し、特定の文字セットがサポートされるようにします。例: CHARSET=KANJISJIS_OSで日本語文字のサポートが得られます。

[Spark SQL JDBC parameters] (Spark SQL JDBCパラメーター)

Spark SQLでサポートされているJDBCプロパティをこのテーブルに追加します。ユーザーが設定可能なプロパティのリストについては、JDBCと他のデータベースをご覧ください。

このコンポーネントは、url、dbtable、driverのプロパティを、[Basic settings] (基本設定)タブの設定を使って自動的に設定します。

[Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング)

すべてのStringカラム/Charカラムの先頭や末尾の空白を削除する場合は、このチェックボックスを選択します。

[Trim column] (カラムをトリミング)

定義されたカラムから先頭や末尾の空白を削除します。

[Enable partitioning] (パーティショニングを有効化)

このチェックボックスをオンにしてパーティション内のデータを読み取ります。

たとえば、1000行を4つのパーティションに分ける場合、下限に0、上限に1000を入力すると、各パーティションには250行が含まれるので、パーティショニングは均等になります。下限に250、上限に750を入力した場合、2番目と3番目のパーティションにはそれぞれ125行ずつ保管され、最初と最後のパーティションにはそれぞれ375行入ります。この設定では、パーティションに偏りが生じます。

使用ルール

このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、Oracleに接続するために同じジョブ内にあるtTeradataConfigurationコンポーネントを使う必要があります。[Use an existing configuration] (既存の設定を使う)チェックボックスをオンにして、使用するtElasticSearchConfigurationコンポーネントを選択する必要があります。

このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。

ライセンスの互換性の問題のため、このコンポーネントの使用に必要な1つ以上のJARが提供されていません。この特定のコンポーネントに不足しているJARをインストールするには、Component (コンポーネント)タブビューの[Install] (インストール)ボタンをクリックします。Studio TalendのIntegrationパースペクティブにある[Modules] (モジュール)タブでも、不足しているすべてのJARを簡単に見つけて追加できます。詳細は、外部モジュールをインストールをご覧ください。