tReservoirSamplingの標準プロパティ - 7.2

サンプリング

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > データクオリティコンポーネント > サンプリングコンポーネント
データガバナンス > サードパーティーシステム > データクオリティコンポーネント > サンプリングコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > データクオリティコンポーネント > サンプリングコンポーネント

このプロパティは[Standard] (標準)ジョブフレームワークで実行するtReservoirSamplingの設定で使用されます。

[Standard] (標準) tReservoirSamplingコンポーネントは、データクオリティファミリーに属しています。

このフレームワーク内のコンポーネントは、Talend Data Management Platform、Talend Big Data Platform、Talend Real Time Big Data Platform、Talend Data Services Platform、Talend Data Fabricで利用できます。

基本設定

[Schema] (スキーマ)および[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

ジョブで接続されている先行コンポーネントからスキーマを取得するには、[Sync columns] (カラムを同期)をクリックします。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Sample Size] (サンプルサイズ)

入力フローからサンプリングする行数を設定します。

詳細設定

[Seed for random generator] (ランダムジェネレーターをシード)

1つのジョブを複数回実行する場合に同じサンプルを抽出する場合は、ランダムな数値を設定します。

シードに異なる値を指定して実行を繰り返すと、別のデータサンプルが生成されます。

ジョブを実行するたびに別のデータサンプルを抽出する場合は、このフィールドを空のままにしておきます。

tStatCatcher Statistics (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

使用方法

[Usage rule] (使用ルール)

このコンポーネントでは、サンプルデータを対象にテストプロファイリング分析を行い、フルデータセットの結果と似た結果を得ることができます。

tReservoirSamplingは現在のところ、Map/Reduceジョブには使用できません。