tMap MapReduceプロパティ - 7.2

tMap

EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > 変換処理コンポーネント > 変換
データガバナンス > サードパーティーシステム > 変換処理コンポーネント > 変換
データクオリティとプレパレーション > サードパーティーシステム > 変換処理コンポーネント > 変換

これらのプロパティを使って、MapReduceジョブフレームワーク内で実行されているtMapを設定します。

MapReduce tMapコンポーネントは変換処理ファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Map Editor] (マップエディター)

tMapのルーティングと変換のプロパティを定義できます。

注: 実行エラーの処理を避けるには、入力エリアの上部にある[Property Settings] (プロパティ設定)ボタンをクリックし、[Property Settings] (プロパティ設定)ダイアログボックスで[Die on error] (エラー発生時に強制終了)チェックボックスをオンにします(デフォルトでオン)。エラーが発生するとジョブが強制終了されます。
注: 大量のデータを使用して複数のルックアップ入力フローを処理するジョブでデータ変換のパフォーマンスを最大化するには、[Property Settings] (プロパティ設定)ダイアログボックスで[Lookup in parallel] (並列ルックアップ)チェックボックスをオンにします。

ただし、Map Reduceジョブでは、式キーは1つのマッピングコンポーネントに対して1つだけ利用可能です。異なる入力テーブルを結合するために複数の式キーを使用する必要がある場合は、複数のtMapコンポーネントを1つずつ順に使用します。

リンクのマッピングはのように表示されます

[Auto] (自動): デフォルト設定は曲線リンクです。

[Curves] (曲線): マッピングが曲線で表示されます。

[Lines] (直線): マッピングが直線で表示されます。最後のオプションを選ぶと多少パフォーマンスが良くなります。

[Temp data directory path] (一時データディレクトリーのパス) ルックアップローディングで生成された一時データを保存するパスを入力します。このフォルダーの詳細は、 Talend Studioユーザーガイドを参照してください。

[Preview] (プレビュー)

プレビューはMapperデータのインスタントショットです。これは、Mapperプロパティにデータが入力されると使用可能になります。プレビューの同期は変更を保存した後にのみ有効です。

[Use replicated join] (反復結合を使用)

複数の入力フロー間で反復結合を行うには、このチェックボックスをオンにします。このタイプの結合は、各ルックアップテーブルをメモリ内に複製することで、シャッフルとソートの追加手順を必要としないため、プロセス全体が高速化されます。

ルックアップテーブル全体がメモリに入ることを確認する必要があります。

詳細設定

[Max buffer size (nb of rows)] (最大バッファサイズ:行数) 処理されたデータに割り当てる物理メモリのサイズ(行数)を入力します。
[Ignore trailing zeros for BigDecimal] (BigDecimalの末尾のゼロを無視) このチェックボックスをオンにすると、BigDecimalデータの末尾のゼロが無視されます。

グローバル変数

Global Variables

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、Die on error (エラー時強制終了)がオフになっている場合にのみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + Spaceを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細については、「 TTalend Studio ユーザーガイド」を参照してください。

使用方法

使用ルール

Talend Map/Reduceジョブでは、このコンポーネントは中間ステップとして使用されますが、併用する他のコンポーネントもMap/Reduceコンポーネントにする必要があります。Hadoopで直接実行できるネイティブMap/Reduceコードを生成します。

先に説明したように、異なる入力テーブルを結合するために複数の式キーを使用する必要がある場合は、複数のtMapコンポーネントを1つずつ順に使用します。

Talend Map/Reduceジョブの詳細は、 Talend Open Studio for Big Data入門ガイド Talend Map/Reduceジョブを作成、変換、設定する方法の項目を参照してください。

本書では、特に明記されていない限り、 [Standard] (標準)ジョブ、つまり従来の Talend データ統合ジョブ、およびMap/Reduce以外のジョブのシナリオで説明しています。