Apache Spark StreamingのtMapプロパティ

[Map Editor] (マップエディター)

tMapのルーティングと変換のプロパティを定義できます。

入力エリア上部の[Property Settings] (プロパティ設定)ボタンをクリックすると、[Property Settings] (プロパティ設定)ダイアログボックスが表示され、そこで以下のパラメーターを設定できます。

• 実行エラーを処理しない場合は、[Die on error] (エラー発生時に強制終了)チェックボックスをオンにします(デフォルトで選択されています)。エラーが発生するとジョブが強制終了されます。

• 大量のデータを使用して複数のルックアップ入力フローを処理するジョブでデータ変換のパフォーマンスを最大化するには、[Lookup in parallel] (並列ルックアップ)チェックボックスをオンにします。

• [Temp data directory path] (一次データディレクトリーパス): ルックアップローディングのために生成された一時データを保存するパスを入力します。このフォルダーの詳細は、tMapの使用におけるメモリ制限問題を解決をご覧ください。

• [Max buffer size (nb of rows)] (最大バッファーサイズ - 行数): 処理されたデータに割り当てる物理メモリのサイズを行数で入力します。

リンクのマッピングはのように表示されます

[Auto] (自動): デフォルト設定は曲線リンクです。

[Curves] (曲線): マッピングが曲線で表示されます。

[Lines] (直線): マッピングが直線で表示されます。最後のオプションを選ぶと多少パフォーマンスが良くなります。

[Preview] (プレビュー)

プレビューはMapperデータのインスタントショットです。これは、Mapperプロパティにデータが入力されると使用可能になります。プレビューの同期は変更を保存した後にのみ有効です。

[Use replicated join] (反復結合を使用)

複数の入力フロー間で反復結合を行うには、このチェックボックスをオンにします。このタイプの結合は、各ルックアップテーブルをメモリ内に複製することで、シャッフルとソートの追加手順を必要としないため、プロセス全体が高速化されます。

ルックアップテーブル全体がメモリに入ることを確認する必要があります。

使用ルール

これは通常、tMongoDBLookupInputなどのルックアップ入力コンポーネントと連携して、ルックアップフローを構成し、消費します。この状況では、[Reload at each row] (行ごとにリロード)または[Reload at each row (cache)] (行ごとにリロード - キャッシュ)を使用して、ルックアップフローからデータを読み取る必要があります。この方式により、重複レコードがtMapに送信される前にメモリに保存されることが防がれます。tMapがルックアップ入力コンポーネントと一緒に使用されているユースケースは、Spark Streamingジョブを使用してMongoDBでデータの読み書きを行うをご覧ください。ストリーミングジョブでの[Reload at each row] (行ごとにリロード)または[Reload at each row (cache)] (行ごとにリロード - キャッシュ)は、ルックアップ入力コンポーネントのみがサポートしています。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。