Apache Spark StreamingのtMapプロパティ - 7.2

tMap

EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > 変換処理コンポーネント > 変換
データガバナンス > サードパーティーシステム > 変換処理コンポーネント > 変換
データクオリティとプレパレーション > サードパーティーシステム > 変換処理コンポーネント > 変換

これらのプロパティを使って、Spark Streamingジョブフレームワーク内で実行されているtMapを設定します。

Spark StreamingtMapコンポーネントは変換処理ファミリーのコンポーネントです。

このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで使用できます。

基本設定

[Map Editor] (マップエディター)

tMapのルーティングと変換のプロパティを定義できます。

入力エリア上部の[Property Settings] (プロパティ設定)ボタンをクリックすると、[Property Settings] (プロパティ設定)ダイアログボックスが表示され、そこで以下のパラメーターを設定できます。

  • 実行エラーを処理しない場合は、[Die on error] (エラー発生時に強制終了)チェックボックスをオンにします(デフォルトで選択されています)。エラーが発生するとジョブが強制終了されます。

  • 大量のデータを使用して複数のルックアップ入力フローを処理するジョブでデータ変換のパフォーマンスを最大化するには、[Lookup in parallel] (並列ルックアップ)チェックボックスをオンにします。

  • [Temp data directory path] (一次データディレクトリパス): ルックアップローディングのために生成された一時データを保存するパスを入力します。このフォルダーの詳細は、 Talend Studioユーザーガイドを参照してください。

  • [Max buffer size (nb of rows)] (最大バッファサイズ - 行数): 処理されたデータに割り当てる物理メモリのサイズを行数で入力します。

リンクのマッピングはのように表示されます

[Auto] (自動): デフォルト設定は曲線リンクです。

[Curves] (曲線): マッピングが曲線で表示されます。

[Lines] (直線): マッピングが直線で表示されます。最後のオプションを選ぶと多少パフォーマンスが良くなります。

[Preview] (プレビュー)

プレビューはMapperデータのインスタントショットです。これは、Mapperプロパティにデータが入力されると使用可能になります。プレビューの同期は変更を保存した後にのみ有効です。

[Use replicated join] (反復結合を使用)

複数の入力フロー間で反復結合を行うには、このチェックボックスをオンにします。このタイプの結合は、各ルックアップテーブルをメモリ内に複製することで、シャッフルとソートの追加手順を必要としないため、プロセス全体が高速化されます。

ルックアップテーブル全体がメモリに入ることを確認する必要があります。

使用方法

使用ルール

これは通常、tMongoDBLookupInputなどのルックアップ入力コンポーネントと連携して、ルックアップフローを構成し、消費します。この状況では、[Reload at each row] (行ごとにリロード)または[Reload at each row (cache)] (行ごとにリロード - キャッシュ)を使用して、ルックアップフローからデータを読み取る必要があります。この方式により、重複レコードがtMapに送信される前にメモリに保存されることが防がれます。tMapがルックアップ入力コンポーネントと一緒に使用されているユースケースは、krd1550477882048.htmlを参照してください。ストリーミングジョブでの[Reload at each row] (行ごとにリロード)または[Reload at each row (cache)] (行ごとにリロード - キャッシュ)は、ルックアップ入力コンポーネントのみがサポートしています。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、bix1550477842760.htmlを使用します。

  • [Standalone mode] (スタンドアロンモード): bix1550477842760.htmlまたはaii1550477851510.htmlなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。