ストリーミングの実行 - 7.3

Talend Data Mapperユーザーガイド

Version
7.3
Language
日本語
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン
Last publication date
2023-08-02

ストリーミングの実行は、無数のデータを処理するために使用されます。ストリーミングを実行しない場合、変換が実行される前に変換の入力全体がメモリに格納されます。そのため、送信されるデータの量が利用可能なメモリに収まる量に制限されます。

ストリーミングは、入力データのブロックを集積し、各ブロックを個別に変換を実行することによって実行されます。この理由から、変換で指定できるものには制限があります。

SimpleLoopファンクションで[Stream Input] (ストリーム入力)プロパティをチェックし、変換がストリームするよう指定します。そうすることで、1000番目のルーピングエレメントごとに、または各ブロックでxQueryが実行されます。デフォルトでは、ブロックカウントは1000です。この動作は、コンテキスト変数を呼び出すtransform.streaming.block.countを使い、正の数値を追加して、変更できます。

以下の情報は、[Stream Input] (ストリーム入力)プロパティを選択する時に重要です。
  • SimpleLoopファンクションで[Stream Input] (ストリーム入力)プロパティを選択するとソートキーが使用できません。ソートアクションはストリーミング中には実行できないためです。
  • SimpleLoopファンクションで[Stream Input] (ストリーム入力)プロパティを選択し、さらに個別の子エレメントを選択すると、入力が子エレメントによってソート済みとなり、さらにソートすることなく個別の計算を行えるようになります。