Apache Spark StreamingのtHMapRecordプロパティ - Cloud - 8.0

Data mapping

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > 変換処理コンポーネント > データマッピング
データガバナンス > サードパーティーシステム > 変換処理コンポーネント > データマッピング
データクオリティとプレパレーション > サードパーティーシステム > 変換処理コンポーネント > データマッピング

このプロパティはSpark Streamingジョブフレームワークで実行されているtHMapRecordを設定するために使います。

Spark Streaming tHMapRecordコンポーネントは、変換処理ファミリーに属しています。

このフレームワーク内のコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。

基本設定

ストレージ

HDFS環境に接続するには、[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにし、ドロップダウンリストの中から使用するコンポーネントの名前を選択します。

tHDFSConfigurationコンポーネントのドキュメントで説明されているように、このオプションを有効にするには、使用するHDFS環境への接続をあらかじめ設定しておく必要があります。

[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにしない場合、ファイルをローカルでしか変換できません。

Open Map Editor (マップエディターを開く)

[...]ボタンをクリックして[tHMapRecord Structure Generate/Select] (tHMapRecord構造の生成/選択)ウィザードを開きます。このウィザードでは、スキーマを基に階層マッパー構造を自動生成したり、 既存の階層マッパー構造を選択したりできます。マップの入出力側双方でこの操作を実行してください。

複数の出力接続をtHMapRecordに接続する場合、マッパー構造が出力接続を基に生成されたことを伝える確認メッセージがページに表示されます。

詳細は、 Talend Data Mapperユーザーガイドを参照してください。

マップをスキーマ接続で同期化

次のいずれかの変更後にマップの入力構造と出力構造を自動的に再生成する場合は、このチェックボックスを選択します。
  • 接続メタデータを変更
  • 入力接続または出力接続を追加
  • 入力接続または出力接続を削除
接続が有効化されても無効化されても、変化は検出されません。
このチェックボックスを選択すると、マップを変更後にコンポーネントから開いた時に、このマップが自動的に同期されます。同期されない場合は、同期するかどうかを尋ねるダイアログが表示されます。
注: 複数の接続を持つストラクチャーの場合、コンポーネント設定ウィザードで生成されたものと同じ形式のストラクチャーでなければマップを同期させることはできません。たとえば、複数の出力を持つフラット化マップを自動的に同期させることはできません。
[Map Path] (マップパス)

[...]をクリックして既存のマップを選択します。ウィンドウには、Talend Data Mapper[Hierarchical Mapper] (階層マッパー)ビューからマップを選択できるウィザードが表示されます。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。

このチェックボックスをオフにすると、エラーをスキップしてジョブの実行プロセスを続行できます。

使用方法

[Usage rule] (使用ルール) このコンポーネントは、HDFSストレージへの接続を定義するtHDFSConfigurationコンポーネントと一緒に使用するか、ローカルファイルのみのマッピング用にスタンドアロンとして使用します。
ドラッグ&ドロップ機能 [Data Mapping] (データマッピング)ビューに既存のtHMapRecordマップがある場合は、マップを簡単にドラッグ&ドロップできます。
  • tHMapRecordマップをデザインワークスペースにドラッグ&ドロップすると、tHMapRecordコンポーネントが自動的に作成されます
  • tHMapRecordマップを既存のtHMapRecordコンポーネントにドラッグ&ドロップすると、コンポーネントのラベルとマップ参照が自動的に更新されます
Talend Runtimeとの使用 データマッピングコンポーネントが含まれているジョブやルートを Talend Runtimeと共にデプロイしたい場合は、まずTalend Data Mapper機能をインストールする必要があります。詳細は、 Talend Runtimeと共にTalend Data Mapperを使用をご覧ください。