Apache Spark StreamingのtJMSInputプロパティ - 7.3

JMS

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > メッセージングコンポーネント > JMS
データガバナンス > サードパーティーシステム > メッセージングコンポーネント > JMS
データクオリティとプレパレーション > サードパーティーシステム > メッセージングコンポーネント > JMS

このプロパティはSpark Streamingジョブフレームワークで実行されているtJMSInputを設定するために使います。

Spark Streaming tJMSInputコンポーネントはメッセージングファミリーのコンポーネントです。

このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで使用できます。

基本設定

[Module List] (モジュールリスト)

使用するライブラリーをリストから選択します。

[Context Provider] (コンテキストプロバイダー)

コンテキストURLを入力します。サンプル: com.tibco.tibjms.naming.TibjmsInitialContextFactory。ただし、使用するJMSサーバーに応じて構文が変わる場合があるのでご注意ください。

[Server URL] (サーバーURL)

構文を守りながら、サーバーURLを入力します。サンプル: tibjmsnaming://localhost:7222

[Connection Factory JDNI Name] (接続ファクトリのJDNI名)

JDNI名を入力します。

[Use Specified User Identity] (ユーザーアイデンティティを使用)

ログインが必要な場合は、チェックボックスをオンにしてログインとパスワードを入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Message Type] (メッセージタイプ)

メッセージのタイプを選択します: [Topic] (トピック)または[Queue] (キュー)

[Message From] (メッセージ送信元)

サーバーによって予期される通りにメッセージソースを入力します。 これには、queue/Aやtopic/testtopicのように、ソースのタイプと名前が含まれている必要があります。

このフィールドでは大文字と小文字が区別されます。

[Timeout for Next Message (in sec)] (次のメッセージのタイムアウト(秒単位))

次のメッセージに進むまでの秒数を入力します。

[Maximum Messages] (最大メッセージ数)

処理する最大メッセージ数を入力します。

[Message Selector Expression] (メッセージセレクターの式)

フィルターを設定します。

[Processing Mode] (処理モード)

メッセージの処理モードを選択します。

[Raw Message] (生のメッセージ)または[Message Content] (メッセージコンテンツ)

Schema (スキーマ)およびEdit schema (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

このコンポーネントのスキーマは読み取り専用です。[Edit schema] (スキーマを編集)をクリックすると、スキーマを表示できます。

詳細設定

SSL/TLSの使用

SSLまたはTLS暗号化接続を有効にする場合は、このチェックボックスをオンにします。

次に、同じジョブ内のtSetKeystoreコンポーネントを使用して暗号化情報を指定する必要があります。

プロパティ

テーブルの下にある[+]ボタンをクリックして、ユーザー認証に必要なユーザー名とパスワードが含まれている行を追加します。

使用方法

使用ルール

このコンポーネントは開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、所属するSpark Streamingコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、[Standard] (標準)ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationまたはtS3Configurationなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。