Apache Spark StreamingのtRestWebServiceOutputプロパティ - Cloud - 8.0

Webservice

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > WEBサービスコンポーネント
データガバナンス > サードパーティーシステム > WEBサービスコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > WEBサービスコンポーネント
Last publication date
2024-02-28

これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtRestWebServiceOutputを設定するために使われます。

Spark Streaming tRestWebServiceOutputコンポーネントは、Webserviceファミリーに属しています。

このコンポーネントのストリーミングバージョンは、Talend Real-Time Big Data PlatformおよびTalend Data Fabricで使用できます。

基本設定

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

このコンポーネントのスキーマは読み取り専用です。[Edit schema] (スキーマを編集)をクリックすると、スキーマを表示できます。

この読み取り専用のpayloadカラムは、処理するリクエストの本文を保持ために使われます。この読み取り専用のカラムにデータを送信するには、先行コンポーネントのスキーマ内に同じpayloadカラムを定義する必要があります。

URL

呼び出すREST WebサーバーのURLアドレスを入力します。

[HTTP Method] (HTTPメソッド)

このリストから、目的のアクションを説明するHTTP方式を選択します。HTTP方式の具体的な意味は、Webサービスプロバイダーの定義によって異なります。一般的に受け入れられているHTTP方式は、以下のとおりです。

  • PUT: 特定のパラメーターをベースにデータをアップデートします。データが存在しない場合は作成します。

  • POST: 特定のパラメーターをベースにデータを作成およびアップロードします。

  • DELETE: 特定のパラメーターをベースにデータを削除します。

[HTTP Headers] (HTTPヘッダー)

HTTPヘッダーに名前/値のペアを入力して、リクエストされたHTTP操作のパラメーターを定義します。

HTTPヘッダーの具体的な定義は、REST Webサービスプロバイダーにお問い合わせください。参照情報は、en.wikipedia.org/wiki/List_of_HTTP_headersをご覧ください。

詳細設定

[Use SSL/TLS] (SSL/TLSを使用)

SSLまたはTLS暗号化接続を有効にする場合は、このチェックボックスをオンにします。

次に、同じジョブ内のtSetKeyStoreコンポーネントを使用して暗号化情報を指定する必要があります。

使用方法

使用ルール

このコンポーネントは、終了コンポーネントとして使用され、入力リンクを必要とします。

このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。