Apache Spark StreamingのtGSConfigurationプロパティ - Cloud - 8.0

GS

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Google コンポーネント > GSコンポーネント
データガバナンス > サードパーティーシステム > クラウドストレージ > Google コンポーネント > GSコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Google コンポーネント > GSコンポーネント

これらのプロパティは、Spark Streamingのジョブフレームワークで実行されているtGSConfigurationを設定するために使われます。

Spark StreamingtGSConfigurationコンポーネントは、ストレージファミリーに属しています。

このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。

基本設定

このコンポーネントをGoogle Dataprocと併用する場合:

[Google Storage bucket] (Googleストレージバケット)

ジョブ全体で使用するバケットの名前を入力します。次に、tFileInputDelimitedまたはtFileOutputDelimitedなど、Fileのコンポーネントでは、このバケットのディレクトリーが使用されます。

たとえば、このフィールドにmy_bucketと入力し、tFileInputDelimited[Folder] (フォルダー)フィールドに/user/ychenを入力すると、tFileInputDelimitedによってgs://my_bucket/user/ychenからデータが読み取られます。

このコンポーネントをその他のディストリビューションと併用する場合:

[Project identifier] (プロジェクト識別子)

Google Cloud PlatformプロジェクトのIDを入力します。

プロジェクトIDがわからない場合は、Google Cloud Platformサービスの[Manage Resources]ページでご確認ください。

[Google Storage bucket] (Googleストレージバケット)

ジョブ全体で使用するバケットの名前を入力します。次に、tFileInputDelimitedまたはtFileOutputDelimitedなど、Fileのコンポーネントでは、このバケットのディレクトリーが使用されます。

たとえば、このフィールドにmy_bucketと入力し、tFileInputDelimited[Folder] (フォルダー)フィールドに/user/ychenを入力すると、tFileInputDelimitedによってgs://my_bucket/user/ychenからデータが読み取られます。

[Use P12 credentials file format] (P12認証情報ファイル形式を使用)

使用するGoogleクレデンシャルファイルがP12形式の場合は、このチェックボックスをオンにし、表示される[Service account Id] (サービスアカウントID)フィールドにP12認証情報ファイルが作成されたサービスアカウントのIDを入力します。

[Path to Google Credentials file] (Googleクレデンシャルファイルへのパス)

使用するユーザーアカウントに関連付けられている認証情報ファイルのパスを入力します。このファイルはTalendジョブが実際に起動および実行されるコンピューターに保管されている必要があります。

TalendJobserverを使用してジョブを実行する場合、ジョブを起動するJobserverのマシンだけでなく、ジョブを実行するSparkクラスターのワーカーマシンにも認証情報ファイルを保管します。Jobserverを使用しない場合は、ジョブを起動するローカルマシンとSparkクラスターのワーカーマシンに認証情報ファイルを保管します。

Global Variables

[Global Variables] (グローバル変数)

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー時強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、 Talend Studio ユーザーガイドをご覧ください。

使用方法

[Usage rule] (使用ルール)

Google Storageへの接続設定を行う場合は、1つのジョブで複数のtGSConfigurationコンポーネントを使用できます。

たとえば1つのジョブで2つのtGSConfigurationコンポーネントを使い、認証情報が異なる別々のGoogle Storageバケットを使うことも可能です。2つのtGSConfigurationコンポーネントを使うためには、[Google Storage console] (Google Storageコンソール) > [Bucket] (バケット) > [Permissions] (権限) > [Roles] (ロール)で正しい権限を設定する必要があります。

たとえば次の操作を行っているとします。
  • userX@project-1234.iam.gserviceaccount.comuserX_bucketを使ってproject-1234で作業
  • userY@project-4567.iam.gserviceaccount.comuserY_bucketを使ってproject-4567で作業
以下の操作が必要となります。
  • userY_bucketuserX@project-1234.iam.gserviceaccount.com[Storage Admin] (ストレージ管理者)として追加し、project-4567をポイントします。
  • userX_bucketuserY@project-4567.iam.gserviceaccount.com[Storage Admin] (ストレージ管理者)として追加し、project-4567をポイントします。
IAM権限の詳細は、Google Storage documentationをご覧ください。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationtS3Configurationなど、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。