Apache Spark BatchのtLogRowのプロパティ - 7.3

ログとエラー(インテグレーション)

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > ロギングコンポーネント
データガバナンス > サードパーティーシステム > ロギングコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > ロギングコンポーネント

これらのプロパティを使って、Spark Batchジョブフレームワーク内で実行されているtLogRowを設定します。

Spark BatchtLogRowコンポーネントはその他ファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Define a storage configuration component] (ストレージ設定コンポーネントを定義)

HDFSなどのターゲットファイルシステムへの接続の設定情報を提供するために使用する設定コンポーネントを選択します。

このチェックボックスをオフにすると、ターゲットファイルシステムはローカルシステムになります。

使用する接続設定は同じジョブ内にあることが必要です。たとえば、tHDFSConfigurationコンポーネントをジョブにドロップした場合は、このコンポーネントを選択して、所定のHDFSシステム内で結果を書き込むことができます。

[Schema] (スキーマ)および[Edit schema] (スキーマの編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマの編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Sync columns] (カラムの同期) クリックすると、出力ファイルのスキーマと入力ファイルのスキーマが同期されます。同期機能は、コンポーネントが[Row] (行)接続を使用して先行のコンポーネントとリンクされている場合にのみ使用できます。
[Basic] (基本) 出力フローを基本モードで表示します。
[Table] (テーブル) 出力フローをテーブルのセルで表示します。
[Vertical] (垂直)

出力フローの各行をキー値リストとして表示します。

このモードを選択すると、各出力行に対して、コンポーネントの一意の名前とラベルのいずれか、またはその両方を表示するかを選択できます。

[Separator] (区切り)

(基本モードの場合のみ)

ログ表示のデータを区切るセパレーターを入力します。

[Print header] (ヘッダーを印刷)

(基本モードの場合のみ)

このチェックボックスをオンにすると、入力フローのヘッダーが出力ディスプレイに表示されます。

[Print component unique name in front of each output row] (各出力行の前にコンポーネントの固有名を印刷)

(基本モードの場合のみ)

このチェックボックスをオンにすると、複数のtLogRowコンポーネントが使用される場合、出力を区別するために各出力行の前にコンポーネントの固有名が表示されます。

[Print schema column name in front of each value] (各値の前にスキーマのカラム名を表示)

(基本モードの場合のみ)

このチェックボックスをオンにすると、出力スキーマからカラムラベルが取得されます。

[Use fixed length for values] (値に固定長を使用)

(基本モードの場合のみ)

このチェックボックスをオンにすると、値の表示の固定幅が設定されます。

詳細設定

[Use local timezone for date] (日付にローカルタイムゾーンを使用) ジョブが実行されるコンピューターのローカルな日付を使用するには、このチェックボックスをオンにします。このチェックボックスをオフのままにしておくと、日付タイプのデータ形式にUTCが自動的に使用されます。

使用方法

使用ルール

このコンポーネントは中間ステップまたは終了ステップとして使用されます。

このコンポーネントは、所属するSpark Batchコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、[Standard] (標準)ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationまたはtS3Configurationなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。