Apache Spark Batchジョブのデータサンプルにプレパレーションを適用する - Cloud - 8.0

Data Preparation

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Data Preparation
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > データプレパレーションコンポーネント
データガバナンス > サードパーティーシステム > データプレパレーションコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > データプレパレーションコンポーネント

このシナリオは、サブスクリプションベースのビッグデータ関連Talend製品にのみ適用されます。

Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントをご覧ください。

tDataprepRunコンポーネントを使うと、Talend Data PreparationまたはTalend Cloud Data Preparationで作成した既存のプレパレーションをビッグデータジョブで直接再利用できます。つまり、プレパレーションを入力データに同じモデルで適用するプロセスの操作を実行できます。

以下のシナリオでは、次の操作を実行するシンプルなジョブを作成します。

  • 顧客データの小さいサンプルを読み取る。
  • 既存のプレパレーションをこのデータに適用する。
  • 実行結果をコンソールで表示する。

これらの操作を実行するには、ジョブの入力データと同じスキーマでデータセット上にプレパレーションを事前に作成しておく必要があります。ここでは、既存のプレパレーションはdatapreprun_sparkといいます。

注: 両端に同じスキーマがあると、一貫した結果が保証されますが、スキーマが異なってもジョブは引き続き実行します。

このシンプルなプレパレーションにより、顧客の姓が大文字に変換され、カリフォルニア、テキサス、フロリダの顧客を分離するフィルターが適用されます。

1つの行またはセルにしか影響しない処理がプレパレーションに含まれている場合、ジョブの実行中、tDataprepRunコンポーネントによってこれらの処理はスキップされます。[Make as header] (ヘッダーとして作成)または[Delete Row] (行を削除)機能は、ビッグデータなどのコンテキストでは機能しません。

読み取られたサンプルデータは次のとおりです。
James;Butt;California
Daniel;Fox;Connecticut
Donna;Coleman;Alabama
Thomas;Webb;Illinois
William;Wells;Florida
Ann;Bradley;California
Sean;Wagner;Florida
Elizabeth;Hall;Minnesota
Kenneth;Jacobs;Florida
Kathleen;Crawford;Texas
Antonio;Reynolds;California
Pamela;Bailey;Texas
Patricia;Knight;Texas
Todd;Lane;New Jersey
Dorothy;Patterson;Virginia
注: サンプルデータはあくまでも例示用です。

tHDFSConfigurationはこのシナリオで、ジョブに依存するjarファイルの転送先となるHDFSシステムに接続するために、Sparkによって使用されます。

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、https://help.talend.com/access/sources/content/topic?pageid=thdfsconfiguration&mapid=hdfs&afs:lang=ja&EnrichVersion=8.0を使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationtS3Configurationなど、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

前提条件: Sparkクラスターが適切にインストールされ、実行されていることをご確認ください。