Apache Spark BatchのtMapRDBInputプロパティ - 7.2

MapRDB

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > NoSQLコンポーネント > MapRDB
データガバナンス > サードパーティーシステム > NoSQLコンポーネント > MapRDB
データクオリティとプレパレーション > サードパーティーシステム > NoSQLコンポーネント > MapRDB

このプロパティはSpark Batchジョブフレームワークで実行されているtMapRDBInputを設定するために使います。

Spark Batch tMapRDBInputコンポーネントは、データベースファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで利用できます。

基本設定

Storage configuration (ストレージ設定)

使用するSparkシステムにMapRDBに接続するための設定情報を読み取らせるtMapRDBConfigurationコンポーネントを選択します。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

テーブル名

カラムを抽出するテーブルの名前を入力します。

テーブルネームスペースマッピング

Apache HBaseテーブルとMapRテーブルの間のマッピングを構成するために使用する文字列を入力します。

使用できる有効な構文については、http://doc.mapr.com/display/MapR40x/Mapping+Table+Namespace+Between+Apache+HBase+Tables+and+MapR+Tablesをご覧ください。

Mapping (マッピング)

このテーブルに入力して、処理するデータフロー用に定義されているスキーマカラムに使うテーブルのカラムをマップします。

Is by filter (フィルターによる)

このチェックボックスをオンにして、フィルターを使用して、正規表現をベースとするキーまたは値の選択など、データベースからきめ細かいデータ選択を行います。

選択すると、フィルタリング条件の定義に使用する[Filter] (フィルター)テーブルが利用できるようになります。

この機能はHBaseから提供されているフィルターを利用しており、Apache HBaseのドキュメンテーションで説明されている制約を受けます。したがって、これらのフィルターをフルに活用するには、HBaseに関する高度な知識が必要です。

Logical operation (論理演算)
フィルター間の論理関係を定義するために使用する必要のあるオペレーターを選択します。使用可能なオペレーターは次のとおりです。
  • And: 定義したすべてのフィルタリング条件が満たされる必要があります。関係 FilterList.Operator.MUST_PASS_ALLを表します。

  • Or: 定義済みフィルタリング条件の少なくとも1つが満たされる必要があります。関係: FilterList.Operator.MUST_PASS_ONEを表します。

[Filter] (フィルター)
このテーブルの下にあるボタンをクリックし、必要な行数を追加します。各行は1つのフィルターを表しています。フィルターに設定する必要のあるパラメーターは、次のとおりです。
  • [Filter type] (フィルタータイプ): ドロップダウンリストは、HBaseによって定義済みの既存のフィルタータイプを示します。使用する必要のあるフィルターのタイプを選択します。

  • [Filter column] (フィルターカラム): アクティブなフィルターを適用する必要のあるカラム修飾子を入力します。このパラメーターは、使用しているフィルターやコンパレーターのタイプによっては必須となります。たとえば、[Row Filter] (行フィルター)タイプでは不要ですが、[Single Column Value Filter] (単一カラム値フィルター)タイプでは必須です。

  • [Filter family] (フィルターファミリー): アクティブなフィルターを適用する必要のあるカラムファミリーを入力します。このパラメーターは、使用しているフィルターやコンパレーターのタイプによっては必須となります。たとえば、[Row Filter] (行フィルター)タイプでは不要ですが、[Single Column Value Filter] (単一カラム値フィルター)タイプでは必須です。

  • [Filter operation] (フィルターオペレーション): ドロップダウンリストで、アクティブなフィルターに使用するオペレーションを選択します。

  • [Filter Value] (フィルター値): [Filter operation] (フィルターオペレーション)ドロップダウンリストから選択したオペレーターを使用する時の値を入力します。

  • [Filter comparator type] (Filterコンパレータータイプ): 使用しているフィルターと組み合わせるコンパレーターのタイプを選択します。

使用している[Filter type] (フィルタータイプ)によっては、パラメーターの一部またはすべてが必須となります。詳細は、HBaseフィルターをご覧ください。

Die on Hbase error (HBaseエラー発生時に強制終了)

このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。

エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスをオフにします。エラーをスキップしたら、[Row] (行)> [Reject] (リジェクト)リンクを使用してエラーの発生した行を収集できます。

使用方法

使用ルール

このコンポーネントは開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、MapR-DBに接続するために同じジョブ内にあるtMapRDBConfigurationコンポーネントを使用します。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationtS3Configurationなど、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。