コンポーネント固有設定 - 7.0

thbaseoutputジョブスクリプトプロパティ

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
ジョブデザインと開発 > サードパーティーシステム > ファイルコンポーネント > Parquet
データガバナンス > サードパーティーシステム > ファイルコンポーネント > Parquet
データクオリティとプレパレーション > サードパーティーシステム > ファイルコンポーネント > Parquet
EnrichPlatform
Talend CommandLine
Talend Studio

コンポーネントのsetSettings {}関数で定義できるジョブスクリプトの関数とパラメーターは、以下の表のとおりです。

関数/パラメーター 説明 必須?

USE_EXISTING_CONNECTION

定義済みの接続情報を再利用する場合は、このパラメーターをtrueに設定して、CONNECTIONパラメーターを使って、関連接続コンポーネント名を指定します。

いいえ

DISTRIBUTION

クラスターディストリビューションを指定します。使用できる値は次のとおりです。

  • APACHE
  • CLOUDERA
  • HORTONWORKDS
  • MAPR
  • PIVOTAL_HD
  • CUSTOM

このパラメーターを指定しない場合、デフォルトのクラスターディストリビューションはAmazon EMRになります。

いいえ

HBASE_VERSION

使用しているHadoopディストリビューションのバージョンを指定します。使用できる値は次のとおりです。

  • Amazon EMRの場合:

    • EMR_5_5_0
    • EMR_5_0_0
    • EMR_4_6_0
  • Apacheの場合:

    • APACHE_1_0_0
  • Clouderaの場合:

    • Cloudera_CDH5_10
    • Cloudera_CDH5_8
    • Cloudera_CDH5_7
    • Cloudera_CDH5_6
    • Cloudera_CDH5_5
  • HortonWorksの場合:

    • HDP_2_6
    • HDP_2_5
    • HDP_2_4
  • MapRの場合:

    • MAPR520
    • MAPR510
    • MAPR500
  • Pivotal HDの場合:

    • PIVOTAL_HD_2_0
    • PIVOTAL_HD_1_0_1

デフォルト値はEMR_5_5_0です。

いいえ

HADOOP_CUSTOM_VERSION

カスタムクラスターを使用している場合、このパラメーターを使ってカスタムクラスターのHadoopバージョンを指定します。HADOOP_1 (デフォルト)またはHADOOP_2になります。

いいえ

ZOOKEEPER_QUORUM

Studioとデータベース間のトランザクションを調整するZookeeperサービスの名前またはURLを入力します。

Zookeeperを設定する場合は、SET_ZNODE_PARENTパラメーターとZNODE_PARENTパラメーターを使用して、ルートznodeへのパスを明示的に定義する必要があります。ルートznodeには、データベースによって作成および使用されるすべてのznodeが含まれます。

はい

ZOOKEEPER_CLIENT_PORT

使用しているZookeeperサービスのクライアントリスニングポートの数を指定します。

はい

SET_ZNODE_PARENT

必要に応じて、このパラメーターをtrueに設定して、ZNODE_PARENTパラメーターによりルートznodeのパスを指定します。

いいえ

USE_KRB

使用データベースがKerberosで保護されている場合、このパラメーターをtrueに設定し、HBASE_MASTER_PRINCIPALパラメーターとHBASE_REGIONSERVER_PRINCIPAパラメーターによってプリンシパル名を指定します。

いいえ

USE_KEYTAB

Kerberosキータブファイルを使ってログインする必要がある場合、このパラメーターをtrueに設定し、PRINCIPALパラメーターを使ってプリンシパルを、KEYTAB_PATHパラメーターを使ってキータブファイルのアクセスパスを指定します。

いいえ

USE_MAPRTICKET

クラスターがバージョン4.0.1以上のMapRクラスターである場合、このパラメーターをtrueに設定して、MAPRTICKET_CLUSTERMAPRTICKET_DURATIONUSERNAMEMAPRTICKET_PASSWORDの各パラメーターを使って関連情報を指定することによって、MapRチケット認証構成を設定することが必要になります。 詳細は、Connecting to a security-enabled MapRを参照して下さい。

いいえ

TABLE

データを書き込むHBaseテーブルの名前を入力します。

はい

SET_TABLE_NS_MAPPING

必要に応じて、このパラメーターをtrueに設定し、TABLE_NS_MAPPINGを使って、Apache HBaseテーブルとMapRテーブル間のマッピングを構成するのに使用される文字列を指定します。

いいえ

TABLE_ACTION

指定テーブル上で実行するアクションを入力します。使用できる値は次のとおりです。

  • NONE (デフォルト)
  • CREATE
  • DROP_CREATE
  • CREATE_IF_NOT_EXISTS
  • DROP_IF_EXISTS_AND_CREATE

いいえ

FAMILIES {}

この関数に次のパラメーターを含めて、処理するデータフロー用に定義されているスキーマカラムに、テーブルのカラムをマップします。

  • SCHEMA_COLUMN: マップするスキーマカラムの名前を入力します。
  • FAMILY_COLUMN: スキーマカラムをマップするカラムファミリーを入力します。

カラムファミリーの詳細については、Apacheドキュメントの「Column families」を参照して下さい。

はい

DIE_ON_ERROR

エラー発生時、ジョブの実行を停止する場合は、このパラメーターをtrueに設定します。

デフォルトでは、このパラメーターはfalseに設定されます。

いいえ

USE_BATCH_MODE

データをバッチ処理する場合は、このパラメーターをtrueに設定して、BATCH_SIZEを使って、各バッチで処理するレコード数を指定します。

いいえ

HBASE_PARAMETERS {}

データベースのカスタム構成を使用する必要がある場合、この関数に、次のパラメーターセットを1つ以上含めて、カスタマイズするプロパティを指定します。カスタマイズされたプロパティは、実行時、Studioによって使用される対応するプロパティを上書きします。

  • PROPERTY: プロパティの名前を入力します。
  • VALUE: プロパティの新しい値を入力します。

いいえ

FAMILY_PARAMETERS {}

カラムファミリー、または作成されるファミリーの名前、および必要に応じてカスタムパフォーマンスオプションを、次の1つ以上のパラメーターセットを使って指定します。これらのオプションはすべてHBaseデータモデルによって定義されている属性なので、これらのオプションの詳細については、Apache HBaseドキュメントを参照して下さい。

  • FAMILY_NAME
  • FAMILY_INMEMORY
  • FAMILY_BLOCKCACHEENABLED
  • FAMILY_BLOOMFILTERTYPE
  • FAMILY_BLOCKSIZE
  • FAMILY_COMPACTIONCOMPRESSIONTYPE
  • FAMILY_COMPRESSIONTYPE
  • FAMILY_MAXVERSIONS
  • FAMILY_SCOPE
  • FAMILY_TIMETOLIVE

はい

SET_MAPR_HOME_DIR

MapR構成ファイルの場所がクラスター内のどこかに変更されている場合、つまり、MapRホームディレクトリが変更されている場合、このパラメーターをtrueに設定し、MAPR_HOME_DIRパラメーターを使って新しいホームディレクトリを指定します。

いいえ

SET_HADOOP_LOGIN

mapr.login.confファイルで使用されるログインモジュールが変更されている場合、このパラメーターをtrueに設定して、HADOOP_LOGINパラメーターを使って、mapr.login.confファイルから呼び出されるモジュールを指定します。

いいえ

TSTATCATCHER_STATS

各コンポーネントレベルおよびジョブレベルで処理メタデータを収集する場合、このパラメーターをtrueに設定します。

デフォルトでは、このパラメーターはfalseに設定されます。

いいえ

LABEL

このパラメーターを使って、コンポーネントのテキストラベルを指定します。

いいえ