tMongoDBBulkLoadの標準プロパティ

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[MongoDB directory] (MongoDBディレクトリー)

このフィールドにMongoDBホームディレクトリーを入力します。

[Use local DB path] (ローカルDBパスの使用)

このチェックボックスをオンにすると、使用するローカルデータベースの情報を指定できます。MongoDB V3.0以降のバージョンでは、このフィーチャーはサポートされていません。

• [Local DB path] (ローカルDBパス): MongoDBサーバーの起動時に指定されたローカルデータベースのパスを入力します。

[Use replica set address] (レプリカセットのアドレスの使用)

このチェックボックスをオンにすると、接続するレプリカセットを定義できます。

• [Replica set name] (レプリカセット名): レプリカセットの名前を指定します。

• [Replica address] (レプリカアドレス):必要に応じて、フェイルオーバー用に複数のMongoDBデータベースサーバーを指定します。レプリカホストまたはレプリカポートを未指定のままにすると、デフォルト値のlocalhostおよび27017が使用されます。

このオプションを選択すると、MongoDB Atlas URIを使って接続を確立できます。右側のフィールドにURIを入力します。関連情報は、接続文字列のURI形式をご覧ください。

サーバー

データベースサーバーのホスト名またはIPアドレス。サーバーが指定されていない場合は、デフォルト値のlocalhostが使用されます。

このフィールドは[Use replica set address] (レプリカセット住所の使用)チェックボックスが選択されていない場合のみ利用できます。

[Port] (ポート)

データベースサーバーのリスニングポート。ポートが指定されていない場合は、デフォルト値の27017が使用されます。

このフィールドは[Use replica set address] (レプリカセット住所の使用)チェックボックスが選択されていない場合のみ利用できます。

[Database] (データベース)

データのインポート先となるデータベースの名前を入力します。

[Collection] (コレクション)

データのインポート先となるコレクションの名前を入力します。

[Use SSL connection] (SSL接続を使用)

SSLまたはTLS暗号化接続を有効にする場合は、このチェックボックスを選択します。

次に、同じジョブ内のtSetKeyStoreコンポーネントを使用して暗号化情報を指定する必要があります。

SSL接続はMongoDBのバージョン2.4 +でのみ利用可能です。

[Drop collection if exist] (存在する場合はコレクションをドロップ)

このチェックボックスをオンにすると、既に存在する場合はコレクションが削除されます。

[Required authentication] (必要な認証)

このチェックボックスをオンにすると、データベース認証が有効になります。

Kerberosを使用していない場合は、[Authentication mechanism] (認証メカニズム)ドロップダウンリストにリスト表示されているメカニズムのうち、[NEGOTIATE]が推奨されます。使用しているMongoデータベースバージョンに最もよく対応している認証メカニズムが自動的に選択されるためです。

SCRAM-SHA-256認証メカニズムがMongoDB 4.x以降のみにサポートされているため、SCRAM-SHA-256 SASLオプションは[DB Version] (データベースバージョン)ドロップダウンリストから、MongoDB 4.4.X and laterが選択されている時のみ利用できます。

このリスト内の他のメカニズムについては、MongoDBのドキュメンテーションでMongoDB Authenticationをご覧ください。

[Set Authentication database] (認証データベースの設定)

MongoDBへの接続に使用するユーザー名がMongoDBの特定の認証データベース内で作成済みの場合は、このチェックボックスをオンにして、表示される[Authentication database] (認証データベース)フィールドに、この認証データベースの名前を入力します。

MongoDB認証データベースについては、User Authentication databaseをご覧ください。

[Username] (ユーザー名)と[Password] (パスワード)

DBユーザー認証データ。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Required authentication] (必要な認証)チェックボックスが選択されている場合に利用できます。

[Authentication mechanism] (認証方式)ドロップダウンリストから、Kerberosをセキュリティシステムに選択した場合は、[Username] (ユーザー名)と[Password] (パスワード)のフィールドではなく、[User principal] (プリンシパルを使用)、[Realm] (レルム)、[KDC server] (KDCサーバー)のフィールドに入力します。

[Certificate] (証明書)

証明書ファイルへのパスを入力します。このフィールドには、右にある[...]ボタンをクリックし、証明書ファイルのあるフォルダーに移動して、証明書ファイルを選択して入力することもできます。

このフィールドは、[Authentication mechanism] (認証メカニズム)ドロップダウンリストからX509を選択する場合に利用できます。

[Use certificate authority] (認証局を使用)

このオプションを選択してCA証明書を使います。右側のフィールドにCA証明書へのパスを入力する必要があります。このフィールドには、右にある[...]ボタンをクリックし、証明書ファイルのあるフォルダーに移動して、証明書ファイルを選択して入力することもできます。

このフィールドは、[Authentication mechanism] (認証メカニズム)ドロップダウンリストからX509を選択する場合に利用できます。

[Data file] (データファイル)

データのインポート元ファイルの完全パスを入力するか、[...]ボタンをクリックして目的のデータファイルを参照します。

データファイルが標準形式になっていることを確認します。たとえば、CSVファイルのフィールドはコンマで区切る必要があります。

[File type] (ファイルタイプ)

リストから適切なファイルの種類を選択します。CSV、TSV、およびJSONがサポートされています。

[The JSON file starts with an array] (JSONファイルは配列で始まる)

このチェックボックスをオンにすると、tMongoDBBulkloadでは配列で始まるJSONファイルを読み取れます。

このチェックボックスは、選択した[File type] (ファイルタイプ)がJSONの場合に表示されます。

[Action on data] (データでのアクション)

データに対して実行する操作を選択します。

• [Insert] (挿入): データをデータベースに挿入します。

  CSVまたはTSVファイルからMongoDBデータベースにデータを挿入する場合は[First line is header] (最初の行をヘッダーにする)チェックボックスをオンにするか、スキーマでフィールドを定義する必要があります。

• [Upsert] (アップサート): データが存在しない場合は挿入し、存在する場合は既存のデータをアップデートします。

  MongoDBデータベースでデータのアップサートを行う場合、アップサート操作のクエリー部分のフィールドリストを指定する必要があることにご注意ください。

[Upsert fields] (アップサートフィールド)

必要に応じてアップサートするフィールドをカスタマイズします。

このテーブルは[Action on data] (データでのアクション)リストから[Upsert] (アップサート)を選択した場合に利用できます。

[First line is header] (最初の行をヘッダーにする)

このチェックボックスをオンにすると、CSVまたはTSVファイルの最初の行をヘッダーとして利用できます。

このチェックボックスは、[File type] (ファイルタイプ)リストからCSVまたはTSVを選択した場合のみ利用できます。

[Ignore blanks] (空白を無視)

このチェックボックスをオンにすると、CSVまたはTSVファイルの空のフィールドを無視できます。

このチェックボックスは、[File type] (ファイルタイプ)リストからCSVまたはTSVを選択した場合のみ利用できます。

[Print log] (ログを印刷)

このチェックボックスをオンにすると、ログを印刷できます。

[Additional arguments] (追加の引数)

必要に応じて、追加の引数を使用するには、このテーブルの入力を完了します。

たとえば、引数--jsonArrayを使用して、単一のJSON配列内の複数のMongoDBドキュメントで表されるデータのインポートを受け入れることができます。その他の引数の詳細は、http://docs.mongodb.org/manual/reference/program/mongoimport/に移動し、オプションの説明をご覧ください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。

グローバル変数

NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。

変数の詳細は、コンテキストと変数を使用をご覧ください。

使用ルール

このコンポーネントは、tMongoDBInputコンポーネントと共に使用して、データが正しくインポートされたかどうかを確認できます。

[Limitation] (制限事項)

MongoDBクライアントツールは、このコンポーネントを使用するジョブが実行されるマシンにインストールしておく必要があります。