tMongoDBOutput標準プロパティ - 7.3

MongoDB

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > NoSQLコンポーネント > MongoDB
データガバナンス > サードパーティーシステム > NoSQLコンポーネント > MongoDB
データクオリティとプレパレーション > サードパーティーシステム > NoSQLコンポーネント > MongoDB

このプロパティはStandardジョブフレームワークで実行されているtMongoDBOutputを設定するために使います。

Standard tMongoDBOutputコンポーネントはビッグデータファミリーとデータベースNoSQLファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Use existing connection] (デフォルト接続を使用)

定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストで目的の接続コンポーネントを選択します。

[DB Version] (DBバージョン)

データベースバージョンのリスト。

[Use existing connection] (既存の接続の使用)チェックボックスが選択されていない場合に使用できます。

[Use replica set address] (レプリカセットのアドレスの使用)

このチェックボックスをオンにすると、[Replica address] (レプリカアドレス)テーブルが表示されます。

[Replica address] (レプリカアドレス)テーブルでは、フェイルオーバー用に複数のMongoDBデータベースサーバーを定義できます。

[Use existing connection] (既存の接続の使用)チェックボックスが選択されていない場合に使用できます。

[Server] (サーバー)[Port] (ポート)

データベースサーバーのIPアドレスとリスニングポート。

[Use existing connection] (既存の接続の使用)または[Use replica set address] (レプリカセットアドレスの使用)チェックボックスが選択されていない場合に使用できます。

データベース

データベースの名前。

[Use SSL connection] (SSL接続の使用)

SSLまたはTLS暗号化接続を有効にする場合は、このチェックボックスをオンにします。

次に、同じジョブ内のtSetKeystoreコンポーネントを使用して暗号化情報を指定する必要があります。

SSL接続はMongoDBのバージョン2.4 +でのみ利用可能です。

[Set write concern] (書き込み確認の設定)

このチェックボックスをオンにすると、書き込み操作に対して要求される確認応答のレベルを設定できます。この操作のレベルを選択する必要があります。

詳細は、http://docs.mongodb.org/manual/core/write-concern/で、関連するMongoDBのドキュメントを参照してください。

[Bulk write] (バルク書き込み)

データを一括で挿入、更新、または削除するには、このチェックボックスをオンにします。この機能は、使っているMongoDBのバージョンが 2.6+の場合にのみ利用できます。

[Ordered] (順序指定)または[Unordered] (順序指定なし)を選択して、MongoDBデータベースがStudioから送信されたデータを処理する方法を定義する必要があります。
  • [Ordered] (順序指定)を選択すると、MongoDBはクエリーを順番に処理します。

  • [Unordered] (順序指定なし)を選択すると、MongoDBは、個々の操作がバルク書き込みに挿入された順序を維持せずに、バルク書き込み操作を最適化します。

[Bulk write size] (バルク書き込みサイズ)フィールドに、MongoDBによって処理する各クエリーグループのサイズを入力します。MongoDBのドキュメントでは、このサイズに関する一部の制限と予想される動作が説明されています。詳細は、http://docs.mongodb.org/manual/core/bulk-write-operations/を参照してください。

[Required authentication] (認証の要求)

このチェックボックスをオンにすると、データベース認証が有効になります。

Kerberosを使用していない場合は、[Authentication mechanism] (認証メカニズム)ドロップダウンリストにリスト表示されているメカニズムのうち、[NEGOTIATE]が推奨されます。使用しているMongoDBバージョンに最もよく対応している認証メカニズムが自動的に選択されるためです。

SCRAM-SHA-256認証メカニズムがMongoDB 4.x以降のみにサポートされているため、SCRAM-SHA-256 SASLオプションは[DB Version] (DBバージョン)ドロップダウンリストからMongoDB 4.4.X and laterが選択されている時のみ利用できます。
注: SCRAM-SHA-256 SASLオプションは、TalendのR2021-08以降のStudio月次アップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。

このリスト内の他のメカニズムについては、MongoDBのドキュメンテーションでMongoDB Authenticationを参照してください。

[Set Authentication database] (認証データベースの設定)

MongoDBへの接続に使用するユーザー名がMongoDBの特定の認証データベース内で作成済みの場合は、このチェックボックスをオンにして、表示される[Authentication database] (認証データベース)フィールドに、この認証データベースの名前を入力します。

MongoDB認証データベースについては、User Authentication databaseを参照してください。

[Username] (ユーザー名)[Password] (パスワード)

DBユーザー認証データ。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Required authentication] (認証の要求)チェックボックスが選択されている場合に使用できます。

[Authentication mechanism] (認証方式)ドロップダウンリストでKerberosをセキュリティシステムに選択した場合は、[Username] (ユーザー名)[Password] (パスワード)のフィールドではなく、[User principal] (プリンシパルを使用)[Realm] (レルム)[KDC server] (KDCサーバー)のフィールドに入力します。

[Collection] (コレクション)

MongoDBデータベースのコレクションの名前。

[Drop collection if exist] (存在する場合はコレクションをドロップ)

このチェックボックスをオンにすると、既に存在する場合はコレクションが削除されます。

[Action on data] (データへのアクション)

以下の操作を実行できます:
  • [Insert] (挿入): ドキュメントを挿入します。

  • [Set] (設定): 既存のドキュメントの既存のフィールドを変更し、このドキュメント内に存在しない場合はフィールドを追加します。

    使用するコレクション内のすべてのドキュメントにこのアクションを適用する必要がある場合は、表示される[Update all document] (すべてのドキュメントを更新)チェックボックスをオンにします。これがオフの場合、最初のドキュメントのみが更新されます。

  • [Update] (更新): 既存のドキュメントを受信データに置換しますが、これらのドキュメントのテクニカルIDは保持されます。

  • [Upsert]: 存在しない場合はドキュメントを挿入しますが、存在する場合は[Update] (更新)と同じルールを適用します。

  • [Upsert with set] (セットでUpsert): 存在しない場合はドキュメントを挿入しますが、存在する場合は[Set] (セット)と同じルールを適用します。

    使用するコレクション内のすべてのドキュメントにこのアクションを適用する必要がある場合は、表示される[Update all document] (すべてのドキュメントを更新)チェックボックスをオンにします。これがオフの場合、最初のドキュメントのみが更新されます。

  • [Delete] (削除): ドキュメントを削除します。

    使用するコレクション内のすべてのドキュメントにこのアクションを適用する必要がある場合は、表示される[Delete all documents] (ドキュメントをすべて削除)チェックボックスをオンにします。これがオフの場合は1つのドキュメントしか削除されません。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

ジョブで接続された前のコンポーネントからスキーマを取得するには、[Sync columns] (カラムの同期)をクリックします。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

再使用するスキーマに整数またはファンクションのデフォルト値が指定されている場合は、これらのデフォルト値を引用符で囲まないようにご注意ください。引用符で囲まれている場合は手動で削除します。

詳細は、Talend Studioユーザーガイドでテーブルスキーマに関連する説明を参照してください。

[Mapping] (マッピング)

このコンポーネント用に定義されたスキーマの各カラムは、読み取るドキュメントのフィールドを表します。このテーブルで、これらのフィールドの親ノードがあればそれを指定する必要があります。

たとえば、次のようなドキュメントがあるとします。
{
               _id: ObjectId("5099803df3f4948bd2f98391"),
               person: { first: "Joe", last: "Walker" }
            }
フィールドfirstおよびlastには親ノードpersonがありますが、_idフィールドには親ノードがありません。したがって、完了すると、この[Mapping]テーブルは次のようになります。
Column     Parent node path
_id
first       "person"
last        "person"

[Updatable] (更新可能)および[Insertable] (挿入可能): 名前が適用されるので、フィールドを更新および挿入できるかどうかを指定します。これらの2つのカラムは、[Action on data] (データへのアクション)ドロップダウンリストから Upser with setを選択すると表示されます。

注: [Updatable] (更新可能)カラムおよび[Insertable] (挿入可能)カラムは、TalendのR2020-08以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。

[Advanced settings] (詳細設定)[Generate JSON Document] (JSONドキュメントを生成する)チェックボックスがオンの場合には利用できません。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー時に行をスキップし、エラーの発生していない行の処理が完了されます。デフォルトでは選択されていません。

詳細設定

[Generate JSON Document] (JSONドキュメントの生成)

JSON設定のためにこのチェックボックスをオンにします。

[Configure JSON Tree] (JSONツリーの設定): [...]ボタンをクリックして、JSONツリー設定のインターフェイスを開きます。詳細は、twritejsonfield-twritejsonfield_configuring-a-json-tree_standard_component_when-confi_topic.htmlを参照してください。
注: JSONオブジェクトをBSONオブジェクトに適用させるには、オブジェクトの前に_DOLLAR__を追加します。たとえば$oid_DOLLAR__oidに、$date_DOLLAR__dateになります。これによってMongoDB固有のオブジェクトが読み取られるようになり、文字列と見なされることありません。

[Create empty element if needed] (必要に応じて空のエレメント作成): XMLツリーエディターの[Related Column] (関連カラム)にNULL値がある場合、またはXMLノードに関連付けられているカラムがない場合、このオプションを実行すると予想される場所に開閉タグが作成されます。このチェックボックスはデフォルトで選択されています。

[Ignore service attributes for empty elements] (空のエレメントのサービス属性を無視する): このオプションを選択すると、入力ノードがnullであるにもかかわらずサービス属性(@type@class@arrayなど)を持つ場合に、コンポーネントがノードを生成することを防止できます。このオプションは、[Create empty element if needed] (必要に応じて空のエレメントを作成)オプションが選択されていない場合に利用可能です。

注: [Create empty element if needed] (必要に応じて空のエレメント作成)オプションと[Ignore service attributes for empty elements] (空のエレメントのサービス属性を無視する)オプションは、TalendのR2020-04以降のStudio月次アップデートをインストールした場合にのみ利用できます。詳細は管理者にお問い合わせください。

[Group by] (分類基準): [+]ボタンをクリックして行を追加し、レコードを分類するための入力カラムを選択します。

[Remove root node] (ルートノードを削除): ルートノードを削除するには、このチェックボックスをオンにします。

[Data node] (データノード)[Query node] (クエリーノード) (更新とアップサートアクションに利用可能): JSONツリー上に設定されたデータノードとクエリーノードの名前を入力します。

警告:

これらのノードは、更新とアップサートのアクションに必須です。これらはデータベースには保管されませんが、更新とアップサートのアクションを有効にすることを目的としています。

[No query timeout] (クエリータイムアウトなし)

アイドルカーソルの非アクティブ状態が10分間続いた時にMongoDBサーバーがカーソルを停止することを防ぐには、このチェックボックスをオンにします。この状況では、このカーソルの結果が枯渇するか、またはcursor.close()メソッドを使用して手動で閉じるまで、アイドルカーソルが開いたままとなります。

MongoDBのカーソルはクエリーの結果セットを指すポインターです。デフォルトでは、すなわち、このチェックボックスがオフの場合、MongoDBサーバーは、メモリの過剰使用を避けるために、非アクティブ状態が特定の期間続くと、アイドルカーソルを自動的に停止します。MongoDBカーソルの詳細は、https://docs.mongodb.org/manual/core/cursors/を参照してください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

グローバル変数

[Global Variables] (グローバル変数)

NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、Die on error (エラー時強制終了)がオフになっている場合にのみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + Spaceを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、『 Talend Studio ユーザーガイド』を参照してください。

使用方法

使用ルール

tMongoDBOutputは、ジョブ内の先行するコンポーネントからのフローをベースに、MongoDBデータベースのコレクションで定義されているアクションを実行します。

制限事項

注:
  • 複数のドキュメントを一度に更新できる"multi"パラメーターは、サポートされていません。したがって、2つのドキュメントに同じキーがある場合、最初のドキュメントは常に更新されますが、2番目のドキュメントは決して更新されません。

  • 更新操作では、キーはJSON配列にできません。