tCouchbaseInputの標準プロパティ - 7.3

Couchbase

Version
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > NoSQLコンポーネント > Couchbase
データガバナンス > サードパーティーシステム > NoSQLコンポーネント > Couchbase
データクオリティとプレパレーション > サードパーティーシステム > NoSQLコンポーネント > Couchbase
Last publication date
2024-02-22

これらのプロパティは、標準ジョブのフレームワークで実行されているtCouchbaseInputを設定するために使われます。

標準tCouchbaseInputコンポーネントは、データベースNoSQLファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで利用できます。

基本設定

[Bootstrap nodes] (ブートストラップノード)

Couchbase SDKでブートストラップするノードの名前かIPを入力します。Couchbaseはブートストラップに複数のノードを指定するよう推奨しているので、ノードの名前かIPをコンマ( , )で区切ってこのフィールドに入力してください。

Couchbaseブートストラップの詳しい情報は、How Couchbase SDKs connect to the clusterをご覧ください。

ノード名はCouchbase Web Consoleの[Servers] (サーバー)ページで見つかります。詳しい情報は、Couchbaseクラスターの管理者に連絡するか、Couchbaseのドキュメンテーションをご覧ください。

Clouchbaseサーバーはプロキシをサポートしないことにご注意ください。この理由により、TalendからのCouchbaseのコンポーネントもプロキシをサポートしません。

[Username] (ユーザー名)[Password] (パスワード)

認証情報を自分のCouchbaseクラスターに入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、OKをクリックして設定を保存します。

Couchbase V5.0以降ではパスワードがバケットに関連付けられなくなったため、該当するバージョンを使用している場合は、[Bucket] (バケット)フィールドに同じ値をパスワードとして入力してください。ただしCouchbaseでは、バケットにアクセスできるロールを持つユーザーを作成する必要があります。

Couchbaseサイドでのアクセスコントロールやその他の重要要件に関する詳細は、お使いのバージョンのCouchbaseリリースノートをご覧ください。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

JSON以外のドキュメントを使用する場合は、[String] (文字列)型のidカラムを定義してから、contentカラムを定義します。このcontentカラムのタイプは、文字列ドキュメントの場合は[String] (文字列)バイナリドキュメントの場合はbyte[] である必要があります。

JSONドキュメントについては、使用するJSONドキュメントに存在するフィールドを定義します。

[Bucket] (バケット)

Couchbaseデータベースにあるデータバケットの名前を二重引用符で囲んで入力します。

使用している認証情報に、このバケットにアクセスできる適切な権限があることを確認します。

Couchbase V5.0以降を使用している場合、使用するCouchbase UIの[Security] (セキュリティ)タブで作成したユーザー名がこのバケットの名前になります。

[Document type] (ドキュメントタイプ)

Couchbaseデータベースに保存されるデータは、JSON、文字列、バイナリのいずれかを入力します。このドロップダウンリストから、Couchbaseで使用する必要があるデータのタイプを選択します。

JSON、バイナリ、文字列のドキュメントを同じバケットに混在させることはお勧めしません。この混合により、ドキュメント処理でエラーが発生しやすくなる可能性があります。

N1QLを使用して文字列またはバイナリドキュメントをクエリーする必要がある場合、唯一の方法は、ドキュメントIDを使用してドキュメントを取得することです。たとえば、ID番号が2のドキュメントを取得する必要がある場合、N1QLクエリーは次のようになります。
SELECT meta().id as `_meta_id_` FROM `bucket_name` where meta().id = '2';

_meta_id_bucket_nameを囲む引用符はバッククォート(`)であることにご注意ください。

[Query Type] (クエリータイプ)
使うするクエリーのタイプを次のオプションから選択します。
  • [Select All] (すべて選択): 特定のバケットのすべてのコンテンツを選択します。
  • [N1QL]: N1QLステートメントを使って、微調整されたクエリーを実行します。
  • [N1QL for Analytics]: N1QL for Analyticsステートメントを使って、クエリーを実行します。N1QL for Analyticsは、半ストラクチャー化データをクエリーする言語です。
  • [Document ID] (ドキュメントID): ドキュメントIDを使ってドキュメントを選択します。表示される[Document ID] (ドキュメントID)フィールドに、使うIDを入力する必要があります。コンポーネントごとに許可されるドキュメントIDは1つだけです。
注:
  • N1QL for Analyticsオプションは、TalendのR2021-08以降のStudioマンスリーアップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。
  • N1QL for Analyticsに関する情報は、N1QL for Analytics Languageリファレンスをご覧ください。
  • なお、N1QL for Analytics vs. N1QL for Queryで、N1QL for AnalyticsN1QL for Queryの比較をご覧いただけます。
[Query] (クエリー)

N1QL queryステートメントまたはN1QL for Analyticsステートメントを入力して、複雑なアクションを実行します。

許可されるステートメントは1つだけです。ステートメントを引用符で囲まないでください。

  • SELECT *などのクエリーでワイルドカードを使う場合 、このクエリーの返された結果は、このクエリーで使われるバケット名でラップされます。この状況では、このコンポーネントのスキーマで結果のカラムを1つだけ定義します。

    たとえば、このクエリーを実行すると
    SELECT * FROM `travel_sample` limit 3
    返された結果は、以下のようにtravel_sampleバケットでラップされます。
    [
      {
        "travel_sample": {
          "callsign": "MILE-AIR",
          "country": "United States",
          "iata": "Q5",
          "icao": "MLA",
          "id": 10,
          "name": "40-Mile Air",
          "type": "airline"
        }
      },
      {
        "travel_sample": {
          "callsign": "TXW",
          "country": "United States",
          "iata": "TQ",
          "icao": "TXW",
          "id": 10123,
          "name": "Texas Wings",
          "type": "airline"
        }
      },
      {
        "travel_sample": {
          "callsign": "atifly",
          "country": "United States",
          "iata": "A1",
          "icao": "A1F",
          "id": 10226,
          "name": "Atifly",
          "type": "airline"
        }
      }
    ]

    スキーマで、結果を保管するために、たとえばtravel_sampleという1つのカラムを定義し、タイプとして[String] (文字列)を選択します。

  • 次のようなワイルドカードなしのクエリーを使う場合
    SELECT callsign, country, iata, icao, id, name, type FROM `travel_sample` limit 3;
    返される結果はラップされず、次のようになります。
    [
      {
        "callsign": "MILE-AIR",
        "country": "United States",
        "iata": "Q5",
        "icao": "MLA",
        "id": 10,
        "name": "40-Mile Air",
        "type": "airline"
      },
      {
        "callsign": "TXW",
        "country": "United States",
        "iata": "TQ",
        "icao": "TXW",
        "id": 10123,
        "name": "Texas Wings",
        "type": "airline"
      },
      {
        "callsign": "atifly",
        "country": "United States",
        "iata": "A1",
        "icao": "A1F",
        "id": 10226,
        "name": "Atifly",
        "type": "airline"
      }
    ]

    この状況では、実際のビジネスデータのストラクチャーを表すカラムを定義します。たとえば、コンポーネントスキーマの中の次のようなカラムです: callsigncountryiataicaoidnameairline

注: このフィールドは、[Query type] (クエリータイプ)ドロップダウンリストから[N1QL]または[N1QL Analytics] (N1QL統計)を選択する時に使用できます。

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

[Use custom connection parameters] (カスタム接続パラメーターを使用)

このオプションを選択すれば、[Connection timeout] (接続タイムアウト)[Query timeout] (クエリータイムアウト)[Analytics timeout] (アナリティクスタイムアウト)[Query threshold] (クエリーしきい値)といった接続パラメーターを設定できます。

接続パラメーターを設定する場合は、テーブルの下部にあるプラスボタンをクリックして[Connection parameters] (接続パラメーター)テーブルに行を追加し、[Parameter name] (パラメーター名)カラムをクリックしてドロップダウンリストから目的のパラメーターを選択し、[Parameter value] (パラメーター値)カラムにパラメーター値を入力します。

[Limit rows] (行を制限) 読み取る最大行数を入力します。N1QLクエリーを使う場合、このフィールドは使えません。
[Create primary index] (プライマリインデックスを作成) このチェックボックスを選択して、データベースのプライマリインデックスまたはプライマリインデックスが既に存在する場合、新しいプライマリインデックスをコンポーネントに作成させます。

セカンダリーインデックスが存在する場合、プライマリインデックスの作成がオプションである可能性があるため、デフォルトでこのチェックボックスは消去されています。

プライマリインデックスに関する詳細は、公式CouchbaseドキュメンテーションからCreate primary index (プライマリインデックスを作成)をご覧ください。

グローバル変数

グローバル変数

NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用方法

使用ルール

開始コンポーネントとして、tCouchbaseInputがCouchbaseデータベースからドキュメントを読み取ります。