tMatchIndexPredictを使用して継続的マッチングを行う
このシナリオは、サブスクリプションベースのビッグデータ対応のTalendプラットフォーム製品およびTalend Data Fabricにのみ適用されます。
tMatchIndexを使用してElasticsearchでルックアップデータをインデックス化すると、マッチングプロセスをゼロから再開する必要がありません。tMatchIndexPredictコンポーネントは、新しいデータレコードをElasticsearchに保存されているルックアップと比較します。
この例では、シカゴの幼児教育センターにおける10種類の異なるソースからのリストが、Elasticsearchでクリーン化、重複除去され、インデックスが作成されています。シカゴの幼児教育センターに関する情報を含む新しいレコードを、Elasticsearchに保存されている参照データセットと照合してマッチングしようとしています。
tMatchIndexPredictはペアリングモデルとマッチングモデルを使用し、入力データからのレコードと、Elasticsearch内でインデックスが作成された参照データセットからのマッチングレコードをグルーピングし、サスペクトペアにラベル付けします。
tMatchIndexPredictは、重複している可能性のあるレコードとユニークなレコードを別々のファイルに出力します。
-
ペアリングモデルが生成済みであること。
ペアリングモデルを生成する方法のサンプルは、ソースデータの疑わしいペアと疑わしいサンプルを計算およびサスペクトペアを計算し、サンプルをTalend Data Stewardshipに書き込むをご覧ください。
-
マッチングモデルが生成済みであること。
マッチングモデルを生成する方法のサンプルは、マッチングモデルを生成およびグルーピングキャンペーンからマッチングモデルを生成をご覧ください。
-
クリーンで重複除去済みのデータがElasticsearchでインデックスが作成されており、新しいデータレコードと照合してマッチングし、ユニークなレコードまたはサスペクト重複のどちらであるかを判定できるようになっていること。
詳細は、Elasticsearchで参照データセットをインデックス化するをご覧ください。
-
Elasticsearch検索クラスターではElasticSearch 5+を実行している必要があります。
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。