Multi-passマッチング

Multi-passマッチングとは?

前のパスで定義したマスターレコードを現在のtMatchGroupコンポーネントの入力として再利用するというのが、Multi-passマッチングの背景にある考え方です。Multi-passマッチングは、ブロッキングキーの間にコリレーションがほとんどない場合に、より有効です。たとえば、カラム"country"をブロッキングキーとして、カラム"city"をもう1つのブロッキングキーとして定義することには、関連性がありません。ブロッキングキー"city"に対して行われる比較はすべて、ブロッキングキー"country"に対しても行われるからです。

シンプルVSRマッチャーアルゴリズムでMulti-passマッチングを使用する場合、サイズ1のマスターレコード(どのレコードにもマッチングしなかったレコード)のみが、あらゆるサイズのマスターレコードと比較されます。少なくとも2つの子からそれぞれ取得された2つのマスターレコードの間で、比較は全く行われません。

Multi-passマッチングのサンプル

以下のサンプルでは、データセットにレコードが4つ含まれています。最初のtMatchGroupコンポーネントにはカラム"ZipCode"に対するブロッキングキーが1つあり、2番目のtMatchGroupコンポーネントにはカラム"city"に対するブロッキングキーが1つあることが前提とされています。属性"name"はマッチングキーとして使用されます。

最初のパスの後で、レコード1と3がグルーピングされ、レコード2と4がグルーピングされます。これらのグループでは、レコード1とレコード2がマスターレコードです。

2番目のtMatchGroupでは、最初のパスからのマスターレコードであるレコード1とレコード2のみが比較されます。グループサイズが厳密に1よりも大きいため、これらは比較されません。そのため、入力レコードが保存される順序が非常に重要です。

以下の結果が返されます。

同じパラメーターおよび[Most common] (最も一般的)なサバイバーシップ機能を使用してT-Swooshアルゴリズムを実行すると、以下の結果が返されます。