動的選択を使ってデータセットをクローリング

動的クローラーモードでは、フィルターを作成し、指定された時間に一致するテーブルをすべて取得できます。

このモードの主な利点は、データベースに含まれているテーブルをフィルターを使うことで発見しやすくなる点です。また、クローラーを定期的に実行してデータセットのクオリティをアップデートしたり、新しいテーブルを追加したりすることもできます。

データセットの名前に西暦の下2桁を使用している企業の例を考えてみましょう。データが含まれているテーブルはSnowflakeデータベースに格納されており、そこには顧客、売上、レポートといった情報が入っています。この企業は、2021年のデータを持つ全テーブルをTalend Cloud Data Inventoryに追加し、シンプルな再実行操作で、新しい追加データをインポートしたり、既存のデータセットを更新できるようにしたいと考えています。

最善の方法は、Snowflake接続を作成し、動的選択モードを使ってクロールすることです。