東アジアパターン頻度インジケーター - Cloud

Talend Cloud Real-Time Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
ジョブデザインと開発
EnrichPlatform
Talend Management Console
Talend Studio
東アジアパターン頻度インジケーターには東アジアパターン頻度と東アジアパターン低頻度が含まれます。
インジケーター [Purpose] (目的)
東アジアパターン頻度 個別のパターンから最も頻度の高いレコードの数を計算します。
東アジアパターン低頻度 個別のパターンから頻度の低いレコードの数を計算します。

上記の2つのインジケーターにはLatin文字のみ使用できます。また、Javaエンジンでのみ使用できます。アジア系のデータのパターンを特定するときに有用です。

上記の2つのインジケーターは、アジア系の文字を下記のテーブルで説明するルールに従ってH,K,CGなどの文字に変換することでパターンを生成します。

文字タイプ 使用方法
ラテン数字 すべてのASCII数字が9に置き換わります
Latin小文字 すべてのASCII Latin文字がaに置き換わります
Latin大文字 すべての大文字のLatin文字がAに置き換わります
全角ラテン数字 すべてのASCII数字が9に置き換わります
全角Latin小文字 すべてのASCII Latin文字がaに置き換わります
全角Latin大文字 すべての大文字のLatin文字がAに置き換わります
ひらがな 全てのひらがな文字がHに置き換わります
半角カタカナ すべての半角カタカナ文字がkに置き換わります
全角カタカナ すべての全角カタカナ文字がKに置き換わります
片仮名 すべてのカタカナ文字がKに置き換わります
漢字 漢字がCに置き換わります
ハングル ハングル文字がGに置き換わります

サポートされるアジア系の文字タイプと関連するUnicode範囲については、Supported character types in column analyses and data masking operationsを参照して下さい。

以下は、[East Asia Pattern Frequency] (東アジアパターン頻度)インジケーターおよび[East Asia Pattern Low Frequency] (東アジアパターン低頻度)インジケーターを[address] (住所)カラムに使用したカラム分析の例です。

[East Asia Pattern Low Frequency] (東アジアパターン低頻度)インジケーターの分析結果は次のようになります。

これらの結果には、個別の各パターンの最も頻度の低いレコードの数が示されます。文字と数字によるパターンもあれば、文字だけのパターンもあります。パターンは長さも異なります。すなわち、住所は一貫しておらず、訂正とクリーン化が必要になる場合があります。