tJapaneseTokenize - 7.2

Text standardization

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > データクオリティコンポーネント > 標準化 > テキスト標準化コンポーネント
データガバナンス > サードパーティーシステム > データクオリティコンポーネント > 標準化 > テキスト標準化コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > データクオリティコンポーネント > 標準化 > テキスト標準化コンポーネント

日本語のテキストをトークンに分割します。

トークン化は重要な前処理ステップであり、後続の分析、翻字、テキストマイニングまたは自然言語処理タスクのためのテキストデータを準備します。

英語やフランス語と違って、日本語では単語の境界を示すスペースがありません。日本語のテキストをトークンに分割することは、より困難です。

IPADIC辞書に基づいて、tJapaneseTokenizeは単語の境界が存在する場所を推測し、トークンを区切るためのスペースを追加します。

IPADIC辞書は、情報技術振興機構(IPA)によって開発されたものです。この辞書はIPAコーパスに基づいており、日本のトークン化で最も広く使われている辞書です。

ローカルモードでは、Apache Spark 1.6.0、2.1.0、2.3.0、2.4.0がサポートされています。

Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントを参照してください。

使用しているTalend製品に応じて、このコンポーネントは次のジョブフレームワークの1つ、一部、またはすべてで使用できます。