tJapaneseTokenize - 7.1

Text standardization

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Data Quality > Composants de standardisation > Composants de standardisation de texte
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de standardisation > Composants de standardisation de texte
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de standardisation > Composants de standardisation de texte
EnrichPlatform
Studio Talend

Ce composant segmente du texte japonais.

La segmentation est une étape de pré-traitement importante et prépare du texte pour une analyse ultérieure, la translittération, la fouille de textes ou des tâches de traitement du langage naturel.

Contrairement à l'anglais et au français, aucun espace ne marque les limites entre les mots en japonais. Segmenter du texte japonais est donc plus difficile.

En se basant sur le dictionnaire IPADIC, le tJapaneseTokenize déduit l'existence des limites entre les mots et ajoute un espace pour séparer les segments.

Le dictionnaire IPADIC a été développé par l'Agence de Promotion des technologies de l'Information japonaise (IPA). Ce dictionnaire est basé sur le corpus de l'IPA et est le dictionnaire le plus utilisé pour segmenter du texte en japonais.

Pour plus d'informations concernant les technologies supportées par Talend, consultez Composants Talend.