Partitionner les données d'exemple et les écrire dans Kudu - 7.3

Kudu

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
EnrichPlatform
Studio Talend
task
Création et développement > Systèmes tiers > Composants Database > Composants Kudu
Gouvernance de données > Systèmes tiers > Composants Database > Composants Kudu
Qualité et préparation de données > Systèmes tiers > Composants Database > Composants Kudu

Procédure

  1. Double-cliquez sur le tFixedFlowIput pour ouvrir sa vue Component.

    Exemple

  2. Cliquez sur le bouton [...] à côté du champ Edit schema pour ouvrir l'éditeur du schéma.
  3. Cliquez sur le bouton [+] pour ajouter les colonnes au schéma, comme dans l'image ci-dessous.

    Exemple

  4. Dans la colonne Type, sélectionnez Integer pour la colonne age.
  5. Dans la colonne Key, cochez la case de la colonne age afin de la définir comme colonne de clé primaire.
  6. Cliquez sur OK pour valider ces modifications et acceptez la propagation proposée par la boîte de dialogue qui s'ouvre.
  7. Dans la zone Mode, sélectionnez le bouton radio Use Inline Content et collez les données d'exemple précédemment mentionnées, dans le champ Content qui s'affiche.
  8. Dans le champ Field separator, saisissez un point-virgule (;).
  9. Double-cliquez sur le tKuduOutput pour ouvrir sa vue Component.

    Exemple

  10. Cochez la case Use an existing configuration et sélectionnez la configuration Kudu paramétrée au cours des étapes précédentes, dans la liste déroulante Component list.
  11. Cliquez sur Sync columns pour vous assurer que le tKuduOutput a le même schéma que le tFixedFlowInput.
  12. Dans le champ Table, saisissez le nom de la table à créer dans Kudu.
  13. Dans la liste Action on table, sélectionnez Drop table if exists and create.
  14. Dans la table Range partitions, ajoutez une ligne en cliquant sur le bouton [+] et :
    1. Dans la colonne Partition No, saisissez, sans guillemet double, le numéro à utiliser en tant qu'ID de la partition à créer. Par exemple, saisissez 1 pour créer la Partition 1.
    2. Dans la colonne Partition column, sélectionnez la colonne de clé primaire à utiliser pour le partitionnement. Dans ce scénario, sélectionnez age.
    3. Dans la colonne Lower boundary, saisissez 20 sans guillemet double, car le type des données d'âge est Integer.
    4. Dans la colonne Upper boundary, répétez l'opération pour configurer la limite haute à 60.
    Cette définition du partitionnement crée le schéma de la partition comme suit :
    RANGE (age) (
        PARTITION 20 <= VALUES < 60
    )
    Selon ce schéma de partition, l'enregistrement contenant la limite inférieure, l'âge 20, est compris dans cette partition et est écrit dans Kudu, mais l'enregistrement contenant la limite supérieure, l'âge 60, est exclu et n'est pas écrit dans Kudu.

    Dans un scénario réel, si vous souhaitez écrire toutes les données dans la table Kudu, définissez plus de partitions avec des limites différentes, pour recevoir d'autres données.

  15. Dans la liste déroulante Action on data, sélectionnez Insert.